许可证：cc-by-nc-4.0
语言：

• 俄语
• 英语
  任务标签：文档问答
  标签：
• 文档问答
• 问答系统
• 自然语言处理
• 深度学习
• Transformer模型
• 多模态
• HuggingFace
• ruBert
• 机器学习
• 深度问答
• 文档AI
• 神经网络
• torch
• pytorch
• 大模型
• 文本生成推理
  库名称：transformers
  评估指标：
• 准确率
• F1分数
• 召回率
• 精确匹配
• 精确度
  基础模型：
• ai-forever/ruBert-large

文档问答模型 - Kaleidoscope_large_v1

本模型是基于sberbank-ai/ruBert-large微调的版本，专为文档问答任务设计。它特别适用于从提供的文档上下文中提取答案，并在包含上下文、问题和答案三元组的自定义JSON数据集上进行了微调。

主要特点

• 目标：根据用户问题从文档中提取答案。
• 基础模型：sberbank-ai/ruBert-large。
• 数据集：自定义JSON文件，包含字段：上下文、问题和答案。
• 预处理：通过将问题和文档上下文拼接形成输入，引导模型关注相关段落。

训练设置

• 训练轮数：20
• 批次大小：每设备4个样本
• 预热步数：总步数的0.1
• 启用FP16训练（如果CUDA可用）
• 硬件：在1xRTX 3070上完成训练

描述

本模型使用Transformers库和自定义训练流程进行微调。训练过程的关键点包括：

自定义数据集：加载器读取包含上下文、问题和答案三元组的JSON文件。

• 特征准备：脚本通过滑动窗口方法对文档和问题进行分词，以处理长文本。
• 训练过程：利用混合精度训练和AdamW优化器提升优化效果。
• 评估与检查点：训练脚本在验证集上评估模型性能，保存检查点，并根据验证损失实施早停机制。
• 本模型非常适合交互式文档问答任务，是客户支持、文档搜索和自动化问答系统等应用的强大工具。

虽然主要针对俄语文本，但模型也支持英语输入。
模型支持英语，但未进行充分测试

使用示例

import torch
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained("LaciaStudio/Kaleidoscope_large_v1")
model = AutoModelForQuestionAnswering.from_pretrained("LaciaStudio/Kaleidoscope_large_v1")
model.to(device)

file_path = input("输入文档路径：")
with open(file_path, "r", encoding="utf-8") as f:
    context = f.read()

while True:
    question = input("输入问题（或输入'exit'退出）：")
    if question.lower() == "exit":
        break
    inputs = tokenizer(question, context, return_tensors="pt", truncation=True, max_length=384)
    inputs = {k: v.to(device) for k, v in inputs.items()}
    outputs = model(**inputs)
    start_logits = outputs.start_logits
    end_logits = outputs.end_logits
    start_index = torch.argmax(start_logits)
    end_index = torch.argmax(end_logits)
    answer_tokens = inputs["input_ids"][0][start_index:end_index + 1]
    answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
    print("答案：", answer)

问答示例

俄语
上下文：

阿尔伯特·爱因斯坦提出了相对论。

问题：

谁提出了相对论？

答案：

阿尔伯特·爱因斯坦

英语
上下文：

我曾有一辆红色的车。

问题：

我有一辆什么样的车？

答案：

一辆红色的车

由LaciaStudio | LaciaAI微调