许可协议: apache-2.0
标签:

• 问答系统
  评估指标:
• squad
  模型索引:
• 名称: consciousAI/question-answering-roberta-base-s-v2
  结果: []

问答模型

该模型专用于问答任务，在给定问题和上下文的情况下，模型会尝试推断出答案文本、答案范围及置信度分数。

模型采用纯编码器架构（基于deepset/roberta-base-squad2），配备问答语言模型头部，并在SQUADx数据集上微调，取得精确匹配率: 84.83 与 F1分数: 91.80 的性能表现。

在线演示：编码器问答模型 vs 生成式问答模型

请访问此链接查看基于编码器的问答模型V1

请访问此链接查看生成式问答模型

示例代码：

from transformers import pipeline

model_checkpoint = "consciousAI/question-answering-roberta-base-s-v2"

context = """
🤗 Transformers由三大主流深度学习库——Jax、PyTorch和TensorFlow提供支持，并能实现它们之间的无缝协作。  
您可以先使用其中一个库训练模型，再加载到另一个库中进行推理，这一过程非常便捷。  
"""
question = "哪些深度学习库支持🤗 Transformers？"

question_answerer = pipeline("question-answering", model=model_checkpoint)  
question_answerer(question=question, context=context)  

训练与评估数据

SQUAD数据集划分

训练流程

数据预处理：

1. 将SQUAD数据中较长的文本块按最大上下文长度384个token进行子块划分，步长为128个token。
2. 针对子块调整目标答案范围，无答案或部分答案的子块将目标答案范围设为(0,0)。

评估指标：

1. 根据子块划分进行相应调整。
2. 最佳答案数n=20
3. 跳过长度为零或超过最大答案长度(30)的答案

训练超参数

自定义训练循环：
训练过程中使用的超参数如下：

• 学习率: 2e-5
• 训练批大小: 32
• 评估批大小: 32
• 优化器: Adam（参数beta=(0.9,0.999)，epsilon=1e-08）
• 学习率调度器类型: 线性
• 训练轮数: 2

训练结果

{'精确匹配率': 84.83443708609272, 'F1分数': 91.79987545811638}

框架版本

• Transformers 4.23.0.dev0
• Pytorch 1.12.1+cu113
• Datasets 2.5.2
• Tokenizers 0.13.0