语言:

• 英语 许可证: MIT 库名称: transformers 标签:
• 问答
• squad
• squad_v2
• t5
• lora
• peft 数据集:
• squad_v2
• squad 基础模型: google/flan-t5-large 模型索引:
• 名称: sjrhuschlee/flan-t5-large-squad2 结果:
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squad_v2 类型: squad_v2 配置: squad_v2 分割: 验证 指标:
    • 类型: 精确匹配 值: 86.819 名称: 精确匹配
    • 类型: F1 值: 89.569 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squad 类型: squad 配置: 纯文本 分割: 验证 指标:
    • 类型: 精确匹配 值: 89.357 名称: 精确匹配
    • 类型: F1 值: 95.060 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: adversarial_qa 类型: adversarial_qa 配置: adversarialQA 分割: 验证 指标:
    • 类型: 精确匹配 值: 48.833 名称: 精确匹配
    • 类型: F1 值: 62.555 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squad_adversarial 类型: squad_adversarial 配置: AddOneSent 分割: 验证 指标:
    • 类型: 精确匹配 值: 84.835 名称: 精确匹配
    • 类型: F1 值: 90.245 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squadshifts amazon 类型: squadshifts 配置: amazon 分割: 测试 指标:
    • 类型: 精确匹配 值: 76.722 名称: 精确匹配
    • 类型: F1 值: 89.680 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squadshifts new_wiki 类型: squadshifts 配置: new_wiki 分割: 测试 指标:
    • 类型: 精确匹配 值: 84.316 名称: 精确匹配
    • 类型: F1 值: 92.967 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squadshifts nyt 类型: squadshifts 配置: nyt 分割: 测试 指标:
    • 类型: 精确匹配 值: 86.925 名称: 精确匹配
    • 类型: F1 值: 94.064 名称: F1
  • 任务: 类型: 问答 名称: 问答 数据集: 名称: squadshifts reddit 类型: squadshifts 配置: reddit 分割: 测试 指标:
    • 类型: 精确匹配 值: 78.241 名称: 精确匹配
    • 类型: F1 值: 89.243 名称: F1

用于抽取式问答的flan-t5-large模型

这是基于flan-t5-large模型，使用SQuAD2.0数据集进行微调的版本。该模型针对抽取式问答任务进行了训练，包括可回答和不可回答的问题对。

更新说明: 在transformers 4.31.0版本后，不再需要设置use_remote_code=True参数。

本模型通过PEFT库的LoRA技术进行训练。

重要提示: 为确保模型正常工作，必须手动在问题开头添加<cls>标记。该模型使用<cls>标记来预测"无答案"情况。由于t5分词器不会自动添加此特殊标记，因此需要手动添加。

概览

语言模型: flan-t5-large
语言: 英语
下游任务: 抽取式问答
训练数据: SQuAD 2.0
评估数据: SQuAD 2.0
硬件配置: 1×NVIDIA 3070显卡

模型使用

使用Transformers

以下示例使用合并权重（基础模型权重+LoRA权重），可直接用于Transformers流水线。当使用PEFT库时，其性能与单独使用权重相同。

import torch
from transformers import(
  AutoModelForQuestionAnswering,
  AutoTokenizer,
  pipeline
)
model_name = "sjrhuschlee/flan-t5-large-squad2"

# a) 使用流水线
nlp = pipeline(
  'question-answering',
  model=model_name,
  tokenizer=model_name,
  # trust_remote_code=True,  # transformers>=4.31.0版本无需此参数
)
qa_input = {
'question': f'{nlp.tokenizer.cls_token}Where do I live?',  # '<cls>Where do I live?'
'context': 'My name is Sarah and I live in London'
}
res = nlp(qa_input)
# 输出: {'score': 0.984, 'start': 30, 'end': 37, 'answer': ' London'}

# b) 加载模型和分词器
model = AutoModelForQuestionAnswering.from_pretrained(
  model_name,
  # trust_remote_code=True  # transformers>=4.31.0版本无需此参数
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

question = f'{tokenizer.cls_token}Where do I live?'  # '<cls>Where do I live?'
context = 'My name is Sarah and I live in London'
encoding = tokenizer(question, context, return_tensors="pt")
output = model(
  encoding["input_ids"],
  attention_mask=encoding["attention_mask"]
)

all_tokens = tokenizer.convert_ids_to_tokens(encoding["input_ids"][0].tolist())
answer_tokens = all_tokens[torch.argmax(output["start_logits"]):torch.argmax(output["end_logits"]) + 1]
answer = tokenizer.decode(tokenizer.convert_tokens_to_ids(answer_tokens))
# 输出: 'London'

评估指标

# SQuAD v2数据集
{
    "eval_HasAns_exact": 85.08771929824562,
    "eval_HasAns_f1": 90.598422845031,
    "eval_HasAns_total": 5928,
    "eval_NoAns_exact": 88.47771236333053,
    "eval_NoAns_f1": 88.47771236333053,
    "eval_NoAns_total": 5945,
    "eval_best_exact": 86.78514276088605,
    "eval_best_exact_thresh": 0.0,
    "eval_best_f1": 89.53654936623764,
    "eval_best_f1_thresh": 0.0,
    "eval_exact": 86.78514276088605,
    "eval_f1": 89.53654936623776,
    "eval_runtime": 1908.3189,
    "eval_samples": 12001,
    "eval_samples_per_second": 6.289,
    "eval_steps_per_second": 0.787,
    "eval_total": 11873
}

# SQuAD数据集
{
    "eval_HasAns_exact": 85.99810785241249,
    "eval_HasAns_f1": 91.296119057944,
    "eval_HasAns_total": 10570,
    "eval_best_exact": 85.99810785241249,
    "eval_best_exact_thresh": 0.0,
    "eval_best_f1": 91.296119057944,
    "eval_best_f1_thresh": 0.0,
    "eval_exact": 85.99810785241249,
    "eval_f1": 91.296119057944,
    "eval_runtime": 1508.9596,
    "eval_samples": 10657,
    "eval_samples_per_second": 7.062,
    "eval_steps_per_second": 0.883,
    "eval_total": 10570
}

配合PEFT使用

注意: 这需要使用PEFT库PR#473中的代码(https://github.com/huggingface/peft/pull/473)

#!pip install peft

from peft import LoraConfig, PeftModelForQuestionAnswering
from transformers import AutoModelForQuestionAnswering, AutoTokenizer
model_name = "sjrhuschlee/flan-t5-large-squad2"