语言:

• 越南语
• 越南文
• 英语

标签:

• 问答系统
• PyTorch

数据集:

• SQuAD

许可证: cc-by-nc-4.0

管道标签: 问答系统

评估指标:

• SQuAD

示例:

• 文本: "Bình是哪个领域的专家？" 上下文: "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"
• 文本: "Bình获得了什么荣誉称号？" 上下文: "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"

模型描述

• 语言模型: XLM-RoBERTa
• 微调框架: MRCQuestionAnswering
• 支持语言: 越南语、英语
• 下游任务: 抽取式问答
• 组合数据集:
  • SQuAD 2.0
  • mailong25
  • VLSP MRC 2021
  • 多语言问答数据集

本模型专为越南语问答设计（英语表现亦佳）。下方评估结果基于VLSP MRC 2021测试集，该实验在排行榜中位列第一。

公开排行榜	私有排行榜

MrcQuestionAnswering采用XLM-RoBERTa作为预训练语言模型。默认情况下XLM-RoBERTa会将单词拆分为子词，本实现通过求和策略将子词表示重组为完整单词表示。

使用预训练模型

• Hugging Face流水线风格（未使用求和特征策略）

from transformers import pipeline
# model_checkpoint = "nguyenvulebinh/vi-mrc-large"
model_checkpoint = "nguyenvulebinh/vi-mrc-base"
nlp = pipeline('question-answering', model=model_checkpoint,
                   tokenizer=model_checkpoint)
QA_input = {
  'question': "Bình是哪个领域的专家？",
  'context': "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"
}
res = nlp(QA_input)
print('流水线结果: {}'.format(res))
#{'score': 0.5782045125961304, 'start': 45, 'end': 68, 'answer': '自然语言处理'}

• 更高精度的推理过程（使用求和特征策略）

from infer import tokenize_function, data_collator, extract_answer
from model.mrc_model import MRCQuestionAnswering
from transformers import AutoTokenizer

model_checkpoint = "nguyenvulebinh/vi-mrc-large"
#model_checkpoint = "nguyenvulebinh/vi-mrc-base"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = MRCQuestionAnswering.from_pretrained(model_checkpoint)

QA_input = {
  'question': "Bình获得了什么荣誉称号？",
  'context': "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"
}

inputs = [tokenize_function(*QA_input)]
inputs_ids = data_collator(inputs)
outputs = model(**inputs_ids)
answer = extract_answer(inputs, outputs, tokenizer)

print(answer)
# 答案: Google开发者专家。起始得分: 0.9926977753639221, 结束得分: 0.9909810423851013

关于

开发者：Bình Nguyễn 更多详情请访问项目仓库