语言:

• 越南语
• 越南文
• 英语

标签:

• 问答系统
• PyTorch

数据集:

• SQuAD

许可证:

• CC-BY-NC-4.0

管道标签:

• 问答系统

评估指标:

• SQuAD

示例:

• 文本: "Bình是哪个领域的专家？" 上下文: "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"
• 文本: "Bình获得了什么荣誉称号？" 上下文: "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"

模型描述

• 语言模型: XLM-RoBERTa
• 微调框架: MRCQuestionAnswering
• 支持语言: 越南语、英语
• 下游任务: 抽取式问答
• 组合数据集:
  • SQuAD 2.0
  • mailong25
  • UIT-ViQuAD
  • 多语言问答数据集

本模型专为越南语问答设计（英语表现亦佳）。以下评估结果基于10%越南语数据集：

本框架采用XLM-RoBERTa作为预训练语言模型，创新性地通过求和策略将子词表征重组为完整词表征。

使用预训练模型

• 标准Hugging Face管道模式（未使用特征求和策略）

from transformers import pipeline
# model_checkpoint = "nguyenvulebinh/vi-mrc-large"
model_checkpoint = "nguyenvulebinh/vi-mrc-base"
nlp = pipeline('question-answering', model=model_checkpoint,
               tokenizer=model_checkpoint)
QA_input = {
  'question': "Bình是哪个领域的专家？",
  'context': "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"
}
res = nlp(QA_input)
print('管道输出: {}'.format(res))
# 输出示例: {'score': 0.5782, 'start': 45, 'end': 68, 'answer': '自然语言处理'}

• 高精度推理模式（使用特征求和策略）

from infer import tokenize_function, data_collator, extract_answer
from model.mrc_model import MRCQuestionAnswering
from transformers import AutoTokenizer

# model_checkpoint = "nguyenvulebinh/vi-mrc-large"
model_checkpoint = "nguyenvulebinh/vi-mrc-base"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = MRCQuestionAnswering.from_pretrained(model_checkpoint)

QA_input = {
  'question': "Bình获得了什么荣誉称号？",
  'context': "Bình Nguyễn是一位热衷于自然语言处理领域的专家。他于2020年获得Google开发者专家认证"
}

inputs = [tokenize_function(*QA_input)]
inputs_ids = data_collator(inputs)
outputs = model(**inputs_ids)
answer = extract_answer(inputs, outputs, tokenizer)

print(answer)
# 输出示例: 答案: Google开发者专家。起始置信度: 0.9927, 终止置信度: 0.9909

关于作者

由Binh Nguyen构建 访问项目仓库获取更多细节：