语言: tr 数据集:

• TQUAD 标签:
• 问答系统
• 问题生成
• 多任务模型

许可证: apache-2.0

基于mT5-small的土耳其语多任务（答案提取、问题生成和问答）系统

谷歌的多语言T5-small模型在土耳其语问答数据集上进行了微调，用于三个下游任务：答案提取、问题生成和问答，这些任务都集成在这个单一模型中。mT5模型还针对多种文本到文本的NLP任务进行了训练。

所有数据处理、训练和管道代码都可以在我的Github上找到。我会尽快在仓库中分享训练细节。

mT5 small模型有3亿个参数，模型大小约为1.2GB。因此，微调它需要相当长的时间。

训练过程中应用了8个epoch和学习率为1e-4，预热步数为0。这些超参数和其他参数可以进一步调整以获得更好的结果。

要求 ❗❗❗

!pip install transformers==4.4.2
!pip install sentencepiece==0.1.95
!git clone https://github.com/ozcangundes/multitask-question-generation.git
%cd multitask-question-generation/

使用方法 🚀🚀

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish") 
model = AutoModelForSeq2SeqLM.from_pretrained("ozcangundes/mt5-multitask-qa-qg-turkish")

from pipelines import pipeline #克隆的仓库中的pipelines.py脚本
multimodel = pipeline("multitask-qa-qg",tokenizer=tokenizer,model=model)

#示例文本
text="Özcan Gündeş, 1993年出生于塔尔苏斯。2011年至2016年间，他在中东技术大学工业工程系完成了本科学业。2020年12月，他以4.00的总平均成绩在博阿齐奇大学管理信息系统系完成了硕士学位。他对足球非常感兴趣，并且是加拉塔萨雷俱乐部的球迷。"

示例 - 问题生成和问答 💬💬

multimodel(text)

#输出
=> [{'answer': '塔尔苏斯', 'question': 'Özcan Gündeş在哪里出生？'},
 {'answer': '1993', 'question': 'Özcan Gündeş是哪一年出生的？'},
 {'answer': '2011 2016',
  'question': 'Özcan Gündeş在哪些年份之间完成了本科学业？'},
 {'answer': '博阿齐奇大学, 管理信息系统',
  'question': 'Özcan Gündeş在哪个系完成了硕士学位？'},
 {'answer': '加拉塔萨雷俱乐部',
  'question': 'Özcan Gündeş对足球非常感兴趣，并且是哪个俱乐部的球迷？'}]

从这段文本中，生成了5个问题，并由模型回答了这些问题。

示例 - 问答 💭💭

需要将文本和相关问题传递给管道。

multimodel({"context":text,"question":"Özcan支持哪个球队？"})

#输出
=> 加拉塔萨雷

multimodel({"context":text,"question":"Özcan什么时候完成了硕士学位？"})

#输出
=> 2020年12月


multimodel({"context":text,"question":"Özcan的硕士毕业成绩是多少？"})

#输出
=> 4.00 

#抱歉有点自夸 😝😝

致谢

这项工作受到了Suraj Patil的优秀仓库的启发。我要感谢他的清晰代码，以及Okan Çiftçi提供的土耳其语数据集 🙏