语言: 多语言
数据集:

• tydiqa
  小组件示例:
• 文本: "答案: 监测和管理公关策略，包括与媒体和记者的关系 上下文: 索菲娅拥有传播学学位和公关机构工作经验，负责监测和管理公关策略，包括与媒体和记者的关系。"

基于TyDiQA微调的mT5-base多语言问题生成模型 🗺📖❓

谷歌mT5-base模型在TyDi QA数据集（次要任务）上微调，专用于多语言问题生成下游任务（通过答案前缀法实现）。

mT5模型详情

谷歌mT5项目

mT5基于mC4语料库预训练，涵盖101种语言：
南非荷兰语、阿尔巴尼亚语、阿姆哈拉语、阿拉伯语、亚美尼亚语、阿塞拜疆语、巴斯克语、白俄罗斯语、孟加拉语、保加利亚语、缅甸语、加泰罗尼亚语、宿务语、齐切瓦语、中文、科西嘉语、捷克语、丹麦语、荷兰语、英语、世界语、爱沙尼亚语、菲律宾语、芬兰语、法语、加利西亚语、格鲁吉亚语、德语、希腊语、古吉拉特语、海地克里奥尔语、豪萨语、夏威夷语、希伯来语、印地语、苗语、匈牙利语、冰岛语、伊博语、印尼语、爱尔兰语、意大利语、日语、爪哇语、卡纳达语、哈萨克语、高棉语、韩语、库尔德语、吉尔吉斯语、老挝语、拉丁语、拉脱维亚语、立陶宛语、卢森堡语、马其顿语、马尔加什语、马来语、马拉雅拉姆语、马耳他语、毛利语、马拉地语、蒙古语、尼泊尔语、挪威语、普什图语、波斯语、波兰语、葡萄牙语、旁遮普语、罗马尼亚语、俄语、萨摩亚语、苏格兰盖尔语、塞尔维亚语、绍纳语、信德语、僧伽罗语、斯洛伐克语、斯洛文尼亚语、索马里语、索托语、西班牙语、巽他语、斯瓦希里语、瑞典语、塔吉克语、泰米尔语、泰卢固语、泰语、土耳其语、乌克兰语、乌尔都语、乌兹别克语、越南语、威尔士语、西弗里西亚语、科萨语、意第绪语、约鲁巴语、祖鲁语。

注意：mT5仅基于mC4进行预训练，未包含任何监督训练。因此，该模型需在下游任务上微调后方可使用。

预训练数据集：mC4
其他社区检查点：此处查看
论文：mT5：大规模多语言预训练文本到文本转换器
作者：Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel

数据集详情 📚

TyDi QA是一个涵盖11种类型多样语言的问答数据集，包含20.4万个问答对。这些语言在类型学（每种语言表达的语言特征集合）上具有多样性，因此在该数据集上表现良好的模型有望泛化到全球多数语言。数据集包含英语语料库中未出现的语言现象。为提供真实的信息检索任务并避免启动效应，问题由想知道答案但尚未知晓答案的人员撰写（不同于SQuAD及其衍生数据集），且数据直接以各语言收集而非通过翻译获得（不同于MLQA和XQuAD）。

验证集结果 📝

持续完善中

模型实战 🚀

持续完善中

创建方：Narrativa

关于Narrativa：自然语言生成（NLG）| 我们的机器学习平台Gabriele构建并部署自然语言解决方案。#NLG #AI