许可证：apache-2.0
支持语言：

• 英语
• 西班牙语
• 法语
• 意大利语

示例输入：

• 最佳止咳药是<extra_id_0>，因为<extra_id_1>
• 西班牙语：El mejor medicamento para la tos es <extra_id_0> porque <extra_id_1>
• 法语：Le meilleur médicament contre la toux est <extra_id_0> car <extra_id_1
• 意大利语：La migliore medicina per la tosse è la <extra_id_0> perché la <extra_id_1

库名称：transformers
任务类型：文本生成
标签：

• 医疗
• 多语言
• 医学

数据集：HiTZ/Multilingual-Medical-Corpus
基础模型：google/mt5-large

Medical mT5：面向医疗领域的开源多语言文本生成大模型

MedMT5-large模型卡

我们推出Medical mT5——首个面向医疗领域的开源多语言文本生成模型。该编码器-解码器模型基于公开的mT5检查点，通过持续训练英语、西班牙语、法语和意大利语的医疗领域数据开发而成。

• 📖 论文：Medical mT5: 面向医疗领域的开源多语言文本生成大模型
• 🌐 项目网站：https://univ-cotedazur.eu/antidote

模型描述

• 开发团队：Iker García-Ferrero, Rodrigo Agerri等13位研究者
• 联系方式：Iker García-Ferrero 与 Rodrigo Agerri
• 网站：https://univ-cotedazur.eu/antidote
• 资助：CHIST-ERA XAI 2019项目，由MCIN/AEI及欧盟NextGenerationEU/PRTR资助
• 模型类型：文本生成
• 支持语言：英语、西班牙语、法语、意大利语
• 许可证：apache-2.0
• 基础模型：mT5

快速开始

加载模型：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM  

tokenizer = AutoTokenizer.from_pretrained("HiTZ/Medical-mT5-large")  
model = AutoModelForSeq2SeqLM.from_pretrained("HiTZ/Medical-mT5-large")  

该模型采用T5掩码语言建模任务训练，需针对具体任务进行微调。

训练数据

评估结果

序列标注任务表现

论元挖掘零样本跨语言表现

伦理声明

我们充分认识到开发Medical mT5多语言医疗文本模型的伦理影响。通过匿名化处理和数据保护措施，我们确保符合各司法管辖区的隐私法规。模型开发过程坚持透明性原则，持续监控潜在偏见，并通过开源促进研究社区协作。

引用格式

@misc{garcíaferrero2024medical,  
      title={Medical mT5: 面向医疗领域的开源多语言文本生成大模型},   
      author={Iker García-Ferrero等13位作者},  
      year={2024},  
      eprint={2404.07613},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}