license: apache-2.0 datasets:

• Henrychur/MMedC language:
• 英文
• 中文
• 日语
• 法语
• 俄语
• 西班牙语 tags:
• 医疗

MMedLM

💻GitHub代码库 🖨️arXiv论文

《构建多语言医疗语言模型》官方权重文件。

MMedLM 2现已发布。MMedLM2是更强大的多语言医疗基础模型，其经过与MMedLM相同的医疗数据增强流程。

简介

本仓库包含MMedLM，一个拥有70亿参数的多语言医疗基础模型。MMedLM基于InternLM架构，并在综合多语言医疗语料库MMedC上进行了进一步预训练，从而增强了模型的医疗领域知识。

模型在MMedC上的预训练超参数如下：

• 迭代次数：15000
• 全局批次大小：512
• 截断长度：2048
• 学习率：2e-5

加载模型方式如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMedLM", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMedLM", torch_dtype=torch.float16, trust_remote_code=True)

• 请注意这是未经指令微调的基础模型
• 测试发现使用最新版transformers会报错，建议使用transformers==4.28.1

动态

[2024.2.21] 预印本论文发布于ArXiv，点击此处查阅研究成果。

[2024.2.20] 发布MMedLM和MMedLM 2。通过MMedC上的自回归持续训练，这些模型性能超越所有其他开源模型，甚至在MMedBench上媲美GPT-4。

[2023.2.20] 发布包含255亿token的MMedC多语言医疗语料库。

[2023.2.20] 发布带解析的MMedBench多语言医疗选择题评测基准，查看排行榜。

MMedBench评测表现

经过持续预训练的MMedLM 2展现了跨语言医疗领域的卓越性能。

• GPT和Gemini通过API进行零样本评估
• 开源模型均在MMedBench训练集微调后评估

联系方式

如有疑问请联系qiupengcheng@pjlab.org.cn。

引用

@misc{qiu2024building,
      title={构建多语言医疗语言模型的探索}, 
      author={邱鹏程 and 吴超毅 and 张晓曼 and 林伟雄 and 王海成 and 张雅 and 王彦峰 and 谢伟迪},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}