许可证：llama3
数据集：

• Henrychur/MMedC
  语言：
• 英语
• 中文
• 日语
• 法语
• 俄语
• 西班牙语
  标签：
• 医疗

MMedLM

💻GitHub仓库 🖨️arXiv论文

《构建多语言医学语言模型》的官方模型权重。

简介

本仓库包含MMed-Llama 3，一个拥有80亿参数的多语言医学基础模型。MMed-Llama 3基于Llama 3架构，并在MMedC（一个全面的多语言医学语料库）上进行了进一步预训练，从而增强了模型的医学领域知识。

模型在MMedC上的预训练参数如下：

• 迭代次数：15000
• 全局批次大小：512
• 截断长度：8192
• 学习率：2e-5

加载模型的方式如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B", torch_dtype=torch.float16)

• 注意：这是一个尚未进行指令微调的基础模型。

动态

[2024.2.21] 我们的预印本论文已在arXiv发布。点击此处查看研究成果。

[2024.2.20] 我们发布了MMedLM和MMedLM 2。通过在MMedC上进行自回归持续训练，这些模型的性能超越了所有其他开源模型，甚至在MMedBench上可与GPT-4媲美。

[2023.2.20] 我们发布了MMedC，一个包含255亿词符的多语言医学语料库。

[2023.2.20] 我们发布了MMedBench，一个带有解析的多语言医学多选题评测基准。查看排行榜请访问此处。

MMedBench评测结果

经过进一步预训练的MMedLM 2展现了其在跨语言医学领域的卓越性能。

• GPT和Gemini通过API在零样本设置下评估
• 开源模型在评估前需先在MMedBench训练集上进行训练

联系方式

如有任何问题，请联系qiupengcheng@pjlab.org.cn。

引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}