BioMistral：面向医疗领域的开源预训练大语言模型集合

摘要：

近年来，大语言模型（LLMs）展现出卓越的通用性，在医疗健康等专业领域具有广泛应用潜力。尽管已有多种针对健康场景定制的开源LLMs，但将通用LLMs适配至医疗领域仍面临重大挑战。本文介绍BioMistral——一个基于Mistral基础模型、通过PubMed Central继续预训练的生物医学领域开源LLM。我们在包含10个成熟英文医学问答（QA）任务的基准测试中进行了全面评估，同时探索了通过量化和模型融合获得的轻量化模型。结果表明，BioMistral性能优于现有开源医疗模型，并与专有模型具有竞争力。最后，为解决非英语数据稀缺问题并评估医疗LLMs的多语言泛化能力，我们自动翻译该基准至7种其他语言并进行评估，这标志着医疗领域首次大规模多语言LLM评估。实验中获得的数据集、多语言评估基准、脚本及所有模型均公开发布。

重要提示！ 尽管BioMistral旨在整合来自高质量证据的医学知识，但尚未针对专业行动参数进行有效、安全或适当的适配。除非经过特定用例的充分对齐和进一步测试（特别是在真实医疗环境中的随机对照试验），否则不建议在医疗场景中使用。BioMistral 7B可能存在尚未全面评估的内在风险和偏见，且其性能未在真实临床环境中验证。因此，我们建议仅将其作为研究工具使用，禁止部署于生产环境或任何专业健康医疗用途的自然语言生成场景。

1. BioMistral模型系列

BioMistral 是基于Mistral架构、使用PubMed Central开放获取文本数据（CC0、CC BY、CC BY-SA和CC BY-ND协议）继续预训练的医疗领域开源模型套件。所有模型均在法国国家科学研究中心（CNRS）Jean Zay超算上训练完成。

2. 量化模型

2. 使用BioMistral

可通过Hugging Face Transformers库使用BioMistral：

加载模型与分词器：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

3. 监督微调基准测试

BioMistral 7B系列模型与基线模型的监督微调（SFT）性能对比（准确率↑），取3次3-shot测试的平均值。DARE、TIES和SLERP是融合BioMistral 7B与Mistral 7B指令版的策略。加粗为最优模型，下划线为次优。*GPT-3.5 Turbo性能来自未经SFT的3-shot测试结果。

引用BibTeX

预印本：https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

重要声明！ 直接及下游用户需知悉模型内在风险、偏见和限制。虽然模型能生成自然语言文本，但我们对其能力与局限的探索才刚刚开始。在医疗等领域，理解这些局限至关重要。因此，我们强烈反对将该模型部署于生产环境或专业健康医疗领域的自然语言生成任务。