license: apache-2.0 datasets:

• pubmed language:
• fr
• en
• de
• nl
• es
• pt
• pl
• ro
• it pipeline_tag: text-generation tags:
• medical
• biology

BioMistral：面向医疗领域的开源预训练大语言模型集合

摘要：

近年来，大语言模型（LLMs）展现出卓越的通用性，在医疗健康等专业领域具有广阔应用前景。尽管已有多种针对健康场景的开源LLMs，但将通用LLMs适配至医疗领域仍面临重大挑战。本文提出BioMistral——一个基于Mistral基础模型并在PubMed Central上继续预训练的生物医学领域开源LLM。我们在包含10个英语医学问答任务的基准测试中进行了全面评估，同时探索了通过量化和模型融合获得的轻量化模型。结果表明，BioMistral性能优于现有开源医疗模型，并与商业模型具有竞争力。此外，为突破英语数据局限并评估医疗LLMs的多语言泛化能力，我们自动翻译并评估了该基准至7种其他语言，这是医疗领域首次大规模多语言LLM评估。实验中获得的所有数据集、多语言评估基准、脚本和模型均开源发布。

重要声明！ 尽管BioMistral旨在整合来自高质量证据的医学知识，但尚未针对专业行动场景进行安全有效的知识传递优化。除非经过特定用例的充分对齐测试（包括真实医疗环境中的随机对照试验），否则不建议在医疗场景中使用。BioMistral 7B可能存在尚未全面评估的风险和偏见，且未在真实临床环境中验证性能。因此建议仅将其作为研究工具，禁止用于生产环境的自然语言生成或专业医疗用途。

1. BioMistral模型系列

BioMistral是基于Mistral架构、使用PubMed Central开放获取文本数据（CC0、CC BY、CC BY-SA及CC BY-ND协议）继续预训练的开源医疗领域模型套件。所有模型均在法国国家科学研究中心（CNRS）Jean Zay超算上训练完成。

2. 量化模型

2. 使用指南

可通过Hugging Face Transformers库加载模型：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

3. 监督微调基准测试

监督微调（SFT）性能对比（3次3-shot测试平均准确率↑）。DARE/TIES/SLERP为BioMistral 7B与Mistral 7B Instruct的融合策略。加粗为最优，下划线为次优。*GPT-3.5 Turbo为无SFT的3-shot结果。

引用BibTeX

论文链接：https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

重要提示！ 直接或下游使用者需知悉模型固有风险、偏见和限制。虽然模型能生成自然语言文本，但我们对其能力边界的研究才刚刚开始。在医疗等领域，理解这些限制至关重要。因此我们强烈反对将该模型用于生产环境自然语言生成或专业医疗任务。