数据集:

• mit-han-lab/pile-val-backup
• pubmed 许可证: apache-2.0 语言:
• 法语
• 德语
• 西班牙语
• 意大利语
• 荷兰语
• 波兰语
• 罗马尼亚语
• 葡萄牙语
• 英语 管道标签: 文本生成 标签:
• 医学
• 生物学
• awq
• 量化

BioMistral：面向医学领域的开源预训练大语言模型集合

摘要：

近年来，大语言模型（LLMs）展现出卓越的多功能性，在医疗健康等专业领域具有广阔应用前景。尽管已有多种针对健康场景定制的开源LLMs，但将通用LLMs适配至医学领域仍面临重大挑战。本文介绍BioMistral——基于Mistral基础模型并在PubMed Central上继续预训练的生物医学领域开源LLM。我们在包含10个成熟英文医学问答（QA）任务的基准测试中进行了全面评估，同时探索了通过量化和模型融合获得的轻量化模型。结果表明，BioMistral性能优于现有开源医学模型，并与专有模型具有竞争力。最后，为解决非英语数据稀缺问题并评估医学LLMs的多语言泛化能力，我们自动翻译该基准至7种其他语言进行评估。这标志着医学领域首次大规模多语言LLM评估。实验中获得的数据集、多语言评估基准、脚本及所有模型均开源发布。

重要提示！ 尽管BioMistral旨在整合来自高质量证据的医学知识，但尚未针对专业行动场景下的有效、安全或适当知识传递进行优化。除非经过特定用例的严格对齐和进一步测试（特别是在真实医疗环境中的随机对照试验），否则不建议在医疗场景中使用。BioMistral 7B可能存在尚未充分评估的内在风险和偏见，且其性能未在真实临床环境中验证。因此，我们建议仅将BioMistral 7B作为研究工具，禁止将其部署于生产环境用于自然语言生成或任何专业健康医疗用途。

1. BioMistral模型系列

BioMistral是基于Mistral架构、使用PubMed Central开放获取文本数据（CC0、CC BY、CC BY-SA和CC BY-ND协议）继续预训练的医学领域开源模型套件。所有模型均在法国国家科学研究中心（CNRS）Jean Zay超算上训练。

2. 量化模型

2. 使用BioMistral

可通过Hugging Face的Transformers库使用BioMistral：

加载模型与分词器：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

3. 监督微调基准测试

BioMistral 7B系列模型在监督微调（SFT）下的性能对比，通过3次3-shot测试的平均准确率（↑）衡量。DARE、TIES和SLERP是融合BioMistral 7B与Mistral 7B Instruct的模型融合策略。加粗为最佳模型，下划线为次佳。*GPT-3.5 Turbo性能来自无SFT的3-shot结果。

引用BibTeX

预印本：https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

重要声明！ 直接及下游使用者需知悉模型固有风险、偏见和限制。虽然模型能生成自然语言文本，但我们对其能力与局限的探索才刚刚开始。在医学等领域，理解这些局限至关重要。因此，我们强烈反对将该模型部署于生产环境用于自然语言生成或任何专业健康医疗任务。