基础模型:

• BioMistral/BioMistral-7B
• mistralai/Mistral-7B-Instruct-v0.1 库名称: transformers 标签:
• mergekit
• 合并
• dare
• 医学
• 生物学 许可证: apache-2.0 数据集:
• pubmed 语言:
• 英语
• 法语
• 荷兰语
• 西班牙语
• 意大利语
• 波兰语
• 罗马尼亚语
• 德语 管道标签: 文本生成

BioMistral-7B-mistral7instruct-dare

这是使用mergekit创建的预训练语言模型合并版本。

合并详情

合并方法

本模型采用DARETIES合并方法，以mistralai/Mistral-7B-Instruct-v0.1为基础模型。

合并模型

合并包含以下模型:

• BioMistral/BioMistral-7B

配置

生成此模型使用的YAML配置如下:

models:
  - model: mistralai/Mistral-7B-Instruct-v0.1
    # 基础模型无需参数
  - model: BioMistral/BioMistral-7B
    parameters:
      density: 0.5
      weight: 0.5
merge_method: dare_ties
base_model: mistralai/Mistral-7B-Instruct-v0.1
parameters:
  int8_mask: true
dtype: bfloat16

BioMistral: 面向医学领域的开源预训练大语言模型集合

摘要:

近年来，大语言模型(LLMs)展现出卓越的通用性，在医疗健康等专业领域具有广泛应用潜力。尽管已有多种针对健康场景的开源LLMs，但将通用LLMs适配到医学领域仍面临重大挑战。 本文介绍BioMistral——基于Mistral基础模型并在PubMed Central上继续预训练的开源生物医学领域LLM。我们在包含10个标准医学问答任务的英语基准测试中进行了全面评估，同时探索了通过量化和模型融合获得的轻量级模型。结果表明，BioMistral性能优于现有开源医学模型，并与商业模型具有竞争力。最后，为解决非英语数据稀缺问题并评估医学LLMs的多语言泛化能力，我们自动翻译并评估了该基准至7种其他语言。这标志着医学领域首次大规模多语言LLM评估。实验中获得的数据集、多语言评估基准、脚本及所有模型均免费公开。

重要提示! 尽管BioMistral旨在整合来自高质量证据的医学知识，但尚未针对专业行动场景中的有效、安全或适当知识传递进行优化。除非经过特定用例的充分对齐和实际医疗环境中的随机对照试验等测试，否则不建议在医疗场景中使用。BioMistral 7B可能存在尚未全面评估的内在风险和偏见，且其性能未在真实临床环境中验证。因此，我们建议仅将BioMistral 7B作为研究工具使用，禁止将其部署于生产环境用于自然语言生成或任何专业健康医疗用途。

1. BioMistral模型系列

BioMistral是基于Mistral、使用PubMed Central开放获取文本数据(CC0, CC BY, CC BY-SA和CC BY-ND许可)继续预训练的开源模型套件，适用于医学领域。所有模型均在法国国家科学研究中心(CNRS)Jean Zay超算上训练。

2. 量化模型

2. 使用BioMistral

可通过Hugging Face的Transformers库使用BioMistral。

加载模型和分词器:

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

3. 监督微调基准测试

BioMistral 7B模型与基线模型的监督微调(SFT)性能对比(准确率↑)，取3次3-shot测试的平均值。DARE、TIES和SLERP是融合BioMistral 7B与Mistral 7B Instruct的模型融合策略。加粗为最佳模型，下划线为次佳。*GPT-3.5 Turbo性能来自未经SFT的3-shot结果。

引用BibTeX

预印本: https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: 面向医学领域的开源预训练大语言模型集合}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

重要提示! 直接用户和下游用户均需了解模型的内在风险、偏见和限制。虽然模型能生成自然语言文本，但我们对其能力和局限性的探索才刚刚开始。在医学等领域，理解这些局限性至关重要。因此，我们强烈反对将该模型部署于生产环境用于自然语言生成或任何专业健康医疗任务。