许可证：Apache-2.0
标签：

• 医疗
  数据集：
• 生物医学

BioMedGPT-LM-7B

BioMedGPT-LM-7B 是生物医学领域首个基于Llama2的大型生成式语言模型。
该模型通过对Llama2-7B-Chat进行微调，并使用了来自S2ORC语料库的数百万篇生物医学论文。经过进一步微调，BioMedGPT-LM-7B在多项生物医学问答基准测试中表现优于或与人类及规模更大的通用基础模型相当。

训练细节

模型训练采用以下超参数：

• 训练轮次：5
• 批量大小：192
• 上下文长度：2048
• 学习率：2e-5

BioMedGPT-LM-7B针对生物医学领域高度相关的260亿以上标记进行了微调。微调数据通过PubMed Central（PMC）ID和PubMed ID作为筛选标准，从S2ORC数据中的数百万篇生物医学论文中提取。

模型开发者

PharMolix

使用方法

BioMedGPT-LM-7B是**BioMedGPT-10B**（BioMedGPT的开源版本）的生成式语言模型。
BioMedGPT是一种面向生物医学的开源多模态生成式预训练变换器（GPT），通过大型生成式语言模型桥接自然语言模态与多样化的生物医学数据模态。

技术报告

关于BioMedGPT-LM-7B、BioMedGPT-10B和BioMedGPT的更多技术细节，请参阅技术报告："BioMedGPT：面向生物医学的开源多模态生成式预训练变换器"。

GitHub

项目地址：https://github.com/PharMolix/OpenBioMed

限制声明

本仓库托管BioMedGPT-LM-7B模型，我们强调该模型的负责任和伦理使用。BioMedGPT-LM-7B不得用于向公众提供服务。严禁生成任何违反适用法律法规的内容，包括但不限于煽动颠覆国家政权、危害国家安全与利益、宣扬恐怖主义、极端主义、民族仇恨与歧视、暴力、色情，或虚假有害信息等。BioMedGPT-LM-7B不对用户提供或发布的任何内容、数据或信息所产生的后果承担责任。

许可协议

本仓库遵循Apache-2.0许可证。使用BioMedGPT-LM-7B模型需遵守可接受使用政策。