🚀 模型卡片：Llama-3.1 Meditron-3[8B]

Meditron是一套专门用于临床医学的大语言模型。这些模型是与众多临床专家和人道主义从业者共同设计的。其训练过程强调公平的代表性、上下文的多样性以及基于实际证据的可行指导方针。我们特别注重呈现资源有限地区和人道主义环境、被忽视的人群和疾病。此版本基于Llama-3.1[8B]基础模型进行训练，命名为Llama-3.1 Meditron-3[8B]。

📚 详细文档

模型详情

用途

直接使用

Meditron-3是仅用于研究的模型，未经过医学用途验证（见下方免责声明）。

下游应用

Meditron-3是一套尚未进行微调或指令调优的基础模型。不过，这些模型可以使用诸如基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）等技术，适配特定的下游任务或应用。在我们对模型的评估中，针对下游问答任务使用了两种不同的方法：

1. 在提示中添加k个示例进行上下文学习。
2. 使用特定训练数据集对模型进行问答任务的微调。

训练数据

这种新的数据混合体包含了专家整理的公开可用数据，并结合了多个来源：

• 临床指南：来自世界各地各种医疗相关机构（包括医院和国际组织）的国际公认临床实践指南数据集。
• 同行评审的医学出版物：医学全文文章。
• 合成鉴别诊断：用于鉴别诊断的类似合成对话的数据。
• 回放数据：从多个最先进的预训练和指令调优中采样的通用领域预训练数据。
• 大语言模型增强的医学多项选择题：由大语言模型增强的医学多项选择题。

关于数据集的更多信息将包含在Meditron-3的出版物中。

评估

Llama[3.1]-Meditron-3[8B]的评估结果即将公布！

我们使用lm-harness对Meditron进行医学多项选择题评估，以确保可重复性。虽然多项选择题对于评估类似考试的表现很有价值，但它们无法全面体现模型在现实世界中的实用性，特别是在资源匮乏环境中的上下文适应能力。医学并非简单的多项选择题，我们需要超越准确性，评估更细粒度的问题，如同理心、与当地指南的一致性、结构、完整性和安全性。为了解决这个问题，我们开发了一个平台，直接收集专家的反馈，以不断适应临床实践不断变化的环境。

论文

Meditron-3的出版物目前正在筹备中，将在稍后发布。

法律免责声明

本软件和模型“按原样”提供，不附带任何形式的明示或暗示保证，包括但不限于适销性、特定用途适用性和不侵权的保证。在任何情况下，作者、贡献者或版权持有者均不对因合同、侵权或其他方式引起的任何索赔、损害或其他责任负责，无论这些责任是源于软件、软件的使用或其他交易。

这些模型是用于计算语言学和医学领域的研究工具。未经适当验证和监管批准，不得将其用作诊断工具或用于临床决策。模型提供的内容和数据不能替代医疗专业人员的专业知识。医疗专业人员在评估LLaMA模型的输出时应运用专业判断。患者在未咨询合格医疗服务提供者的情况下，不得将模型输出用于自我诊断或治疗。

本信息并非用于临床决策，不应用于患者的诊断或治疗，可能对任何临床目的都无用或不适用。

在任何情况下，用户未经耶鲁大学事先书面同意，不得出于任何目的使用“耶鲁”“EPFL”“耶鲁大学”或其任何附属机构的名称，或其任何变体、改编形式，也不得使用耶鲁大学拥有的任何商标、商号或其他标识，以及其任何受托人、官员、教职员工、学生、员工或代理人的姓名，耶鲁大学有权自行决定是否给予同意。

Llama[3.1]-Meditron[8B]遵循Llama 3.1社区许可证，版权所有 © Meta Platforms, Inc. 保留所有权利。通过下载和使用此模型，您同意LLaMA许可证的条款。