Meditron3 70B

🚀 模型卡片：Llama-3.1 Meditron-3[70B]

Meditron是一套专门用于临床医学的大语言模型。这些模型是与众多专业临床医生和人道主义从业者共同设计的。其训练过程强调公平的代表性、上下文的多样性，以及基于可操作的现实世界证据的指南。我们特别注重对资源有限和人道主义环境、被忽视的人群和疾病的呈现。本次发布的模型基于Llama-3.1[70B]基础模型进行训练，命名为Llama-3.1 Meditron-3[70B]。

✨ 主要特性

• 模型类型：大语言模型（LLM）
• 专业领域：医学
• 关注重点：通用目的，包括资源有限和人道主义环境

📚 详细文档

模型详情

用途

直接使用

Meditron-3是仅用于研究的模型，未经过医学使用验证（见下方免责声明）。

下游使用

Meditron-3是一套基础模型，尚未进行微调或指令调优。不过，这些模型可以使用诸如基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）等技术，适应特定的下游任务或应用。在我们对模型的评估中，针对下游问答任务使用了两种不同的方法：

1. 在提示中添加k个示例的上下文学习。
2. 使用特定训练数据集对问答任务进行模型微调。

训练数据

这种新的数据混合体由专家精心策划的公开可用数据组成，并结合了多种来源：

• 临床指南：来自世界各地各种医疗相关来源（包括医院和国际组织）的国际认可的临床实践指南数据集。
• 同行评审的医学出版物：医学全文文章。
• 合成鉴别诊断：用于鉴别诊断的类似合成对话的数据。
• 回放数据：从多个最先进的预训练和指令调优中采样的通用领域预训练数据。
• LLM增强的医学多项选择题：用大语言模型增强的医学多项选择题。

关于数据集的更多信息将包含在Meditron-3的出版物中。

评估

Llama[3.1]-Meditron-3[70B]的评估结果即将公布！

我们使用lm-harness对Meditron在医学多项选择题上进行了评估，以确保结果可重复。虽然多项选择题对于评估类似考试的表现很有价值，但它们无法充分体现模型在现实世界中的实用性，特别是在代表性不足的环境中的上下文适应性方面。医学并非多项选择题，我们需要超越准确性来评估更细粒度的问题，如同理心、与当地指南的一致性、结构、完整性和安全性。为了解决这个问题，我们开发了一个平台，直接从专家那里收集反馈，以不断适应临床实践不断变化的环境。

论文

Meditron-3的出版物目前正在筹备中，将在稍后发布。

法律免责声明

本软件和模型“按原样”提供，不提供任何形式的明示或暗示保证，包括但不限于适销性、特定用途适用性和不侵权的保证。在任何情况下，作者、贡献者或版权持有者均不对因合同、侵权或其他方式引起的任何索赔、损害或其他责任负责，无论该责任与软件或软件的使用或其他交易有何关联。

这些模型是用于计算语言学和医学领域的研究工具。未经适当验证和监管批准，不得将其用作诊断工具或用于临床决策。模型提供的内容和数据不能替代医疗专业人员的专业知识。医疗专业人员在评估LLaMA模型的输出时应运用其专业判断。患者在未咨询合格医疗服务提供者的情况下，不应将模型输出用于自我诊断或治疗。

本信息并非用于临床决策，不应用于患者的诊断或治疗，可能对任何临床目的都无用或不适用。

在任何情况下，未经耶鲁大学事先书面同意，用户不得出于任何目的使用“耶鲁大学”“EPFL”“耶鲁大学”或任何附属机构的名称，或其任何变体或改编形式，也不得使用耶鲁大学拥有的任何商标、商号或其他标识，或其任何受托人、官员、教职员工、学生、员工或代理人的姓名，耶鲁大学有权自行决定是否给予同意。

Llama[3.1]-Meditron[70B]根据Llama 3.1社区许可证授权，版权所有 © Meta Platforms, Inc. 保留所有权利。通过下载和使用此模型，您同意LLaMA许可证的条款 点击查看。

⚠️ 重要提示

Meditron-3是仅用于研究的模型，未经过医学使用验证，不能替代医疗专业人员的专业知识。

💡 使用建议

针对下游问答任务，可尝试在提示中添加k个示例的上下文学习，或使用特定训练数据集对问答任务进行模型微调。