基础模型: meta-llama/Meta-Llama-3-70B-Instruct 标签:

• llama-3
• llama
• Mixtral
• 指导式
• 微调
• chatml
• DPO
• RLHF
• gpt4
• 蒸馏
• 医疗健康
• 医学
• 临床
• 生命科学
• 制药
• 医药 模型索引:
• 名称: OpenBioLLM-70B 结果: [] 许可证: llama3 语言:
• 英语 小部件示例:
• 示例标题: OpenBioLLM-70B 消息:

  • 角色: 系统 内容: >- 您是医疗健康与生物医学领域的专家，拥有丰富的医学知识和实践经验。

  • 角色: 用户 内容: 新生儿黄疸需要多久才能消退？ 输出: 文本: >- 新生儿黄疸，又称新生儿高胆红素血症，是由于血液中胆红素水平升高导致皮肤和眼睛发黄的常见症状。胆红素是红细胞分解时产生的黄色色素。大多数情况下，新生儿黄疸会自行消退，无需特殊治疗。

    新生儿黄疸的持续时间取决于多种因素，如病因、出生时的孕周以及个体胆红素代谢差异。以下是常见情况：

    1. 生理性黄疸：最常见类型，通常在出生后24-72小时出现，第2-5天达到高峰，随后1-2周内逐渐消退。婴儿一周大时黄疸应基本消退。
    2. 母乳性黄疸：见于母乳喂养婴儿，出现时间较晚（通常出生后5-14天），持续时间较长但一般在出生后6周内消退。
    3. 病理性黄疸：较少见，由影响胆红素代谢或肝功能的潜在疾病引起，持续时间取决于具体病因，可能需要治疗。

    家长应密切观察新生儿黄疸情况，如黄疸迅速加重、程度严重或伴随喂养困难、嗜睡等症状，应及时就医。每个婴儿情况不同，黄疸消退时间存在个体差异。如有疑虑，建议咨询专业医疗人员获取个性化指导。

在线演示 | GitHub | 论文 | Discord

介绍OpenBioLLM-70B：最先进的开源生物医学大语言模型

OpenBioLLM-70B是专为生物医学领域设计的高级开源语言模型。由Saama AI Labs开发，该模型采用前沿技术，在广泛的生物医学任务中实现最先进性能。

🏥 生物医学专业化：针对医疗和生命科学领域的独特语言与知识需求定制，基于高质量生物医学数据微调，确保领域专业性与表达流畅性。

🎓 卓越性能：700亿参数规模，性能超越同类开源生物医学模型，在生物医学基准测试中表现优于GPT-4、Gemini、Meditron-70B、Med-PaLM-1/2等更大规模专有及开源模型。

🧠 先进训练技术：基于Meta-Llama-3-70B-Instruct和Meta-Llama-3-70B-Instruct模型，整合DPO数据集与微调方案，结合定制化多样医学指令数据集。训练流程关键组件包括：

• 策略优化：直接偏好优化：你的语言模型实为奖励模型(DPO)
• 微调数据集：定制医学指令数据集（样本数据集将在后续论文中发布）

⚙️ 发布详情：

• 模型规模：700亿参数
• 量化版本：此处获取
• 开发团队：Saama AI Labs Ankit Pal (Aaditya Ura)
• 许可证：Meta-Llama License
• 基础模型：Meta-Llama-3-70B-Instruct
• 资源：论文即将发布

社区资源

🔥 每日医疗AI突破速递 🚀

我们将最新研究论文精华浓缩为每日推文与资讯，涵盖医疗AI突破、数据集发布与基准测试结果。

医疗LLM每日更新	医疗LLM专业资讯
研究视频摘要	研究者交流社区

Transformers使用指南

重要提示：请严格使用Llama-3 instruct版本的对话模板，否则可能导致性能下降。少数情况下模型输出可能冗长，建议设置temperature=0缓解。

import transformers
import torch

model_id = "aaditya/OpenBioLLM-Llama3-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="auto",
)

messages = [
    {"role": "system", "content": "您是医疗健康与生物医学领域的资深专家，名为OpenBioLLM，由Saama AI Labs开发。解答时需结合解剖结构、生理过程、诊断标准等专业医学知识，使用精确术语同时保持通俗易懂。"},
    {"role": "user", "content": "如何分割3mg或4mg华法林药片以获得2.5mg剂量？"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.0,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

训练细节

超参数配置

PEFT配置

框架版本

• Transformers 4.39.3
• Pytorch 2.1.2+cu121
• Datasets 2.18.0
• Tokenizers 0.15.1
• Axolotl
• Lm harness评估工具

基准测试结果

🔥 OpenBioLLM-70B在9个生物医学数据集上平均得分86.06%，超越GPT-4、Gemini、Med-PaLM等更大规模模型，在临床知识图谱、医学遗传学等专业领域表现尤为突出。

🚨 GPT-4/Med-PaLM结果引自原论文（Med-PaLM采用5-shot准确率）

医学细分领域准确率

应用场景示例

🚨 以下结果来自量化版OpenBioLLM-70B

临床笔记摘要

高效分析电子健康记录，提取关键信息生成结构化摘要

医学问答

临床实体识别

精准识别疾病、症状、药物等医学概念

生物标志物提取

分类任务

疾病预测、医学文档分类等

去标识化

保护患者隐私，符合HIPAA等法规

重要声明
OpenBioLLM-70B目前仅限研究用途，未经严格临床验证，禁止直接用于患者诊疗。实际医疗应用需进行额外验证与调整，包括：

• 临床场景测试
• 循证指南对齐
• 偏见消除
• 人工监督机制
• 合规性审查

引用

@misc{OpenBioLLMs,
  author = {Ankit Pal, Malaikannan Sankarasubbu},
  title = {OpenBioLLMs：推进医疗健康与生命科学开源大语言模型},
  year = {2024},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B}}
}

核心贡献者:

• Ankit Pal (Aaditya Ura) [aadityaura@gmail.com]
• Saama AI Labs
• 附注：寻求负责任生成式AI、多模态LLMs等方向的资助博士机会

致谢

感谢Meta团队的优秀模型！

基准数据来源： [1] GPT-4论文 [2] Med-PaLM-1论文 [3] Med-PaLM-2论文 [4] Gemini-1.0论文