基础模型: Writer/Palmyra-x-004 标签:

• 指令微调
• 精调
• DPO优化
• 知识蒸馏
• 医疗健康
• 医学
• 临床
• 医药
• 生命科学
• 制药
• 药企
• 企业级大模型
• 企业应用
• 企业就绪 模型索引:
• 名称: Palmyra-Med-70B-32k 结果: [] 许可证: 其他 许可证名称: writer开放模型许可 许可证链接: https://writer.com/legal/open-model-license/ 额外授权提示: >- 点击"同意"即表示您接受许可协议并确认已阅读Writer的隐私政策。 额外授权字段: 姓名: 文本 邮箱: 文本 所属机构: 文本 是否接收Writer产品服务及研究进展邮件: 类型: 选择 选项:
  • '是'
  • '否' 确认本模型仅限非商业用途使用(除非获得Writer额外授权): 复选框 语言:
• 英语 演示样例:
• 示例标题: Palmyra-Med-70B-32k 对话记录:
  • 角色: 系统 内容: >- 您是一位在医疗健康和生物医学领域具有深厚专业知识和丰富实践经验的高级专家。
  • 角色: 用户 内容: >- 丹栀逍遥散是否通过下调海马体吲哚胺2,3-双加氧酶来促进血清素转化，从而改善抑郁样行为？ 输出: 文本: >- 在慢性不可预见温和应激(CUMS)大鼠模型中(常用于诱导抑郁样行为)，丹栀逍遥散(DXS)表现出显著的抗抑郁效果。DXS给药显著降低了海马体中吲哚胺2,3-双加氧酶(IDO)的活性。这种IDO活性的降低至关重要，因为IDO是催化色氨酸降解为犬尿氨酸(Kyn)的酶，从而将色氨酸从血清素(5-HT)合成途径转移出去。通过下调IDO，DXS有效地将色氨酸代谢平衡转向增加血清素生产，从而提升血清素的可用性。这种偏向血清素的Kyn/5-HT通路转变很可能是DXS治疗产生抗抑郁效果的关键机制。海马体中血清素水平的提升与情绪改善和抑郁症状减轻相关，表明DXS可能是治疗抑郁症的潜在有效药物。

Palmyra-Med —— 专为医疗健康领域打造的强大语言模型

模型描述

• 开发团队: Writer
• 支持语言: 英语
• 许可协议: Writer开放模型许可
• 基础模型: Palmyra-X-003
• 上下文窗口: 32768字符

模型详情

Writer研发的Palmyra-Med-70b-32k在Palmyra-Med-70b基础上扩展了上下文长度，满足医疗健康行业需求。该模型在生物医学基准测试中以85.87%的平均得分领先，表现优于GPT-4、Claude Opus、Gemini和Med-PaLM-2基础模型，甚至超过经过医学训练的人类测试者。

资源与技术文档:

• Writer博客
• Writer开发者网站
• Writer AI工作室
• Palmyra模型API

生物医学专项优化

Palmyra-Med-70B-32k专为满足医疗和生命科学领域独特的语言与知识需求而设计。通过对大量高质量生物医学数据进行精细调优，确保其能够以精准的领域专业度理解和生成文本。

我们的系统整合了DPO数据集、精心设计的调优方案以及定制的多样化医疗指令数据集，使其能出色应对该领域的特定需求。训练流程的关键组件包括：

• 策略优化: 采用直接偏好优化提升模型性能 DPO论文
• 微调数据集: 定制医疗指令数据集(Writer内部构建)

使用范围

适用场景
Palmyra-Med-70b-32k适用于英语环境的非商业用途和研究。指令调优版本适用于类助手对话场景，预训练版本可适配多种自然语言生成任务。

限制范围
任何违反适用法律法规(包括贸易合规法律)的使用方式。违反Writer可接受使用政策和Writer开放模型许可的其他使用方式。英语之外的其他语言使用。

注意: 开发者可基于Writer开放模型许可和可接受使用政策，对Palmyra-Med-70b-32k进行英语之外语言的微调。

水印机制: 所有Writer.com构建的模型均包含水印以检测和防止滥用及非法使用。

Transformers调用示例

您可以使用Transformers的Auto类配合generate()函数进行对话推理。示例如下：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Writer/Palmyra-Med-70B-32k"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "您是一位在医疗健康和生物医学领域具有深厚专业知识和丰富实践经验的高级专家。",
    },
    {
        "role": "user",
        "content": "丹栀逍遥散是否通过下调海马体吲哚胺2,3-双加氧酶来促进血清素转化，从而改善抑郁样行为？",
    },
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)

gen_conf = {
    "max_new_tokens": 256,
    "eos_token_id": [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")],
    "temperature": 0.0,
    "top_p": 0.9,
}

with torch.inference_mode():
    output_id = model.generate(input_ids, **gen_conf)

output_text = tokenizer.decode(output_id[0][input_ids.shape[1] :])

print(output_text)

评估结果

Palmyra-Med-70B-32k在9个多样化生物医学数据集上超越GPT-4、Gemini和Med-PaLM-1等更大规模模型，以85.9%的平均得分取得领先成果。其在临床知识图谱、医学遗传学和PubMedQA等任务中的优异表现，印证了其对生物医学知识的深刻掌握。

生物医学基准表现

我们对Palmyra-Med-70B-32k进行了"大海捞针"测试(NIH)，结果如下：

经过NIH评估，Palmyra-Med-70B-32k模型几乎获得满分，彰显其高效处理海量医学文献的强大能力。

医疗应用场景

Palmyra-Med-70B-32k擅长分析和总结复杂临床记录、电子健康档案(EHR)数据和出院摘要，提取关键信息生成结构化摘要。通过高级临床实体识别，它能从非结构化文本中识别疾病、症状、药物、治疗程序和解剖结构等核心医学概念，从而提升临床决策质量。

凭借对医学术语的深刻理解，该模型能增强从电子病历、研究论文等生物医学数据源中检索信息、分析数据和发现知识的能力。这些功能可支持临床决策辅助、药物警戒和医学研究等应用场景。

偏差、风险与限制

尽管基于高质量数据训练，Palmyra-Med-70B-32k仍可能存在不准确、偏见或错位问题，且未经过临床试验或真实医疗环境的严格验证。

建议不要将该模型直接用于患者护理、临床决策支持或专业医疗用途。其使用应仅限于理解其局限性的合格研究人员。Palmyra-Med-70B-32k不能替代专业医疗判断，将其应用于医疗领域需要开展大量额外工作，包括全面测试、指南对齐、偏差缓解、人工监督和法规合规等。个人医疗需求请务必咨询专业医疗人员。

引用与相关信息

引用本模型：

@misc{Palmyra-Med-70B,
  作者 = {Writer工程团队},
  标题 = {{Palmyra-Med-70B: 专为医疗健康设计的强大语言模型}},
  发布方式 = {\url{https://dev.writer.com}},
  年份 = 2024,
  月份 = 6月
}

联系方式 Hello@writer.com