library_name: transformers tags:

• unsloth
• trl
• sft license: apache-2.0 language:
• en base_model:
• meta-llama/Llama-3.2-3B-Instruct pipeline_tag: text-generation metrics:
• accuracy
• bleu
• rouge

MediLlama-3.2 模型卡

基于Meta LLaMA 3.2（3B Instruct）微调的领域专用模型，适用于医疗健康场景。该模型针对医疗问答、症状检查和患者教育等任务进行了优化。

模型详情

模型描述

本模型是LLaMA 3.2 3B Instruct的领域适配版本，通过监督微调（SFT）在医疗数据集上训练，可处理包括诊断查询、治疗建议和常规医疗咨询等英语医疗场景。

• 开发团队: InferenceLab
• 模型类型: 医疗聊天机器人
• 支持语言: 英语
• 许可协议: Apache 2.0
• 基础模型: meta-llama/Llama-3.2-3B-Instruct

用途

直接使用

可作为医疗健康类应用中的聊天机器人或虚拟助手，适用于教育内容、初步症状分诊和研究用途。

下游应用

经进一步任务特定微调后，可集成到远程医疗系统、临床文档工具或诊断辅助系统中。

非适用场景

• 未经专家验证不得用于实时诊断或治疗决策
• 不适用于高风险或危及生命的紧急响应
• 未针对儿科或高度专业化医疗领域训练

偏差、风险与限制

虽然基于医疗数据训练，模型仍可能表现：

• 源数据偏差
• 幻觉或错误建议
• 过时或非地区性医疗建议

使用建议

输出内容需经专业医疗人员验证。本模型仅限研究和原型开发，未经合规审查不得用于临床部署。

快速开始

import torch
from transformers import pipeline

model_id = "InferenceLab/MediLlama-3.2"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "您是一位专业的医疗助手。"},
    {"role": "user", "content": "你好！最近感觉怎么样？"},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

训练详情

训练数据

使用经过清洗的医疗问答数据集、模拟医患对话和公开健康论坛数据训练，已移除受保护健康信息（PHI）。

训练流程

采用TRL和Unsloth库进行监督微调(SFT)。

预处理

使用LLaMA分词器配合特殊医疗指令格式。

超参数

• 训练模式: bf16混合精度
• 学习率: 1e-5

训练效率

• 训练时长: 4×A100 GPU约12小时

评估

测试数据与指标

测试数据

包含未见过的医疗问答对、模拟测试用例和MedQA衍生样本。

评估维度

• 输入复杂度
• 医学术语使用
• 对话长度

指标

• 准确率: 81.3%
• BLEU: 34.5
• ROUGE-L: 62.2

评估结果

总结

模型对未见提示表现出良好泛化能力，在通用医疗对话中具有竞争力。肿瘤学等专科领域需进一步微调。

模型检验

建议使用LLaMA-MedLens等可解释性工具分析模型决策。

环境影响

• 硬件配置: 4×NVIDIA A100 40GB
• 训练时长: 12小时
• 云服务商: AWS
• 区域: 美西-2
• 碳排放: 约35.8千克CO2当量

技术规格

模型架构

• 基于Meta LLaMA 3.2 3B Instruct
• 仅解码器架构
• 目标函数: 因果语言建模(CLM)结合指令微调

计算设施

硬件

• 4×NVIDIA A100 40GB

软件

• Python 3.10
• Transformers (v4.40+)
• TRL
• Unsloth
• PyTorch 2.1

术语表

• SFT: 监督微调
• BLEU: 双语评估替补
• ROUGE: 面向召回的内容评价替补

更多信息

如需合作、部署支持或定制微调，请联系开发团队。

模型卡作者

• InferenceLab团队