模型名称: QwenMedic-v1
语言: 英文
许可证: Apache-2.0
任务标签: 文本生成
标签:

• 医疗
• 临床
• 问答系统
• 摘要生成
• 决策支持
  数据集:
• FreedomIntelligence/medical-o1-reasoning-SFT
• jtatman/medical-sci-instruct-1m-sharegpt

模型卡片: QwenMedic-v1

概述

QwenMedic-v1是基于Qwen3-1.7B因果语言模型开发的医疗专用版本，针对临床推理和指令跟随任务进行了微调。该模型在两个精选医疗数据集上进行了1个训练周期的训练，以提升诊断问答和临床摘要生成能力。

基础模型

• 架构: Qwen3-1.7B (28层网络，16个查询/8个键值注意力头，32,768标记上下文窗口)
• 参数量: 17亿
• 量化支持: float16和int4格式

微调数据

1. 医疗推理数据集 (FreedomIntelligence/medical-o1-reasoning-SFT)

   • 包含可验证医疗问题的思维链推理示例
   • 语言: 英语
   • 使用数据拆分: 训练集

2. 通用医疗指令集 (jtatman/medical-sci-instruct-1m-sharegpt)

   • 涵盖各类医疗主题的对话式问答提示
   • 通过train[:100000]采样前10万条示例

训练配置

• 框架: PyTorch + Hugging Face Transformers
• 优化器: AdamW
• 学习率: 2×10⁻⁵
• 批大小: 16 (带梯度累积)
• 精度: bfloat16混合精度
• 硬件: NVIDIA RTX 3090 (24GB显存)

适用场景

• 临床问答与鉴别诊断
• 患者病历摘要生成
• 医学教育与决策支持

局限性与风险

• 可能产生幻觉性内容或看似合理但错误的建议
• 受训练数据覆盖范围影响的偏见问题
• 未经FDA认证——不可替代专业医疗判断
• 避免输入包含患者身份信息的未脱敏数据

最终训练指标概览

推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwenMedic-v1"

# 加载分词器与模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# 准备模型输入
prompt = "55岁男性2型糖尿病患者突发胸痛伴大汗，最可能的鉴别诊断是什么？"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True # 切换思维模式与非思维模式，默认为True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 执行文本生成
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

# 解析思维内容
try:
    # 查找结束标记151668 (</think>)
    index = len(output_ids) - output_ids[::-1].index(151668)
except ValueError:
    index = 0

thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n")
content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")

print("思维内容:", thinking_content)
print("生成内容:", content)

联系方式

• 开发者: 安德烈·罗斯
• 公司: 罗斯科技
• 邮箱: devops.ross@gmail.com