license: apache-2.0 tags:

• unsloth
• trl
• sft
• medical
• reasoning datasets:
• FreedomIntelligence/medical-o1-reasoning-SFT language:
• en base_model:
• Qwen/Qwen3-0.6B pipeline_tag: text-generation library_name: transformers

Qwen3-0.6B-医学专家模型

本项目对Qwen3-0.6B语言模型进行全参数微调，显著提升了其医学推理与临床理解能力。训练采用FreedomIntelligence/medical-o1-reasoning-SFT数据集，并使用bfloat16（bf16）精度实现高效优化。

训练流程

1. 数据准备

   • 采用FreedomIntelligence/medical-o1-reasoning-SFT专业医学数据集
   • 每个样本包含医学相关指令/问题与详细的临床推理回答
   • 提示词经过结构化设计，确保生成安全、专业且逻辑连贯的医学推理链

2. 模型加载配置

   • 通过unsloth库加载Qwen3基础模型权重（bf16精度）
   • 全参数更新模式（full_finetuning=True）确保模型充分适配医学推理决策任务

3. 监督式微调

   • 采用Hugging Face TRL库的监督微调（SFT）方法
   • 重点训练模型执行临床指令、症状解读及生成诊断/治疗方案的能力

核心价值

• 显著提升模型解析医学指令与生成分步临床推理的能力
• 输出结果兼具医学准确性与可解释性，适用于医学教育辅助与AI临床决策支持场景

许可协议

本项目采用Apache 2.0开源协议，详见LICENSE文件。

支持我们