library_name: transformers tags: []

II-Medical-7B-Preview 医疗推理模型预览版

一、模型概述

II-Medical-7B-Preview是基于综合医疗数据集训练的医疗推理模型，旨在提升AI在医疗领域的应用能力。

二、训练方法

我们收集并构建了医疗领域的综合推理数据集，在Qwen/Qwen2.5-7B-Instruct模型基础上进行SFT微调。随后通过在复杂推理数据集上训练DAPO算法进一步优化模型性能。

SFT阶段超参数配置：

• 最大长度：16378
• 批量大小：128
• 学习率：5e-5
• 训练轮次：4

强化学习阶段配置：

• 最大提示长度：2048个token
• 最大响应长度：12288个token
• 超长缓冲：启用（4096个token，惩罚系数1.0）
• 裁剪比率：低0.2，高0.28
• 批量大小：训练提示512，生成提示1536，小批量32
• 每个提示响应数：16
• 采样参数：温度1.0，Top-p 1.0，Top-k -1（vLLM rollout）
• 学习率：1e-6，预热步数10，权重衰减0.1
• 损失聚合：token均值
• 梯度裁剪：1.0
• 熵系数：0

三、评估结果

我们在十个医疗QA基准测试上进行评估，包括MedMCQA、MedQA、PubMedQA以及来自MMLU-Pro和GPQA的医疗相关问题等。

四、数据集构建

训练数据集包含555,000个样本，来源如下：

1. 公开医疗推理数据集（103,031样本）

• 通用医疗推理：40,544样本
• 医疗R1蒸馏数据：22,000样本（中英文）

2. 使用QwQ生成的合成医疗QA数据（225,700样本）

来自MedMcQA、MedQA等基准数据集

3. 精选医疗R1推理轨迹（338,055样本）

通过领域专用流程处理：

1. 使用sentence-transformers生成嵌入向量
2. 进行50,000簇的K-means聚类
3. 使用Qwen2.5-32b-Instruct进行领域分类
4. 仅保留医疗/生物类簇

4. 补充数学数据集（15,000样本）

用于增强模型通用推理能力

数据预处理

• 完整性过滤
• 长度过滤（3-7,143词）
• "Wait"标记过滤（超过47次则剔除）

数据净化

采用双重净化流程：

1. 基于10-gram的评估数据集净化
2. 使用s1k方法进行模糊净化（阈值90%）

五、使用方法

可通过vLLM或SGLang快速部署服务：

vllm serve Intelligent-Internet/II-Medical-7B-Preview

六、使用建议

• 推荐采样参数：temperature=0.6, top_p=0.9
• 显式要求逐步推理，并将最终答案置于\boxed{}中

七、限制说明

• 数据集可能存在源材料固有偏差
• 医疗知识需要定期更新
• 注意：不适用于实际医疗用途

八、引用格式

@misc{2025II-Medical-7B-Preview,
      title={II-Medical-7B-Preview: 医疗推理模型}, 
      author={Intelligent Internet},
      year={2025}
}