许可证：Apache-2.0
语言：

• 中文
  任务标签：文本生成
  标签：
• 医疗

WiNGPT2

WiNGPT 是基于GPT架构的医疗垂直领域大模型，致力于整合专业医学知识、医疗信息和数据，为行业提供智能问答、诊断支持及医学知识服务，从而提升诊疗效率与医疗服务质量。

项目背景

WiNGPT（卫宁健康医疗语言大模型）的研发始于2023年1月。

• 3月：完成WiNGPT-001可行性验证并启动内测。该版本采用通用GPT架构（60亿参数），实现从预训练到微调的全流程自主研发。
• 5月：训练数据覆盖9720项药品知识、18类药品、7200+疾病知识、2800+检查检验知识、53本专业书籍及1100+指南文档，总训练Token达37亿。
• 7月：升级至70亿参数架构，新增检索增强生成能力，同步启动130亿模型训练及行业邀测。
• 9月：推出WiNGPT2，支持灵活扩展与个性化定制，适配多样化下游场景。

为回馈开源社区，我们开源WiNGPT2-7B版本，旨在通过技术共享推动医疗大模型发展，最终惠及人类健康。

核心特性

• 功能亮点

  • 医学问答：覆盖症状、治疗、药物、预防、检查等全领域医学问题解答。
  • 文本理解：精准解析医学术语、病历等专业文本，实现关键信息提取与分类。
  • 多轮对话：可模拟医生等专业角色，结合上下文提供精准应答。
  • 多任务支持：适配32项医疗任务，涵盖8大场景18个子场景。

• 模型架构

  • 基于Transformer的70亿参数模型，采用RoPE位置编码、SwiGLU激活函数与RMSNorm，以Qwen-7b¹为基座预训练模型。

• 核心优势

  • 高准确率：海量医疗语料训练，显著降低误诊风险。
  • 场景优化：针对真实医疗需求专项调优，提升落地适用性。
  • 持续进化：实时吸纳最新医学研究成果，持续迭代模型能力。

快速开始

推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer  
from transformers.generation import GenerationConfig  

model_path = "WiNGPT2-7B-Chat"  
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)  
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)  
model = model.eval()  

generation_config = GenerationConfig(  
  num_beams=1,  
  top_p=0.75,  
  top_k=30,  
  repetition_penalty=1.1,  
  max_new_tokens=1024  
)  

text = 'User: WiNGPT, 你好<|endoftext|>\n Assistant: '  
inputs = tokenizer.encode(text, return_tensors="pt").to(device)  
outputs = model.generate(inputs, generation_config=generation_config)  
print(tokenizer.decode(outputs[0]))  # 输出：你好！今天我能为你做些什么？<|endoftext|>  

提示格式

• 模板规则：

  User: WiNGPT, 你好<|endoftext|>\n Assistant: 你好！<|endoftext|>\n User: 第二问<|endoftext|>\n Assistant:  
  

• 解码建议：使用repetition_penalty=1.1配合贪婪搜索。

企业服务

申请13B模型测试密钥

训练数据

• 医疗专业数据

  来源	类型	数量
  药品说明书	知识库	15,000条
  临床指南	书籍	1,100份
  医疗知识图谱	知识库	256万三元组

• 公开数据

  来源	类型	数量
  医学科普书籍	书籍	500本
  医疗问答数据	指令	500万条

• 数据处理

  • 分类清洗、去重去隐私、Embedding去重、质量采样。

模型配置

训练策略：DeepSpeed + CPU Offload + Zero Stage3，梯度检查点优化。

性能评测

• C-EVAL综合评估

  模型	平均分	医学专项
  Qwen-7B	59.6	55.2
  WiNGPT2-7B-Base	57.4	55.4

• MedQA专业医疗评估

  模型	平均分	儿科疾病
  Baichuan2-13B	62.9	50.9
  WiNGPT2-7B-Base	82.3	75.1

说明：公开测评存在局限性，专业评估持续更新中。

免责声明

1. WiNGPT2提供的信息仅供参考，不能替代专业医疗建议。
2. 使用者应自行验证信息准确性，卫宁健康不承担由此产生的任何责任。

许可协议

• 模型权重需遵守Qwen-7B许可。
• 引用本项目：https://github.com/winninghealth/WiNGPT2

参考文献

1. Qwen-7B
2. FastChat

联系我们

官网：卫宁健康
邮箱：wair@winning.com.cn