许可证：Apache-2.0
语言：

• 中文
  任务标签：文本生成
  标签：
• 医疗

WiNGPT2

WiNGPT 是基于GPT架构的医疗垂直领域大模型，致力于整合专业医学知识、医疗信息和数据，为行业提供智能化的医疗问答、诊断支持和医学知识服务，从而提升诊疗效率与医疗服务质量。

项目背景

WiNGPT（卫宁健康医疗语言大模型）的研发始于2023年1月。

• 2023年3月：完成WiNGPT-001可行性验证并启动内测。该版本采用通用GPT架构（60亿参数），实现从预训练到微调的全流程自主研发。
• 2023年5月：训练数据覆盖9720项药品知识、18类药品、7200+疾病知识、2800+检验检查知识、53本专业书籍及1100+指南文档，总训练token量达37亿。
• 2023年7月：升级至7B参数版本，引入检索增强生成技术，同步启动13B模型训练及行业邀测。
• 2023年9月：推出WiNGPT2，新版本支持灵活扩展与个性化定制，适配多样化医疗场景应用。

为回馈开源社区，我们开源了WiNGPT2-7B/14B版本，旨在通过技术共享推动医疗语言大模型发展，最终造福人类健康。

核心特性

• 功能亮点

  • 医学问答：覆盖症状、治疗、药物、预防、检查等医疗知识解答。
  • 文本理解：解析医学术语与病历，实现关键信息提取与分类。
  • 多轮对话：可模拟医生等专业角色进行上下文连贯的交互。
  • 多任务支持：适配32项医疗任务，涵盖8大场景18个子场景。

• 模型架构

  • 基于Transformer的7B/14B参数模型，采用RoPE位置编码、SwiGLU激活函数与RMSNorm，以Qwen-7B¹为基座预训练模型。

• 核心优势

  • 精准性：海量医疗语料训练保障高准确率与低误诊风险。
  • 场景化：针对实际医疗需求专项优化，提升落地适用性。
  • 持续进化：动态吸收最新医学研究成果，迭代模型能力。

快速开始

推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer  
from transformers.generation import GenerationConfig  

model_path = "WiNGPT2-7B-Chat"  
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)  
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).eval()  

generation_config = GenerationConfig(  
  num_beams=1,  
  top_p=0.75,  
  top_k=30,  
  repetition_penalty=1.1,  
  max_new_tokens=1024  
)  

inputs = tokenizer.encode("User: WiNGPT, 你好<|endoftext|>\n Assistant: ", return_tensors="pt")  
outputs = model.generate(inputs, generation_config=generation_config)  
print(tokenizer.decode(outputs[0]))  # 输出：你好！今天我能为你做些什么？<|endoftext|>  

提示格式

• 单轮模板：

  User: WiNGPT, 你好<|endoftext|>\n Assistant:  
  

• 多轮拼接：

  User: WiNGPT, 你好<|endoftext|>\n Assistant: 你好！<|endoftext|>\n User: 你是谁？<|endoftext|>\n Assistant:  
  

• 解码建议：使用repetition_penalty=1.1与贪婪搜索。

企业服务

13B模型平台测试（需申请密钥）

训练数据

• 医疗专业数据

  来源	类型	数量
  药品说明书	知识库	15,000条
  多病种知识库	知识库	9,720项
  临床指南	书籍	1,100份
  医疗知识图谱	知识库	256万三元组

• 公开数据

  来源	类型	数量
  医学科普书籍	书籍	500本
  医疗问答数据	指令	500万条

• 数据处理

  • 分类清洗：按场景划分，去隐私/纠错/关键信息提取
  • 去重采样：Embedding去重，质量导向采样

模型卡

训练策略：DeepSpeed（Zero Stage 3）+ CPU Offload + 梯度检查点

性能评测

• C-EVAL综合评估（Zero-shot/Few-shot）

  模型	平均分	STEM	社会科学
  Qwen-7B	59.6	52.8	74.1
  WiNGPT2-7B-Base	57.4	53.2	69.7

• MedQA医疗专项评估（Zero-shot）

  模型	平均分	儿科疾病	传染病
  Baichuan2-13B	62.9	50.9	61.2
  WiNGPT2-7B-Base	82.3	75.1	78.0

说明：当前公开测评存在局限性，详细专业评估将持续更新。

免责声明

1. WiNGPT2 提供的信息不能替代专业医疗建议，用户需自行判断并咨询医疗专业人士。
2. 卫宁健康不对模型输出的准确性、完整性或适用性作担保，使用风险由用户承担。

许可与引用

• 许可证：模型权重遵循Qwen-7B协议
• 引用方式：请注明项目地址 https://github.com/winninghealth/WiNGPT2

参考文献

1. Qwen-7B
2. FastChat

联系我们

官网：卫宁健康
邮箱：wair@winning.com.cn