许可证: cc 语言:

• 英文 库名称: transformers 管道标签: 文本生成 标签:
• 医疗

MedAlpaca 13b

目录

模型描述

• 架构
• 训练数据
  模型使用
  局限性

模型描述

架构

medalpaca-13b 是一个专门针对医疗领域任务进行微调的大型语言模型。
该模型基于LLaMA（Meta AI的大型语言模型），包含130亿参数。
其主要目标是提升医疗问答和对话任务的性能。

训练数据

本项目的训练数据来自多个渠道：
首先使用Anki闪卡自动生成问题（卡片正面）和答案（卡片背面）；
其次通过Wikidoc生成医疗问答对，提取带标题的段落后，利用Chat-GPT 3.5根据标题生成问题，并将对应段落作为答案（该数据集仍在完善中，约70%问答对事实准确）；
第三从StackExchange五个板块（学术、生物信息学、生物学、健身、健康）提取高票问答；
此外还采用了ChatDoctor的20万组问答数据集（详见https://github.com/Kent0n-Li/ChatDoctor）。

模型使用

评估模型性能时，可使用Hugging Face Transformers库的内置评估脚本（详见评估指南）。
推理应用示例（医疗问答场景）：

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-13b", tokenizer="medalpaca/medalpaca-13b")
question = "糖尿病有哪些症状？"
context = "糖尿病是一种导致高血糖的代谢性疾病，症状包括口渴加剧、尿频和不明原因体重减轻。"
answer = pl(f"背景: {context}\n\n问题: {question}\n\n回答: ")
print(answer)

局限性

• 非医疗领域应用效果有限
• 训练数据主要针对医学生知识水平，可能无法满足执业医师需求
• 未经真实场景验证，实际效果和准确性未知
• 严禁替代专业医疗建议，仅限研究用途