许可证: cc 语言:

• 英文 库名称: transformers 管道标签: 文本生成 标签:
• 医疗

MedAlpaca 7b 医疗大模型

目录

模型描述

• 架构设计
• 训练数据
  模型使用
  局限性

模型描述

架构设计

medalpaca-7b是专为医疗领域任务微调的大型语言模型。该模型基于Meta AI的LLaMA（大型语言模型），包含70亿参数，主要目标是提升医疗问答和对话任务的性能。

训练数据

本项目的训练数据来自多个渠道：

1. 使用Anki记忆卡自动生成问题（卡片正面）和答案（卡片背面）
2. 从Wikidoc生成医疗问答对：提取带标题的段落，通过ChatGPT 3.5根据标题生成问题，对应段落作为答案（当前数据集约70%问答对事实准确）
3. 从StackExchange五个分类（学术、生物信息、生物学、健身、健康）提取高票问答
4. 采用ChatDoctor的20万组问答数据集

模型使用

可通过Hugging Face Transformers库进行推理，示例代码：

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-7b", tokenizer="medalpaca/medalpaca-7b")
question = "糖尿病有哪些症状？"
context = "糖尿病是一种导致高血糖的代谢性疾病，症状包括口渴加剧、尿频和不明原因体重减轻。"
answer = pl(f"背景: {context}\n\n问题: {question}\n\n回答: ")
print(answer)

局限性

1. 在医疗领域外可能表现欠佳
2. 训练数据主要针对医学生知识水平，可能无法满足执业医师需求
3. 未经真实场景验证，效果和准确性未知
4. 严禁替代专业医疗建议，仅限研究用途

开放大模型排行榜评估结果

详细结果参见此处