许可证: cc 语言:

• 英语 库名称: transformers 管道标签: 文本生成 标签:
• 医疗 基础模型: TheBloke/guanaco-65B-GPTQ

Medguanaco 65b

目录

模型描述

• 架构
• 训练数据
  模型使用
  局限性

模型描述

架构

nmitchko/medguanaco-65b-GPTQ 是一个专为医疗领域任务微调的大型语言模型LoRa。
它基于拥有650亿参数的LLaMA Guanaco LORA。
该模型的主要目标是提升问答和医疗对话任务的性能。
训练采用了LoRA技术并压缩至8位以减少内存占用。

加载步骤：

1. 使用transformers加载模型

# 任意llama或alpaca 65b模型
base_model = "nmitchko/medguanaco-65b-GPTQ"
model = LlamaForCausalLM.from_pretrained(
    base_model,    
    load_in_8bit=load_8bit,
    torch_dtype=torch.float16
)

以下说明文件摘自源页面medalpaca

训练数据

训练数据来自多个渠道：
首先利用Anki闪卡自动生成问题（正面）和答案（背面）；
其次通过Wikidoc生成医疗问答对——提取带标题的段落后，使用Chat-GPT 3.5根据标题生成问题，对应段落作为答案（该数据集尚在开发中，约70%问答对事实准确）；
第三从StackExchange五个板块（学术、生物信息学、生物学、健身、健康）提取高赞问答；
此外采用了ChatDoctor的20万组问答数据（详见https://github.com/Kent0n-Li/ChatDoctor）。

局限性

该模型在医疗领域外的表现可能欠佳。
训练数据主要针对医学生知识水平，可能无法满足执业医师需求。
由于未经过真实场景测试，其实际效果和准确性尚不明确。
绝不能替代专业医师诊断，仅限研究用途。