🚀 MedAlpaca 13b

MedAlpaca 13b 是专门针对医疗领域任务进行微调的大型语言模型，基于 LLaMA 架构，拥有 130 亿参数，能有效提升医疗问答和对话任务的表现。

🚀 快速开始

目录

• 模型描述
  • 架构
  • 训练数据
• 模型使用
• 局限性

✨ 主要特性

架构

medalpaca-13b 是专门为医疗领域任务进行微调的大型语言模型。它基于 LLaMA（Large Language Model Meta AI）构建，拥有 130 亿参数。该模型的主要目标是提升问答和医疗对话任务的效果。

训练数据

本项目的训练数据来源于多个渠道：

1. Anki 闪卡：利用 Anki 闪卡自动生成问题（卡片正面内容）和答案（卡片背面内容）。
2. Wikidoc：从 Wikidoc 生成医疗问答对。提取带有相关标题的段落，使用 Chat - GPT 3.5 根据标题生成问题，并将相应段落作为答案。此数据集仍在开发中，约 70% 的问答对在事实层面是正确的。
3. StackExchange：从 StackExchange 提取问答对，选取了五个类别（学术、生物信息学、生物学、健身和健康）中评分最高的问题。
4. ChatDoctor 数据集：使用了来自 ChatDoctor 的包含 200,000 个问答对的数据集，可在 https://github.com/Kent0n - Li/ChatDoctor 获取。

💻 使用示例

基础用法

要评估模型在特定数据集上的性能，可以使用 Hugging Face Transformers 库的内置评估脚本。更多信息请参考评估指南。

可以使用 Hugging Face Transformers 库将该模型用于推理任务，如问答和医疗对话。以下是一个使用该模型进行问答任务的示例：

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-13b", tokenizer="medalpaca/medalpaca-13b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = pl(f"Context: {context}\n\nQuestion: {question}\n\nAnswer: ")
print(answer)

📚 详细文档

局限性

• 领域局限性：该模型在医疗领域之外的表现可能不佳。
• 知识水平局限性：训练数据主要针对医学生的知识水平，在满足认证医师需求方面可能存在限制。
• 实际应用局限性：该模型尚未在实际应用中进行测试，其有效性和准确性目前未知。绝不能将其作为医生意见的替代品，仅应将其视为研究工具。

📄 许可证

本项目采用 CC 许可证。