license: apache-2.0 datasets:

• HPAI-BSC/Aloe-Beta-General-Collection
• HPAI-BSC/chain-of-diagnosis
• HPAI-BSC/MedS-Ins
• HPAI-BSC/ultramedical
• HPAI-BSC/pubmedqa-cot-llama31
• HPAI-BSC/medqa-cot-llama31
• HPAI-BSC/medmcqa-cot-llama31
• HPAI-BSC/headqa-cot-llama31
• HPAI-BSC/MMLU-medical-cot-llama31
• HPAI-BSC/Polymed-QA
• HPAI-BSC/Aloe-Beta-General-Collection
• HPAI-BSC/Aloe-Beta-General-Collection language:
• en library_name: transformers tags:
• biology
• medical
• healthcare pipeline_tag: question-answering

Aloe系列：微调开源医疗大语言模型家族

Qwen2.5-Aloe-Beta-7B是一款开源医疗大语言模型，在多项医疗任务中达到最先进性能。Aloe Beta提供四种规格：7B、8B、70B和72B。所有模型基于Llama3.1和Qwen2.5两大模型家族，采用相同配方训练。

Aloe在20项医疗任务上训练，形成稳健多能的医疗模型。评估显示Aloe系列处于同类最佳水平。当结合RAG系统（同步发布）时，7B和8B版本性能接近MedPalm-2、GPT4等闭源模型。同等RAG系统下，Llama3.1-Aloe-Beta-70B和Qwen2.5-Aloe-Beta-72B超越私有替代方案，创下最先进成果。

Aloe-Beta-7B

Aloe-Beta是Aloe家族的最新迭代，在前代Aloe-8B-Alpha基础上改进。Beta训练数据量是Alpha的三倍多，总计18亿token，涵盖更广的医疗任务类型（如文本摘要、解释说明、诊断、文本分类、治疗建议等）。

为避免灾难性遗忘并增强函数调用等新能力，我们引入占总量20%的多样化高质量通用数据，包括数学、编程、STEM及超长指令（>8k token）等内容，提升模型跨领域适应力。

相比Alpha，Beta强化了对齐与安全阶段，包含医疗偏好数据集及红队测试数据（即将发布）。完整训练细节、模型融合配置及所有训练数据（含合成数据）详见下文，包括用于测试的RAG系统。Aloe附有医疗专用风险评估，助力安全部署。

模型详情

模型描述

• 开发方：HPAI
• 模型类型：因果解码器架构的Transformer语言模型
• 语言支持：英语（其他语言能力未正式评估）
• 许可协议：基于Apache 2.0许可的Qwen2.5-7B，修改部分采用CC BY 4.0许可，支持商业用途
• 基础模型：Qwen2.5-7B
• 论文：（即将更新）
• RAG代码库：https://github.com/HPAI-BSC/prompt_engine

模型性能

Aloe Beta在主流医疗QA数据集上测试（含Medprompt推理技术），结果显示其达到同规格模型中的最先进水平。

Beta模型专攻多项医疗任务，我们在多样化场景中评估其表现：

通过OpenLLM排行榜基准测试通用领域性能，Aloe-Beta在主流通用基准中媲美当前SOTA通用模型，并超越医疗专用模型：

使用场景

直接使用

鼓励将Aloe用于医疗基础模型研究的垫脚石。生产环境中需在人类专家监督下使用。

非适用场景

禁止用于临床实践、医疗诊断等直接/间接医疗建议。模型可能出错并产生有害内容。严禁用于垃圾邮件、欺诈、冒充等危害行为。未成年人需在监督下使用。

偏见、风险与限制

Aloe在特定提示下可能生成有害内容，存在多种不良偏差。尽管已尽力缓解（见对齐章节），模型安全性无法完全保证。训练中避免使用任何个人数据。

我们识别出医疗LLM至少三类特殊风险：

1. 冒充医疗专业人员：当前年获利超120亿美元的欺诈行为。Aloe可能提升此类骗局效力，需通过公众教育（数字信息不可靠性、医疗注册重要性）及AI内容标注立法预防。
2. 无专业监督的医疗决策：类似自我药疗问题，Aloe的高质量对话能力可能加剧自我误诊（尤其谄媚倾向）。需通过风险教育及输出警示应对。
3. 危险物质/操作信息获取：虽然相关文献可通过图书馆/暗网获取，但LLM可能集中此类信息流。模型对齐虽有效，但破解方法仍存。

快速开始

使用以下代码启动模型。可通过Transformers流水线抽象或Auto类结合generate()函数实现对话推理。

Transformers流水线

import transformers
import torch

model_id = "HPAI-BSC/Qwen2.5-Aloe-Beta-7B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert medical assistant named Aloe, developed by the High Performance Artificial Intelligence Group at Barcelona Supercomputing Center(BSC). You are to be a helpful, respectful, and honest assistant."},
    {"role": "user", "content": "Hello."},
]

prompt = pipeline.tokenizer.apply_chat_template(
		messages, 
		tokenize=False, 
		add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|im_end|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
    top_p=0.8,
    top_k=20,
    repetition_penalty=1.05
)
print(outputs[0]["generated_text"][len(prompt):])

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "HPAI-BSC/Qwen2.5-Aloe-Beta-7B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert medical assistant named Aloe, developed by the High Performance Artificial Intelligence Group at Barcelona Supercomputing Center(BSC). You are to be a helpful, respectful, and honest assistant."},
    {"role": "user",