license: other library_name: transformers tags:

• generated_from_trainer
• medical
• Healthcare & Lifesciences
• BioMed
• chain-of-thought base_model: meta-llama/Llama-3.2-1B-Instruct thumbnail: https://collaiborate.com/logo/logo-blue-bg-1.png model-index:
• name: Bio-Medical-Llama-3-2-1B-CoT-012025 results: [] datasets:
• collaiborateorg/BioMedData

生物医学-Llama-3-2-1B-CoT-012025

本模型是基于Llama-3.2-1B-Instruct微调的版本，使用我们定制的"BioMedData"数据集进行训练，该数据集包含62.5万个样本，其中特别加入了2.5万条思维链(CoT)指导样本以增强推理能力。本模型专为医疗健康与生命科学(HLS)领域优化。

模型详情

模型名称: 生物医学-Llama-3-2-1B-CoT-012025
基础模型: Llama-3.2-1B-Instruct
参数量: 10亿
训练数据: 包含62.5万个样本的高质量生物医学定制数据集，其中包含2.5万条CoT指导样本
数据集条目数: 625,000
数据集构成: 该数据集融合了合成数据、人工精校数据和推理导向数据，确保全面覆盖生物医学知识和逻辑推理能力

模型描述

生物医学-Llama-3-2-1B-CoT-012025是一个轻量级但功能强大的语言模型，专为以下场景设计：

• 生成医疗健康和生物医学领域的专业内容
• 通过思维链(CoT)分步推理回答复杂问题
• 支持研究人员、临床医生和学生在生物医学领域的工作

本模型通过增强的CoT能力，提供更好的可解释性和逻辑连贯性。

评估指标

使用Eleuther AI语言模型评估框架对以下任务进行了评估：

• 医学多选题(medmcqa)
• 医学四选一问答(medqa_4options)
• MMLU解剖学(mmlu_anatomy)
• MMLU临床知识(mmlu_clinical_knowledge)
• MMLU大学生物学(mmlu_college_biology)
• MMLU大学医学(mmlu_college_medicine)
• MMLU医学遗传学(mmlu_medical_genetics)
• MMLU专业医学(mmlu_professional_medicine)
• PubMed问答(pubmedqa)

评估结果显示，在需要推理的任务中，本模型性能持续优于同规模通用模型。

使用场景与限制

适用场景:

1. 科研支持: 协助研究人员进行生物医学文本的推理和数据提取
2. 临床决策支持: 提供基于证据的逻辑信息辅助决策
3. 教学工具: 作为理解复杂生物医学概念的学习资源

限制与伦理考量:

• 偏见风险: 尽管已尽力规避，模型可能反映训练数据中的偏见
• 准确性: 关键场景中的回答应与可靠来源交叉验证
• 伦理使用: 模型应作为专业知识的补充而非替代，特别是在高风险应用中

使用方法

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "您是经过医疗健康和生物医学领域训练的专家！"},
    {"role": "user", "content": "对于主诉呼吸困难和胸痛的患者，可能的鉴别诊断有哪些？"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

许可协议

本模型遵循生物医学-Llama-3-2-1B-CoT-012025(仅限非商业使用)协议。使用前请仔细阅读条款。

联系方式

有关生物医学-Llama-3-2-1B-CoT-012025的更多信息、咨询或问题，请联系：

邮箱：info@contactdoctor.in
官网：https://www.contactdoctor.in

训练超参数

训练使用的超参数配置：

• 学习率: 0.0002
• 训练批大小: 8
• 评估批大小: 4
• 随机种子: 42
• 梯度累积步数: 8
• 总训练批大小: 32
• 优化器: Adam(betas=(0.9, 0.999), epsilon=1e-08
• 学习率调度器: 余弦退火
• 学习率预热比例: 0.03
• 训练步数: 2000
• 混合精度训练: 原生AMP

框架版本

• PEFT: 0.11.0
• Transformers: 4.40.2
• Pytorch: 2.1.2
• Datasets: 2.19.1
• Tokenizers: 0.19.1

引用

如果您在研究或应用中使用生物医学-Llama-3-2-1B-CoT-012025，请按以下格式引用：

@misc{ContactDoctor_Bio-Medical-Llama-3.2-1B-CoT-012025,
  author = {ContactDoctor},
  title = {生物医学-Llama-3-2-1B-CoT-012025：具备增强推理能力的生物医学语言模型},
  year = {2025},
  howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-2-1B-CoT-012025},
}