license: other library_name: transformers tags:

• 推理
• 思维链
• 医学
• 医疗健康与生命科学
• 生物医学 base_model: ContactDoctor/Bio-Medical-Llama-3-8B thumbnail: https://collaiborate.com/logo/logo-blue-bg-1.png model-index:
• name: Bio-Medical-Llama-3-8B-CoT-012025 results: [] datasets:
• collaiborateorg/BioMedData-CoT

Bio-Medical-Llama-3-8B-CoT-012025

本模型Bio-Medical-Llama-3-8B-CoT-012025是基于原版Bio-Medical-Llama-3-8B和Deepseek蒸馏版Llama 8B的微调升级版本，通过引入思维链（COT）指令集实现了高级推理能力。这一增强体现了我们致力于为医疗健康与生命科学领域提供尖端专业大语言模型的承诺。

模型详情

模型名称：Bio-Medical-Llama-3-8B-CoT-012025

基础模型：Bio-Medical-Llama-3-8B

参数量：80亿

训练数据：包含高质量生物医学数据的扩展数据集，特别聚焦推理密集型任务

原始数据集条目数：60万+，扩展数据集：2.5万+

数据集构成：整合了多样化且以推理为核心的生物医学查询与任务，确保稳健的思维链表现。包含针对临床、诊断和研究场景量身定制的合成数据与人工标注样本。

模型说明

Bio-Medical-Llama-3-8B-CoT-012025代表了医疗健康与生命科学领域AI推理能力的重大飞跃。通过融入思维链微调技术，该模型擅长处理复杂的多步推理任务，是要求批判性思维和细致理解场景的理想选择。

核心特性：

• 增强推理能力：专项训练实现多步推理，提供准确且上下文丰富的响应
• 适配多场景的紧凑模型：包含适用于边缘设备和高性能系统的1B/3B/8B变体
• 专业化训练导向：采用针对生物医学推理与问题解决独特挑战设计的数据集开发

评估指标

在HLS基准测试中，Bio-Medical-Llama-3-8B-CoT-012025展现出多步推理任务的显著进步，超越前代模型。需注意的是，其在多选题类评估任务上的表现可能相对较弱，因为模型专门针对推理类挑战进行了优化。

使用场景与限制

本模型专为生物医学领域需要高级推理能力的场景设计，包括：

1. 临床推理：辅助医疗专业人员进行诊断与治疗规划
2. 医学研究：支持假设生成、文献综述与数据解读
3. 教学工具：为医学生和专业人员提供高级培训模拟与问题解决支持

限制与伦理考量

偏见问题：尽管训练中尽力减少偏见，但训练数据固有的偏见可能仍存在

准确性：模型推理基于训练数据，可能无法始终保持最新或完全符合语境。关键输出需对照权威来源验证

伦理使用：本模型不能替代专业医疗判断，在临床决策等场景中需负责任地使用

使用方式

import transformers
import torch

model_id = "ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "您是经过医疗健康与生物医学推理训练的专家"},
    {"role": "user", "content": "45岁男性出现胸痛症状，可能的鉴别诊断有哪些？"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

许可协议

本模型遵循Bio-Medical-Llama-3-8B-CoT-012025（仅限非商业使用）许可协议，使用前请仔细阅读条款。

联系方式

有关Bio-Medical-Llama-3-8B-CoT-012025的更多信息、咨询或问题反馈，请联系：

邮箱：info@contactdoctor.in

官网：https://www.contactdoctor.in

训练超参数

训练采用以下超参数配置：

• 学习率：0.00015
• 训练批大小：16
• 评估批大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批大小：64
• 优化器：带betas=(0.9, 0.98)和epsilon=1e-08的AdamW
• 学习率调度器类型：线性
• 学习率预热比例：0.05
• 训练步数：2500
• 混合精度训练：原生AMP

框架版本

• PEFT 0.12.0
• Transformers 4.41.0
• Pytorch 2.1.2
• Datasets 2.21.0
• Tokenizers 0.22.0

引用规范

如在研究或应用中使用Bio-Medical-Llama-3-8B-CoT-012025，请按以下格式引用：

@misc{ContactDoctor_Bio-Medical-Llama-3-8B-CoT, author = ContactDoctor, title = {生物医学思维链：面向医疗应用的进阶推理系统}, year = {2025}, howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-Llama-3-8B-CoT-012025}, }