license: other
library_name: transformers
tags:

• generated_from_trainer
• Healthcare & Lifesciences
• BioMed
• Medical
• Multimodal
• Vision
• Text
• Contact Doctor
• MiniCPM
• Llama 3
  base_model: meta-llama/Meta-Llama-3-8B-Instruct
  thumbnail: https://contactdoctor.in/images/clogo.png
  model-index:
• name: Bio-Medical-MultiModal-Llama-3-8B-V1
  results: []
  datasets:
• collaiborateorg/BioMedData
  pipeline_tag: image-text-to-text

生物医学多模态Llama-3-8B-V1模型

本模型是基于meta-llama/Meta-Llama-3-8B-Instruct微调的多模态版本，训练数据来自我们定制的"BioMedData"文本与图像数据集。

模型详情

模型名称：Bio-Medical-MultiModal-Llama-3-8B-V1

基础模型：Llama-3-8B-Instruct

参数量：80亿

训练数据：定制化高质量生物医学文本与图像数据集

数据集条目数：50万+

数据集构成：包含文本和图像数据，既有合成样本也有人工标注样本，确保生物医学知识的多样性和全面覆盖。

模型描述

Bio-Medical-MultiModal-Llama-3-8B-V1是专为生物医学应用设计的大型语言模型。该模型基于Llama-3-8B-Instruct微调，使用包含50多万条多样化条目的定制数据集。这些条目混合了合成数据和人工标注数据，确保高质量和广泛的生物医学主题覆盖。

本模型能够理解和生成各类生物医学领域相关文本，是研究人员、临床医生等生物医学专业人士的宝贵工具。

许可协议

本模型遵循Bio-Medical-MultiModal-Llama-3-8B-V1(仅限非商业使用)许可协议。使用前请仔细阅读条款。

快速演示

使用方法

import torch  
from PIL import Image  
from transformers import AutoModel, AutoTokenizer,BitsAndBytesConfig  

bnb_config = BitsAndBytesConfig(  
    load_in_4bit=True,  
    bnb_4bit_quant_type="nf4",  
    bnb_4bit_use_double_quant=True,  
    bnb_4bit_compute_dtype=torch.float16,  
)  

model = AutoModel.from_pretrained(  
    "ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1",  
    quantization_config=bnb_config,  
    device_map="auto",  
    torch_dtype=torch.float16,  
    trust_remote_code=True,  
    attn_implementation="flash_attention_2",  
)  

tokenizer = AutoTokenizer.from_pretrained("ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1", trust_remote_code=True)  

image = Image.open("图片路径").convert('RGB')  
question = '请说明检查模态、器官、分析结果、异常发现（如有）及治疗方案（如存在异常）？'  

msgs = [{'role': 'user', 'content': [image, question]}]  

res = model.chat(  
    image=image,  
    msgs=msgs,  
    tokenizer=tokenizer,  
    sampling=True,  
    temperature=0.95,  
    stream=True  
)  

generated_text = ""  
for new_text in res:  
    generated_text += new_text  
    print(new_text, flush=True, end='')  

示例回答

检查模态为磁共振成像(MRI)，分析器官为颈椎，图像中未发现异常表现。

应用场景与限制

Bio-Medical-MultiModal-Llama-3-8B-V1适用于生物医学领域的多种场景：

1. 科研支持：辅助研究人员进行文献综述和生物医学文本数据提取
2. 临床决策支持：为临床决策过程提供信息支持
3. 教学工具：作为医学生和专业人士扩展知识库的资源

局限性与伦理考量

虽然Bio-Medical-MultiModal-Llama-3-8B-V1在多种生物医学NLP任务中表现良好，但用户需注意以下限制：

1. 偏见风险：模型可能继承训练数据中的偏见。虽已尽力平衡数据集，但仍可能存在潜在偏见
2. 准确性：模型回答基于其见过的数据模式，不一定总是准确或最新。关键信息应通过可靠来源验证
3. 伦理使用：需负责任地使用模型，特别是在高风险临床环境中。它应作为专业判断的补充而非替代

训练与评估

Bio-Medical-MultiModal-Llama-3-8B-V1使用NVIDIA H100 GPU进行训练，为处理大规模数据和模型参数提供了充足算力。我们实施了严格的评估方案，通过与其他类似模型的基准测试确保其在真实应用中的稳健性和可靠性。

模型训练采用MiniCPM技术，高效处理多模态数据。MiniCPM提供了从视觉信息中学习和处理的能力。

联系方式

如需了解更多信息、咨询或报告问题，请联系：

邮箱：info@contactdoctor.in

网站：https://www.contactdoctor.in

训练超参数

训练过程中使用的超参数：

• 学习率：0.0002
• 训练批大小：4
• 评估批大小：4
• 训练轮次：3
• 随机种子：42
• 梯度累积步数：4
• 优化器：Adam(betas=(0.9,0.999), epsilon=1e-08)
• 学习率调度器类型：cosine
• 学习率预热比例：0.03
• 混合精度训练：Native AMP

框架版本

• PEFT 0.11.0
• Transformers 4.40.2
• Pytorch 2.1.2
• Datasets 2.19.1
• Tokenizers 0.19.1

引用

如在研究或应用中使用Bio-Medical-MultiModal-Llama-3-8B-V1，请按以下格式引用：

@misc{ContactDoctor_MEDLLM,
author = ContactDoctor,
title = {Bio-Medical-MultiModal-Llama-3-8B-V1：高性能生物医学多模态大语言模型},
year = {2024},
howpublished = {https://huggingface.co/ContactDoctor/Bio-Medical-MultiModal-Llama-3-8B-V1},
}