library_name: transformers tags:

• llm
• llama3
• 罕见病 license: llama3 language:
• en pipeline_tag: text-generation

模型详情

ReidLM是基于Meta的LLaMA 3模型进行微调的版本，专门针对罕见病领域生成高质量、上下文准确的回答进行了优化。
该模型采用Evol-Instruct方法，使用包含400多种罕见病的数据集进行微调。

模型描述

• 开发者: MSRIT学生团队
• 模型类型: 基于Transformer架构的大语言模型(LLM)
• 支持语言(NLP): 英语
• 许可协议: Llama 3社区许可协议
• 基础模型: Meta-Llama-3-8B-Instruct

用途

ReidLM旨在直接生成深刻可靠的信息，以支持医疗专业人员和研究者在罕见病诊断与管理方面的工作。它可作为培训医学生和专业人员了解罕见病的教育工具。

非适用场景

ReidLM专门设计用于生成罕见病相关信息，不适用于以下用途：

• 非医疗领域: 该模型针对罕见病信息优化，在金融、法律、普通健康或其他非医疗领域可能表现不佳。
  
• 通用对话AI: 虽然能生成详细的罕见病信息，但不适合需要广泛理解各类话题的通用对话AI任务。
  

偏见、风险与限制

与其他大语言模型一样，ReidLM存在用户应注意的固有偏见和限制：

• 伦理问题: 存在过度依赖AI进行医疗决策的风险，所有结论都应经专业医疗人员验证。
  
• 准确性: 尽管力求准确，模型仍可能生成错误或不完整信息，特别是在高度专业化或新型病例中。

快速开始

使用以下代码即可快速体验模型功能。

通过Transformers的AutoModelForCausalLM使用

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载预训练模型和分词器
model_name = "Tanvi03/ReidLM"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_text(prompt, max_length=1000):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=max_length, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "解释MEN-1对垂体腺的影响。这种综合征的别称是什么？"
generated_text = generate_text(prompt)
print(generated_text)

训练超参数

训练周期数=3,
每设备训练批次大小=4,
梯度累积步数=2,
优化器="paged_adamw_8bit",
保存步长=1000,
日志记录步长=30,
学习率=2e-4,
权重衰减=0.01,
fp16=True,
最大梯度范数=1.0,
预热比例=0.1

评估结果

评估指标