库名称: peft 标签:

• 自动训练

• meta-llama

• meta-llama/Llama-2-7b-hf 推理: 否 小部件:

• 文本: '指令: "如果你是医生，请根据患者描述回答医疗问题。"

  输入: "你好，我去年发生了蛛网膜下腔出血并接受了脑动脉瘤弹簧圈栓塞术。我现在双侧太阳穴剧烈疼痛，并伴有左臂/手/手指间歇性麻木。自动脉瘤手术后我一直有头痛，但这次感觉不同。此外，过去几周我的情绪非常糟糕。"

  回复: ''''

  ' 管道标签: 文本生成 基础模型: meta-llama/Llama-2-7b-hf

专为医疗咨询微调的llama-2-7b-hf模型。可在T4 GPU（16GB显存）和CPU（32GB内存）上运行

在GPU上运行:

import transformers
from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
from torch import cuda, bfloat16

base_model_id = 'meta-llama/Llama-2-7b-chat-hf'

device = f'cuda:{cuda.current_device()}' if cuda.is_available() else 'cpu'

bnb_config = transformers.BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=bfloat16
)


hf_auth = "你的huggingface访问令牌"
model_config = transformers.AutoConfig.from_pretrained(
    base_model_id,
    use_auth_token=hf_auth
)

model = transformers.AutoModelForCausalLM.from_pretrained(
    base_model_id,
    trust_remote_code=True,
    config=model_config,
    quantization_config=bnb_config,
    device_map='auto',
    use_auth_token=hf_auth
)

config = PeftConfig.from_pretrained("Ashishkr/llama-2-medical-consultation")
model = PeftModel.from_pretrained(model, "Ashishkr/llama-2-medical-consultation").to(device)

model.eval()
print(f"模型已加载到{device}")

tokenizer = transformers.AutoTokenizer.from_pretrained(
    base_model_id,
    use_auth_token=hf_auth
)