许可证：apache-2.0
库名称：peft
标签：

• pytorch
• llama-2
  流水线标签：文本生成
  基础模型：meta-llama/Llama-2-7b-chat-hf

该模型基于 meta-llama/Llama-2-7b-chat-hf 使用 MedQuAD（医学问答数据集）进行了微调。
如果您对如何微调 Llama-2 或其他大型语言模型感兴趣，可以参考这个 仓库。

使用方法

base_model = "meta-llama/Llama-2-7b-chat-hf"
adapter = 'EdwardYu/llama-2-7b-MedQuAD'

tokenizer = AutoTokenizer.from_pretrained(adapter)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    load_in_4bit=True,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type='nf4'
    ),
)
model = PeftModel.from_pretrained(model, adapter)

question = '胰高血糖素有哪些副作用或风险？'
inputs = tokenizer(question, return_tensors="pt").to("cuda")
outputs = model.generate(inputs=inputs.input_ids, max_length=1024)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

为了更快地运行模型推理，您可以使用 16 位加载而不进行 4 位量化：

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter)