库名称: peft
许可证: mit
语言:

• 英文
• 法文
  数据集:
• kaitchup/opus-French-to-English
  标签:
• 翻译

模型ID说明卡

这是针对Meta公司Llama 2 7B模型进行微调的适配器，专门用于将法文文本翻译成英文。

模型详情

模型描述

• 开发者: The Kaitchup
• 模型类型: Llama 2 7B的LoRA适配器
• 支持语言 (NLP): 法文、英文
• 许可证: MIT许可证

用途

此适配器必须加载在Llama 2 7B模型之上。它是通过QLoRA进行微调的。为了获得最佳效果，加载基础模型时必须使用与微调时完全相同的配置。

可以使用以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig  
import torch  
from peft import PeftModel  

base_model = "meta-llama/Llama-2-7b-hf"  
compute_dtype = getattr(torch, "float16")  
bnb_config = BitsAndBytesConfig(  
    load_in_4bit=True,  
    bnb_4bit_quant_type="nf4",  
    bnb_4bit_compute_dtype=compute_dtype,  
    bnb_4bit_use_double_quant=True,  
)  
model = AutoModelForCausalLM.from_pretrained(  
        original_model_directory, device_map={"": 0}, quantization_config=bnb_config  
)  
tokenizer = AutoTokenizer.from_pretrained(base_model, use_fast=True)  
model = PeftModel.from_pretrained(model, "kaitchup/Llama-2-7b-mt-French-to-English")  

然后，按以下方式运行模型：

my_text = "" # 在此处填入要翻译的文本  

prompt = my_text+" ###>"  

tokenized_input = tokenizer(prompt, return_tensors="pt")  
input_ids = tokenized_input["input_ids"].cuda()  

generation_output = model.generate(  
        input_ids=input_ids,  
        num_beams=10,  
        return_dict_in_generate=True,  
        output_scores=True,  
        max_new_tokens=130  
)  
for seq in generation_output.sequences:  
    output = tokenizer.decode(seq, skip_special_tokens=True)  
    print(output.split("###>")[1].strip())  

模型卡联系方式

The Kaitchup