库名称: peft
许可证: mit
语言:

• 英语
• 捷克语
  数据集:
• kaitchup/opus-Czech-to-English
  标签:
• 翻译

模型卡片

这是一个针对Meta Llama 2 7B模型进行微调的适配器，专门用于将捷克语文本翻译成英语。

模型详情

模型描述

• 开发者: The Kaitchup
• 模型类型: Llama 2 7B的LoRA适配器
• 语言支持 (NLP): 捷克语、英语
• 许可证: MIT许可证

用途

此适配器必须加载在Llama 2 7B模型之上。它是通过QLoRA进行微调的。为了获得最佳效果，加载基础模型时必须使用与微调时完全相同的配置。

可以使用以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig  
import torch  
from peft import PeftModel  

base_model = "meta-llama/Llama-2-7b-hf"  
compute_dtype = getattr(torch, "float16")  
bnb_config = BitsAndBytesConfig(  
    load_in_4bit=True,  
    bnb_4bit_quant_type="nf4",  
    bnb_4bit_compute_dtype=compute_dtype,  
    bnb_4bit_use_double_quant=True,  
)  
model = AutoModelForCausalLM.from_pretrained(  
        original_model_directory, device_map={"": 0}, quantization_config=bnb_config  
)  
tokenizer = AutoTokenizer.from_pretrained(base_model, use_fast=True)  
model = PeftModel.from_pretrained(model, "kaitchup/Llama-2-7b-mt-Czech-to-English")  

然后，按以下方式运行模型：

my_text = "" # 在此处输入要翻译的文本  

prompt = my_text + " ###>"  

tokenized_input = tokenizer(prompt, return_tensors="pt")  
input_ids = tokenized_input["input_ids"].cuda()  

generation_output = model.generate(  
        input_ids=input_ids,  
        num_beams=10,  
        return_dict_in_generate=True,  
        output_scores=True,  
        max_new_tokens=130  
)  
for seq in generation_output.sequences:  
    output = tokenizer.decode(seq, skip_special_tokens=True)  
    print(output.split("###>")[1].strip())  

模型卡片联系方式

The Kaitchup