语言:

• 英语
  许可证:
• apache-2.0
  标签:
• transformers
• unsloth
• llama
• trl
• sft
• peft
  基础模型:
• unsloth/llama-3-8b-bnb-4bit
  库名称:
• peft
  数据集:
• myzens/alpaca-turkish-combined

Llama 3-8B 土耳其语模型

本仓库包含土耳其Llama 3项目的实验性-教育性质微调模型及其变体，可用于不同用途。

实际训练模型是Unsloth的Llama 3-8B量化模型的适配器模型，随后通过llama.cpp转换为.gguf格式，并为vLLM转换为.bin格式。

该模型开放进一步开发，我们将在获得优质数据后持续训练。由于部分土耳其语数据集存在英译质量不佳的问题，我们无法使用所有土耳其语数据集。

微调代码可在此访问。

使用NVIDIA L4显卡训练150步，耗时约8分钟。

使用示例

可通过PEFT使用适配器模型：

from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = AutoModelForCausalLM.from_pretrained("unsloth/llama-3-8b-bnb-4bit")
model = PeftModel.from_pretrained(base_model, "myzens/llama3-8b-tr-finetuned")
tokenizer = AutoTokenizer.from_pretrained("myzens/llama3-8b-tr-finetuned")

alpaca_prompt = """
指令:
{}

输入:
{}

响应:
{}"""

inputs = tokenizer([
    alpaca_prompt.format(
        "",
        "列举安卡拉3个可游览地点并简要说明其特色",
        "",
)], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

通过Transformers使用：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("myzens/llama3-8b-tr-finetuned")
model = AutoModelForCausalLM.from_pretrained("myzens/llama3-8b-tr-finetuned")

alpaca_prompt = """
指令:
{}

输入:
{}

响应:
{}"""

inputs = tokenizer([
    alpaca_prompt.format(
        "",
        "列举安卡拉3个可游览地点并简要说明其特色",
        "",
)], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=192)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Transformers流水线：

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("myzens/llama3-8b-tr-finetuned")
model = AutoModelForCausalLM.from_pretrained("myzens/llama3-8b-tr-finetuned")

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

alpaca_prompt = """
指令:
{}

输入:
{}

响应:
{}"""

input = alpaca_prompt.format(
        "",
        "列举安卡拉3个可游览地点并简要说明其特色",
        "",
)

pipe(input)

输出示例：

指令:

输入:
列举安卡拉3个可游览地点并简要说明其特色

响应:
1. 国父陵 - 穆斯塔法·凯末尔·阿塔图尔克陵墓
2. 青年与体育宫 - 举办体育活动的场所  
3. 红新月广场 - 位于安卡拉市中心的中心广场

重要说明

• 建议使用Alpaca提示模板或其他模板，否则可能出现无意义输出或语句重复
• 请使用支持CUDA的GPU运行模型

微调者：emre570