license: llama3
base_model: unsloth/llama-3-8b-bnb-4bit

VeriUS LLM 8b v0.2

VeriUS LLM 是一款基于 llama3-8B、支持土耳其语的指令跟随大语言模型。

模型详情

基础模型: unsloth/llama-3-8b-bnb-4bit

训练数据集: 精心筛选的通用领域土耳其语指令数据集

训练方法: 采用 QLoRA 和 ORPO 进行微调

#训练参数
单设备批量大小: 2
梯度累积步数: 4
预热比例: 0.03
训练轮次: 2
学习率: 0.000008
优化器: "adamw_8bit"
权重衰减: 0.01
学习率调度器类型: "linear"
ORPOβ参数: 0.1

#PEFT参数
秩: 128
目标模块:

• "q_proj"
• "k_proj"
• "v_proj"
• "o_proj"
• "gate_proj"
• "up_proj"
• "down_proj"

LoRAα参数: 256
LoRA丢弃率: 0
偏置项: "none"
梯度检查点: 'unsloth'
使用RSLoRA: false

使用说明

本模型采用 Unsloth 框架训练并支持快速推理。Unsloth 安装指南详见: https://github.com/unslothai/unsloth

该模型也可通过 AutoModelForCausalLM 加载

Unsloth加载方式:

from unsloth import FastLanguageModel  

max_seq_len = 1024  
model, tokenizer = FastLanguageModel.from_pretrained(  
    model_name="VeriUs/VeriUS-LLM-8b-v0.2",  
    max_seq_length=max_seq_len,  
    dtype=None  
)  
FastLanguageModel.for_inference(model)  # 启用原生2倍速推理  

prompt_tempate = """以下是一个描述任务的指令，以及提供更多背景信息的输入。请撰写一个能恰当完成请求的回复。  

### 指令:  
{}  

### 输入:  
{}  

### 回复:  
"""  


def generate_output(instruction, user_input):  
    input_ids = tokenizer(  
        [  
            prompt_tempate.format(instruction, user_input)  
        ], return_tensors="pt").to("cuda")  

    outputs = model.generate(**input_ids, max_length=max_seq_len, do_sample=True)  

    # 移除提示词，如需查看可注释本行  
    outputs = [output[len(input_ids[i].ids):] for i, output in enumerate(outputs)]  

    return tokenizer.decode(outputs[0], skip_special_tokens=True)  


response = generate_output("土耳其人口最多的城市是哪个？", "")  
print(response)  

偏差、风险与限制

已知局限与偏差
主要功能与应用: VeriUS LLM 作为自回归语言模型，核心功能是预测文本字符串中的下一个标记。虽然常被用于多种应用场景，但需注意该模型尚未经过大量实际应用测试，其在不同场景下的有效性和可靠性仍有待验证。

语言理解与生成: 基础模型主要基于标准英语训练。尽管经过土耳其语数据集微调，其在俚语、非正式语言或其他语言的理解生成上可能存在局限，可能导致错误或误解。

虚假信息生成: 用户应注意 VeriUS LLM 可能产生不准确或误导性信息。输出内容应视为参考建议而非确定性答案。