library_name: transformers license: llama3.1 language:

• en
• fa tags:
• LLM
• llama3.1
• PartAI
• conversational base_model:
• meta-llama/Llama-3.1-8B-Instruct

模型详情

Dorna模型系列是由Part AI开发的仅解码器架构模型，专门针对波斯语数据进行了训练/微调。本次发布的是该系列中的8B指令微调版本。 Dorna2-Llama3.1-8B-Instruct基于Meta Llama 3.1 Instruct模型构建。

使用指南

点击此处可在Hugging Face Spaces上免费测试使用模型！

您也可以通过Transformers的Auto类配合generate()函数进行对话推理。示例如下：

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM


tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system",
     "content": "你是一个专业的波斯语助手，请使用提问语言回答问题。"},
    {"role": "user", "content": "A4纸张比A5更大吗？"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.3,
    top_p=0.85,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

您也可以通过下方Notebook在Google Colab中测试模型。

评估报告

对比评估

本评估对比了Dorna2-Llama3.1-8B-Instruct、Llama3.1-8B-Instruct及其他微调版Llama3.1-8B模型。如需了解不同大语言模型(LLM)的广泛对比，请参阅波斯语LLM公开排行榜，该榜单对多种LLM进行了全面评估。

评估任务与框架

我们精心设计了五项专项任务来评估模型性能，每项任务针对不同能力维度：

• Part选择题：测试常识与推理能力（选择题形式）
• ARC简易题：基础常识测试
• ARC挑战题：需要高阶推理的难题
• MMLU专业考试：专业级考试内容
• AUT波斯语选择题：波斯语专项测试

所有数据集均为波斯语，为LLM在非英语环境下的表现提供了独特而严谨的测试平台。总计包含超4万样本，涵盖常识推理、摘要生成、专业考试等多样化挑战。

评估结果