license: llama3 language:

• en
• fa pipeline_tag: text-generation

模型详情

本仓库是Dorna-Llama3-8B-Instruct模型的4位量化版本，旨在提高内存使用效率。Dorna模型是一个仅解码器架构的模型，专门针对波斯语数据进行了训练/微调。同时集成了Flash Attention 2技术以加速推理过程。

优势特点

• 内存占用优化：4位量化技术显著降低内存需求
• 推理加速：Flash Attention 2技术提升处理速度
• 部署便捷：无需额外安装LlamaCPP或Candle等库
• 开箱即用：兼容Langchain、Haystack、LlamaIndex 2等框架
• Colab适配：可在T4 GPU的免费版Google Colab环境运行（GPU显存需求低于15GB）

使用指南

通过Transformers的Auto类配合generate()函数即可进行对话推理。以下是典型示例：

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "amirMohammadi/Dorna-Llama3-8B-Instruct-Quantized4Bit"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system",
     "content": "你是一个波斯语助手。请使用提问语言回答问题。"},
    {"role": "user", "content": "اصفهان بزرگ تر است یا قم؟"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

原始模型评估

本模型在多项任务中进行评估，包括布尔问答、代码生成、长文本响应、数学运算、新闻问答、文本复述、常识问答和摘要生成等。大多数任务设置难易两个级别进行评估。

评估采用人工评测和自动评测（以GPT-4作为裁判）双轨制。以下表格中Dorna-8B-it为Dorna-Llama3-8B-Instruct的简称。

总体人工评估结果如下：

分项人工评估结果如下（各项胜/败/平局比例）：

自动评估结果如下：

联系我们

如有关于本模型的任何问题，可通过Hugging Face社区讨论区与我们联系。