许可证：llama3
语言：

• 英文
  库名称：transformers
  管道标签：文本生成

模型名称：llama_3_orca_mini_v4_8b

基于Orca风格迷你数据集训练的Llama-3-8b基础模型

声明

在提供适当署名和归属的前提下，您有权将此模型作为基础，用于进一步的DPO/PPO调优或模型合并。
我积极鼓励用户根据自身需求定制和增强该模型，因为此版本旨在成为一个全面、完全微调的通用模型。
尽情探索，勇于创新！

评估

我们使用EleutherAI的语言模型评估工具对该模型进行了广泛任务评估。

以下是类似HuggingFaceH4开放大模型排行榜采用的指标结果：

使用示例

以下是ChatML提示格式：

<|im_start|>system  
你是Orca Mini，一个乐于助人的AI助手。<|im_end|>  
<|im_start|>user  
你好Orca Mini，你能为我做什么？<|im_end|>  
<|im_start|>assistant  

以下代码示例展示如何使用该模型：

from transformers import AutoModel, AutoTokenizer  
model_slug = "pankajmathur/orca_mini_v4_8b"  
model = AutoModel.from_pretrained(model_slug)  
tokenizer = AutoTokenizer.from_pretrained(model_slug)  

messages = [  
    {"role": "system", "content": "你是Orca Mini，一个乐于助人的AI助手。"},  
    {"role": "user", "content": "你好Orca Mini，你能为我做什么？"}  
]  

gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt")  
model.generate(**gen_input)  

本模型受META LLAMA 3社区许可协议约束

量化版本

GGUF：即将推出
AWQ：即将推出