license: llama3
library_name: transformers
pipeline_tag: text-generation
base_model: meta-llama/Meta-Llama-3-8B-Instruct
language:

• en
• zh
  tags:
• llama-factory
• orpo

🌟 我们在GitHub仓库中提供了所有关于如何下载、使用和复现我们各类模型的说明。如果您喜欢我们的模型，请为我们的GitHub仓库点个星标，这将是对我们极大的支持。同时，也请为我们的HuggingFace仓库点击“点赞”。感谢您！

❗️❗️❗️注意：主分支包含Llama3-8B-Chinese-Chat-v2.1的f16 GGUF文件。如果您需要使用Llama3-8B-Chinese-Chat-v1的f16 GGUF文件，请参考v1分支；如果您需要使用Llama3-8B-Chinese-Chat-v2的f16 GGUF文件，请参考v2分支。

❗️❗️❗️注意：为了保持最佳性能，我们避免对模型的身份进行微调。因此，类似“你是谁”或“谁开发了你”的问题可能会得到随机且不准确的回答。

更新日志

• 🚀🚀🚀 [2024年5月6日] 我们正式推出Llama3-8B-Chinese-Chat-v2.1！与v1相比，v2.1的训练数据集规模扩大了5倍（约10万偏好对），并在角色扮演、函数调用和数学能力方面表现出显著提升！与v2相比，v2.1在数学能力上超越v2，且在中文回答中更少夹杂英文单词。Llama3-8B-Chinese-Chat-v2.1的训练数据集将很快发布。如果您喜欢我们的Llama3-8B-Chinese-Chat-v1或v2，那么Llama3-8B-Chinese-Chat-v2.1绝对不容错过！
• 🔥 我们为Llama3-8B-Chinese-Chat-v2提供了在线交互演示点击此处。快来体验我们的最新模型吧！
• 🔥 我们为Llama3-8B-Chinese-Chat-v2.1的q4_0 GGUF版本提供了官方Ollama模型wangshenzhi/llama3-8b-chinese-chat-ollama-q4！运行以下命令快速使用该模型：ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4。
• 🔥 我们为Llama3-8B-Chinese-Chat-v2.1的q8_0 GGUF版本提供了官方Ollama模型wangshenzhi/llama3-8b-chinese-chat-ollama-q8！运行以下命令快速使用该模型：ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8。
• 🔥 我们为Llama3-8B-Chinese-Chat-v2.1的f16 GGUF版本提供了官方Ollama模型wangshenzhi/llama3-8b-chinese-chat-ollama-fp16！运行以下命令快速使用该模型：ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16。
• 🔥 我们提供了Llama3-8B-Chinese-Chat-v2.1的官方q4_0 GGUF版本，访问地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-4bit。
• 🔥 我们提供了Llama3-8B-Chinese-Chat-v2.1的官方q8_0 GGUF版本，访问地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit。
• 🔥 我们提供了Llama3-8B-Chinese-Chat-v2.1的官方f16 GGUF版本，访问地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-f16。

模型概述

Llama3-8B-Chinese-Chat是基于Meta-Llama-3-8B-Instruct模型微调的指令调优语言模型，专为中英文用户设计，具备角色扮演、工具调用等多种能力。

开发者：王慎之*、郑耀威*、王国印（in.ai）、宋士吉、黄高。（*：同等贡献）

• 许可证：Llama-3许可证
• 基础模型：Meta-Llama-3-8B-Instruct
• 模型大小：8.03B
• 上下文长度：8K

1. 简介

这是首个基于Meta-Llama-3-8B-Instruct模型通过ORPO[1]专门为中英文用户微调的模型。

与原始的Meta-Llama-3-8B-Instruct模型相比，我们的Llama3-8B-Chinese-Chat-v1模型显著减少了“中文问题英文回答”以及中英文混杂的问题。

与Llama3-8B-Chinese-Chat-v1相比，我们的Llama3-8B-Chinese-Chat-v2模型大幅增加了训练数据规模（从2万到10万），在角色扮演、工具调用和数学能力方面表现出显著提升。

[1] Hong, Jiwoo, Noah Lee, and James Thorne. "Reference-free Monolithic Preference Optimization with Odds Ratio." arXiv preprint arXiv:2403.07691 (2024).

训练框架：LLaMA-Factory。

训练细节：

• 训练轮次：2
• 学习率：5e-6
• 学习率调度器类型：cosine
• 预热比例：0.1
• 截断长度（即上下文长度）：8192
• orpo beta（即ORPO论文中的$\lambda$）：0.05
• 全局批量大小：128
• 微调类型：全参数
• 优化器：paged_adamw_32bit