许可证：llama3
库名称：transformers
流水线标签：文本生成
基础模型：meta-llama/Meta-Llama-3-8B-Instruct
语言：

• 英语
• 中文
  标签：
• llama-factory
• orpo

🚀 [2024年5月9日] 我们很高兴推出Llama3-70B-中文对话模型！该模型基于约10万条中英文偏好对数据进行全参数微调，其中文表现超越ChatGPT并媲美GPT-4，如C-Eval和CMMLU评测所示。Llama3-70B-中文对话模型比Llama3-8B-中文对话模型强大得多。如果您喜欢我们的Llama3-8B-中文对话模型，一定要试试Llama3-70B-中文对话模型！

🌟 我们在GitHub仓库中提供了如何下载、使用和复现我们各类模型的完整指南。如果您喜欢我们的模型，欢迎为我们的GitHub仓库点星支持。此外，请在HuggingFace仓库中点击“点赞”。感谢您的支持！

❗️❗️❗️注意：主分支包含Llama3-8B-中文对话模型-v2.1的文件。如需使用Llama3-8B-中文对话模型-v1，请参考v1分支；如需使用Llama3-8B-中文对话模型-v2，请参考v2分支。

❗️❗️❗️注意：为保持最佳性能，我们未对模型身份进行微调。因此，诸如“你是谁”或“谁开发了你”的提问可能会得到不准确的随机回答。

更新日志

• 🚀🚀🚀 [2024年5月6日] 我们推出Llama3-8B-中文对话模型-v2.1！相比v1，v2.1的训练数据量扩大5倍（约10万条偏好对），在角色扮演、函数调用和数学能力方面表现显著提升！相比v2，v2.1在数学能力上超越v2，且更少在中文回答中夹杂英文单词。Llama3-8B-中文对话模型-v2.1的训练数据将很快发布。如果您喜欢我们的Llama3-8B-中文对话模型-v1或v2，一定不要错过v2.1！
• 🔥 我们为Llama3-8B-中文对话模型-v2提供了在线交互演示点击此处。快来体验最新模型吧！
• 🔥 我们为Llama3-8B-中文对话模型-v2.1的q4_0 GGUF版本提供了官方Ollama模型：wangshenzhi/llama3-8b-chinese-chat-ollama-q4。运行以下命令快速使用该模型：ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4。
• 🔥 我们为Llama3-8B-中文对话模型-v2.1的q8_0 GGUF版本提供了官方Ollama模型：wangshenzhi/llama3-8b-chinese-chat-ollama-q8。运行以下命令快速使用该模型：ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8。
• 🔥 我们为Llama3-8B-中文对话模型-v2.1的f16 GGUF版本提供了官方Ollama模型：wangshenzhi/llama3-8b-chinese-chat-ollama-fp16。运行以下命令快速使用该模型：ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16。
• 🔥 我们为Llama3-8B-中文对话模型-v2.1提供了官方q4_0 GGUF版本：点击此处。
• 🔥 我们为Llama3-8B-中文对话模型-v2.1提供了官方q8_0 GGUF版本：点击此处。
• 🔥 我们为Llama3-8B-中文对话模型-v2.1提供了官方f16 GGUF版本：点击此处。

模型概述

Llama3-8B-中文对话模型是基于Meta-Llama-3-8B-Instruct模型微调的指令调优语言模型，专为中英文用户设计，具备角色扮演、工具使用等多种能力。

开发者：王慎之*、郑耀威*、王国印（in.ai）、宋士吉、黄高。（*：同等贡献）

• 许可证：Llama-3许可证
• 基础模型：Meta-Llama-3-8B-Instruct
• 模型大小：8.03B
• 上下文长度：8K

1. 简介

这是首个基于Meta-Llama-3-8B-Instruct模型通过ORPO[1]专门为中英文用户微调的模型。

相比原版Meta-Llama-3-8B-Instruct模型，我们的Llama3-8B-中文对话模型-v1显著减少了“中文提问英文回答”及中英文混杂的问题。

相比Llama3-8B-中文对话模型-v1，我们的Llama3-8B-中文对话模型-v2大幅增加了训练数据量（从2万条到10万条），在角色扮演、工具使用和数学能力上表现显著提升。

[1] Hong, Jiwoo, Noah Lee, and James Thorne. "Reference-free Monolithic Preference Optimization with Odds Ratio." arXiv preprint arXiv:2403.07691 (2024).

训练框架：LLaMA-Factory。

训练细节：

• 训练轮次：2
• 学习率：3e-6
• 学习率调度器类型：余弦
• 预热比例：0.1
• 截断长度（即上下文长度）：8192
• orpo beta（即ORPO论文中的$\lambda$）：0.05
• 全局批量大小：128
• 微调类型：全参数
• 优化器：paged_adamw_32bit

git clone https://github.com/hiyouga/LLaMA-Factory.git  
git reset --hard 32347901d4af94ccd72b3c7e1afaaceb5cb3d26a    # 对于Llama3-8B-中文对话模型-v1