license: apache-2.0 base_model: HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1 tags:

• orpo
• GGUF
• 量化模型
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• 16比特
• GGUF格式
• 混合专家模型
• 专家混合 language:
• 英文 datasets:
• argilla/distilabel-capybara-dpo-7k-binarized inference: false model_creator: MaziyarPanahi model_name: zephyr-orpo-141b-A35b-v0.1-GGUF pipeline_tag: 文本生成 quantized_by: MaziyarPanahi library_name: GGUF

![Zephyr 141B标志](https://huggingface.co/HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1/resolve/main/logo.png "Zephyr 141B标志" width="400" style="margin-left:'auto' margin-right:'auto' display:'block'")

zephyr-orpo-141b-A35b-v0.1-GGUF

4月11日，@HuggingFaceH4发布了基于Mixtral-8x22B-v0.1微调的HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1模型。

• 模型类型: 混合专家模型(MoE)，总参数量1410亿，激活参数量350亿。基于公开合成数据集微调。
• 支持语言: 主要支持英语
• 许可协议: Apache 2.0
• 基础模型: mistral-community/Mixtral-8x22B-v0.1

加载分片模型

llama_load_model_from_file会自动检测文件数量并加载其余张量文件。

llama.cpp/main -m zephyr-orpo-141b-A35b-v0.1.Q2_K-00001-of-00005.gguf --file prompt.txt -n 1024 -e

Q2_K量化模型输出示例：

<|system|>
你是一个乐于助人的助手。
<|user|>
你好，最近怎么样？
<|assistant|>
我很好。今天有什么可以帮您的？
<|user|>
用10个简单步骤教我建网站
<|assistant|>
当然，我很乐意用10个简单步骤指导您建站：

1. 确定网站用途：明确建站目的，商业用途/个人博客等
2. 选择域名：简短易记且与主题相关
3. 挑选主机服务：研究不同供应商选择适合方案
4. 选择建站平台：根据技术能力选择WordPress/Wix等
5. 规划网站结构：设计页面层级关系
6. 设计网站界面：使用模板或自定义设计
7. 填充网站内容：撰写文案并配图/视频
8. SEO优化：合理使用关键词提升搜索排名
9. 全面测试：检查所有功能链接是否正常
10. 正式上线：推广您的网站

如有任何问题欢迎随时咨询。[文本结束]

llama_print_timings:        加载耗时 = 11670.53毫秒
llama_print_timings:      采样耗时 = 16.30毫秒/422次(0.04毫秒每token)
llama_print_timings: 提示评估耗时 = 5084.73毫秒/78token(65.19毫秒每token)
llama_print_timings:        评估耗时 = 279055.53毫秒/421次(662.84毫秒每token)
llama_print_timings:       总耗时 = 284314.00毫秒/499token
日志结束

prompt.txt文件内容：

<|system|>
你是一个乐于助人的助手。</s>
<|user|>
你好，最近怎么样？</s>
<|assistant|>
我很好。今天有什么可以帮您的？</s>
<|user|>
用10个简单步骤教我建网站</s>
<|assistant|>