🚀 Llama 4 Scout 4专家动态融合模型

这是一个基于Llama 4 Scout的模型，采用topk=4专家动态融合技术。需要通过SFT/RLHF修复以恢复性能，在MMLU测试中取得了64.28%的分数，量化到4bit时勉强能在RTX 4090上运行。

🚀 快速开始

本模型是基于Llama 4 Scout的改进版本，使用了topk=4专家动态融合技术。不过，它需要通过监督微调（SFT）或基于人类反馈的强化学习（RLHF）来恢复性能。在MMLU（大规模多任务语言理解）测试中，该模型取得了64.28%的分数。当量化到4bit时，它勉强能够在RTX 4090显卡上运行。

✨ 主要特性

• 多模态能力：Llama 4系列模型是原生多模态AI模型，支持文本和多模态体验，能够处理文本和图像理解任务。
• 混合专家架构：采用混合专家（MoE）架构，结合早期融合技术实现原生多模态处理，提供行业领先的性能。
• 多语言支持：支持阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语等多种语言。

📚 详细文档

模型信息

Llama 4系列模型是原生多模态AI模型，可实现文本和多模态体验。这些模型利用混合专家架构，在文本和图像理解方面提供了行业领先的性能。

Meta推出了Llama 4系列的两个高效模型：

• Llama 4 Scout：一个170亿参数、16个专家的模型。
• Llama 4 Maverick：一个170亿参数、128个专家的模型。

模型开发者：Meta

模型架构：Llama 4模型是自回归语言模型，采用混合专家（MoE）架构，并结合早期融合技术实现原生多模态处理。

支持的语言：阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语。

模型发布日期：2025年4月5日

状态：这是一个基于离线数据集训练的静态模型。随着我们根据社区反馈改进模型行为，未来可能会发布调优后的版本。

许可证：自定义商业许可证，即Llama 4社区许可协议，可在此处获取。

反馈渠道：关于模型的反馈或评论的说明可在Llama README中找到。有关生成参数和如何在应用程序中使用Llama 4的更多技术信息，请访问这里。

📄 许可证

本模型使用自定义商业许可证，即Llama 4社区许可协议，可在此处查看详细内容。