库名称: transformers
支持语言:
-
阿拉伯语
-
德语
-
英语
-
西班牙语
-
法语
-
印地语
-
印尼语
-
意大利语
-
葡萄牙语
-
泰语
-
他加禄语
-
越南语
基础模型:
-
meta-llama/Llama-4-Scout-17B-16E
标签:
-
facebook
-
meta
-
pytorch
-
llama
-
llama-4
授权协议提示: >-
LLAMA 4社区许可协议
Llama 4版本生效日期:2025年4月5日
"协议"指本文规定的Llama材料使用、复制、分发和修改的条款和条件。
"文档"指Meta在https://www.llama.com/docs/overview发布的Llama 4配套规格说明书、手册和文档。
"被许可方"或"您"指您、您的雇主或任何其他个人或实体(若您代表该个人或实体签署本协议),需符合适用法律规定的法定年龄要求,且具有法律约束力的授权。
"Llama 4"指基础大语言模型及软件算法,包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码等组件,由Meta在https://www.llama.com/llama-downloads发布。
"Llama材料"统指Meta专有的Llama 4和文档(及其任何部分)在本协议下提供的材料。
"Meta"或"我们"指Meta Platforms爱尔兰有限公司(若您位于欧洲经济区或瑞士)或Meta Platforms公司(若您位于欧洲经济区或瑞士以外地区)。
点击下方"我接受"或使用/分发Llama材料的任何部分,即表示您同意受本协议约束。
- 许可权利与再分发
a. 权利授予。您获得非独占、全球性、不可转让且免版税的有限许可,可使用、复制、分发Llama材料,并创建其衍生作品和修改。
b. 再分发与使用。
i. 若您分发Llama材料或其衍生作品,或包含它们的任何产品或服务,您必须:(A)随附本协议副本;(B)在相关网站、用户界面等处显著标注"基于Llama构建"。若使用Llama材料或其输出来创建、训练AI模型,则须在模型名称前包含"Llama"。
ii. 若您从被许可方处获得Llama材料作为集成终端产品的一部分,则本协议第2条不适用。
iii. 您必须在分发的所有Llama材料副本中包含以下归属声明:"Llama 4根据Llama 4社区许可协议授权,版权所有© Meta Platforms公司"。
iv. 使用Llama材料须遵守适用法律法规及可接受使用政策(参见https://www.llama.com/llama4/use-policy)。
-
附加商业条款。若在Llama 4发布日,被许可方或其关联公司的月活跃用户超过7亿,须向Meta申请商业许可。
-
免责声明。除非法律要求,Llama材料按"原样"提供,不附带任何明示或暗示保证。
-
责任限制。Meta不对因本协议产生的任何间接、特殊、附带损害承担责任。
-
知识产权
a. 本协议未授予商标权利。您仅可依第1.b.i节规定使用"Llama"商标。
b. 您对自创的Llama材料衍生作品拥有所有权。
c. 若您对Meta提起知识产权诉讼,则本协议授予的许可自动终止。
-
期限与终止。本协议自您接受时生效,直至终止。违约时Meta可终止协议。
-
适用法律。本协议受加州法律管辖,排除《联合国国际货物销售合同公约》适用。
授权表单字段:
名: 文本
姓: 文本
出生日期: 日期选择
国家: 国家选择
所属机构: 文本
职位:
类型: 下拉
选项:
- 学生
- 研究生
- AI研究员
- AI开发/工程师
- 记者
- 其他
地理位置: IP定位
勾选框: 提交即表示接受许可条款并同意按Meta隐私政策处理信息
授权表单说明: >-
提供的信息将按Meta隐私政策处理。
授权按钮内容: 提交
授权表单标题: "请提供完整法定姓名、出生日期及含公司标识的全称机构名。避免使用缩写和特殊字符。"
许可证类型: 其他
许可证名称: llama4
当前4-bit模型仅支持Unsloth!
查看我们的合集获取含4-bit和16-bit格式的Llama 4版本。
Unsloth的动态量化技术通过选择性量化显著提升了4-bit模型的准确率。
模型信息
Llama 4系列模型是原生多模态AI模型,支持文本和多模态体验。这些模型采用混合专家架构,在文本和图像理解方面提供领先性能。
Llama 4标志着Llama生态系统的新纪元。我们推出两款高效模型:Llama 4 Scout(170亿参数,16专家)和Llama 4 Maverick(170亿参数,128专家)。
开发者: Meta
架构: 采用混合专家架构的自回归语言模型,支持早期多模态融合。
模型名称 |
训练数据来源 |
参数量 |
输入模态 |
输出模态 |
上下文长度 |
训练token数 |
知识截止日期 |
Llama 4 Scout |
公开数据、授权数据及Meta产品数据(含Instagram/Facebook公开帖子) |
170亿(激活) |
多语言文本/图像 |
多语言文本/代码 |
10M |
~40T |
2024年8月 |
Llama 4 Maverick |
同上 |
170亿(激活) |
多语言文本/图像 |
多语言文本/代码 |
1M |
~22T |
2024年8月 |
支持语言: 阿拉伯语、英语等12种语言
发布日期: 2025年4月5日
许可证: 定制商业许可,详见GitHub链接
使用场景
适用场景: 商业和研究用途,包括聊天助手、视觉推理、多语言生成等。支持通过输出改进其他模型。
非适用场景: 违反法律法规的使用,或超越模型卡所述支持能力的应用。
transformers调用方法
需安装transformers v4.51.0:
from transformers import AutoProcessor, Llama4ForConditionalGeneration
硬件与能耗
训练能耗: 累计738万GPU小时(H100-80GB)
碳排放: 基于位置的碳排放1999吨CO2当量,市场基准排放为0(Meta已实现净零排放)
基准测试
预训练模型表现
类别 |
基准测试 |
Llama 4 Scout |
Llama 4 Maverick |
推理与知识 |
MMLU |
79.6 |
85.5 |
代码 |
MBPP |
67.8 |
77.6 |
指令微调模型表现
| 图像推理 | MMMU | 69.4 | 73.4 |
| 长文本理解 | MTOB全书 | 39.7/36.3 | 50.8/46.7 |
安全保障
采用三支柱策略:
- 模型级微调:通过人工标注与合成数据降低安全风险,优化拒绝语气和系统提示词
- 系统级防护:提供Llama Guard等工具实现开箱即用的安全防护
- 红队测试:联合领域专家进行对抗测试,重点评估以下风险领域:
- CBRNE(生化核爆)材料辅助风险
- 儿童安全
- 网络攻击赋能
注意事项
Llama 4基于言论自由价值观设计,旨在服务多样化需求。开发者需注意:
- 输出不可预测性:可能产生不准确或不当内容
- 应用前需进行针对性安全测试
- 建议使用Meta开发者资源构建防护措施
我们通过漏洞赏金计划和社区资助项目持续完善模型安全。