库名称:transformers
支持语言:
- 阿拉伯语
- 德语
- 英语
- 西班牙语
- 法语
- 印地语
- 印尼语
- 意大利语
- 葡萄牙语
- 泰语
- 他加禄语
- 越南语
基础模型:
- meta-llama/Llama-4-Scout-17B-16E
标签:
- facebook
- meta
- pytorch
- llama
- llama-4
许可协议提示:
LLAMA 4社区许可协议
生效日期:2025年4月5日
定义条款
接受条款
点击“我接受”或使用Llama材料即表示同意受本协议约束。
核心条款
-
许可权利
- 授予非独占、全球性、不可转让的免费许可,允许使用、修改和分发Llama材料。
- 分发时需附带本协议,并在显著位置标注“基于Llama构建”。若用于开发AI模型,名称须以“Llama”开头。
- 必须保留版权声明:“Llama 4采用Llama 4社区许可,版权所有© Meta Platforms, Inc.”
-
商业限制
- 若月活跃用户超7亿,需额外向Meta申请商业许可。
-
免责声明
- Llama材料按“原样”提供,Meta不承担任何明示或默示担保。
-
责任限制
-
知识产权
- 商标使用需遵守Meta品牌指南。衍生作品所有权归开发者所有。
- 对Meta发起知识产权诉讼将自动终止许可。
-
协议终止
- 违约时Meta可终止协议,终止后需删除Llama材料。
-
法律管辖
- 本协议受加州法律管辖,排除《联合国国际货物销售合同公约》适用。
信息收集声明
提交信息即表示同意Meta根据隐私政策处理数据。
当前版本仅支持Unsloth!
查看我们的合集获取含4位和16位格式的Llama 4版本。
Unsloth的动态量化技术显著提升了4位精度模型的准确性。
模型信息
Llama 4系列是多模态AI模型,采用混合专家架构,在文本和图像理解方面领先业界。包含两款高效模型:
- Llama 4 Scout:170亿参数,16专家
- Llama 4 Maverick:170亿参数,128专家
关键参数
模型名称 |
训练数据量 |
模态支持 |
上下文长度 |
知识截止 |
Llama 4 Scout |
~40T token |
多语言文本/图像 |
10M |
2024年8月 |
Llama 4 Maverick |
~22T token |
多语言文本/图像 |
1M |
2024年8月 |
支持语言:阿拉伯语、英语等12种语言。
许可证:自定义商业许可,详见GitHub链接。
使用示例
from transformers import AutoProcessor, Llama4ForConditionalGeneration
model = Llama4ForConditionalGeneration.from_pretrained("meta-llama/Llama-4-Maverick-17B-128E-Instruct")
硬件与能耗
- 训练能耗:累计738万GPU小时(H100-80GB),基于位置碳排放1999吨CO2当量(市场排放为0)。
- 数据来源:公开数据及Meta产品数据,截止2024年8月。
基准测试
预训练模型性能对比
测试项 |
Llama 3.1 70B |
Llama 4 Scout |
MMLU(5样本) |
79.3 |
79.6 |
MATH(4样本) |
41.6 |
50.3 |
指令调优模型
- 图像推理(MMMU):Llama 4 Scout准确率69.4%
- 多语言(MGSM):准确率90.6%
安全措施
- 微调数据:结合人工标注与合成数据降低风险。
- 系统提示模板:优化拒绝语气,避免说教式回应。
- 关键风险管控:重点防范生化武器、儿童安全及网络攻击相关滥用。
注意事项
Llama 4作为新技术存在不可预测的输出风险。开发者需针对具体应用进行安全测试,并参考Meta提供的安全资源。