访问该模型需向Meta共享联系信息
LLAMA 2社区许可协议
"协议"指本文规定的Llama材料使用、复制、分发和修改条款。
"文档"指Meta在https://ai.meta.com/resources/models-and-libraries/llama-downloads/发布的Llama 2配套规格说明书、手册及文档。
"被许可方"或"您"指达到适用法律规定的法定同意年龄,且具有法律约束力的个人或实体(若您代表他人或实体签署本协议)。
"Llama 2"指Meta在ai.meta.com发布的包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码等基础大语言模型与算法。
"Llama材料"统指本协议提供的Meta专有Llama 2及其文档。
"Meta"或"我们"指Meta Platforms爱尔兰有限公司(适用于欧盟/瑞士用户)或Meta Platforms公司(其他地区用户)。
点击"我接受"或使用/分发Llama材料即表示您同意受本协议约束。
一、许可权利与再分发
a. 权利授予 您获得全球范围内非独占、不可转让、免版税的有限许可,可使用、复制、分发Llama材料并创建其衍生作品。
b. 再分发要求
i. 向第三方分发时须附本协议副本
ii. 若通过集成产品获取Llama材料,则协议第2条不适用
iii. 所有分发副本须包含版权声明文件
iv. 使用需符合法律法规及《可接受使用政策》
v. 不得用于改进其他大语言模型(Llama 2衍生作品除外)
二、商业条款
若月活用户超7亿,需向Meta申请额外许可。
三、免责声明
除非法律要求,Llama材料按"原样"提供,不承担任何明示或默示担保。
四、责任限制
Meta不对因本协议产生的间接、特殊、后果性损害承担责任。
五、知识产权
a. 不授予商标使用权
b. 您拥有自主修改的衍生作品所有权
c. 对Meta提起侵权诉讼将导致许可自动终止
六、期限与终止
违约时Meta可终止协议,终止后您应停止使用并删除材料。
七、适用法律
受加利福尼亚州法律管辖,排除《联合国国际货物销售合同公约》适用。
Llama 2可接受使用政策
禁止用途包括:
- 违法活动:暴力、儿童剥削、人口贩卖、非法信息分发等
- 高危领域:军事、武器开发、关键基础设施操作等
- 欺骗行为:生成虚假信息、垃圾内容、冒充他人等
- 未披露AI系统风险
违规举报渠道:
- 模型问题:github.com/facebookresearch/llama
- 风险内容:developers.facebook.com/llama_output_feedback
- 安全问题:facebook.com/whitehat/info
- 政策违规:LlamaUseReport@meta.com
需提交字段:
姓名、出生日期、国家、所属机构等,并同意Meta隐私政策。
Llama 2
Llama 2是由70亿到700亿参数组成的预训练与微调生成文本模型系列。本仓库包含转换为Hugging Face格式的700亿参数对话优化版本,其他模型索引见文末。
模型详情
注意:使用需遵守Meta许可协议,下载前请访问官网签署协议。
Meta开发并开源了Llama 2系列大语言模型,包含基础版和对话优化版(Llama-2-Chat)。在多数基准测试中,Llama-2-Chat优于开源对话模型,人类评估显示其安全性与实用性媲美ChatGPT等闭源模型。
开发者 Meta
版本 7B/13B/70B参数的基础版与微调版
输入/输出 仅支持文本
架构 基于优化Transformer的自回归模型,微调版采用SFT和RLHF技术对齐人类偏好
版本 |
训练数据 |
参数 |
上下文长度 |
GQA |
训练token数 |
学习率 |
7B |
公开网络数据 |
7B |
4k |
× |
2.0T |
3.0e-4 |
13B |
同上 |
13B |
4k |
× |
2.0T |
3.0e-4 |
70B |
同上 |
70B |
4k |
√ |
2.0T |
1.5e-4 |
70B版本采用分组查询注意力(GQA)提升推理效率,所有模型批大小均为400万token。
训练时间 2023年1月至7月
状态 静态离线模型,后续将根据社区反馈更新安全版本
许可证 商业许可详见官网
论文 《Llama-2: 开放基础与微调对话模型》
使用范围
适用场景 英语商业/研究用途,微调版适用于对话场景
限制用途 违反法律法规、非英语使用、违反可接受使用政策的行为
硬件与碳排放
训练资源 使用Meta研究超级计算机与第三方云服务
碳足迹 预训练总耗电330万GPU小时(A100-80GB),排放539吨CO₂,已通过Meta碳中和计划全额抵消
模型 |
GPU小时 |
功耗(W) |
碳排放(吨) |
7B |
184,320 |
400 |
31.22 |
13B |
368,640 |
400 |
62.44 |
70B |
1,720,320 |
400 |
291.42 |
总计 |
3,311,616 |
|
539.00 |
训练数据
概述 预训练使用2万亿token公开数据,微调数据包含百万级人工标注样本(不含Meta用户数据)
数据时效 预训练数据截至2022年9月,部分微调数据更新至2023年7月
评估结果
综合表现(关键指标):
- 代码:HumanEval/MBPP平均pass@1
- 常识推理:PIQA等7个基准平均
- 数学:GSM8K(8-shot)/MATH(4-shot)平均
模型 |
代码 |
常识 |
数学 |
MMLU |
AGI评估 |
Llama2-70B |
37.5 |
71.9 |
35.2 |
68.9 |
54.2 |
安全性评估:
- TruthfulQA(真实性百分比越高越好)
- ToxiGen(毒性百分比越低越好)
模型 |
TruthfulQA |
ToxiGen |
Llama2-Chat-70B |
64.14 |
0.01 |
伦理限制
Llama 2存在潜在输出风险,开发者需针对具体应用场景进行安全测试与调优。详见《负责任使用指南》
模型索引