language:
-
英语
-
德语
-
法语
-
意大利语
-
葡萄牙语
-
印地语
-
西班牙语
-
泰语
pipeline_tag: 文本生成
tags:
-
脸书
-
元公司
-
PyTorch框架
-
LLaMA模型
-
LLaMA-3系列
license: llama3.1协议
extra_gated_prompt: >-
LLaMA 3.1社区许可协议
LLaMA 3.1版本发布日期:2024年7月23日
"协议"指本文规定的关于使用、复制、分发和修改LLaMA材料的条款和条件。
"文档"指Meta在https://llama.meta.com/doc/overview发布的LLaMA 3.1配套规格说明书、手册和文档。
"被许可方"或"您"指达到适用法律规定的法定同意年龄,并代表雇主或其他实体接受本协议的个人或实体。
"LLaMA 3.1"指基础大语言模型及软件算法,包括Meta在https://llama.meta.com/llama-downloads发布的机器学习模型代码、训练模型权重、推理代码等组件。
"LLaMA材料"统指根据本协议提供的Meta专有LLaMA 3.1及其文档。
"Meta"或"我们"指Meta Platforms爱尔兰有限公司(适用于欧盟/瑞士用户)或Meta Platforms公司(其他地区用户)。
-
许可权利与再分发
a. 权利授予:授予您非排他性、全球性、不可转让的免费有限许可,允许使用、复制、分发LLaMA材料及创建衍生作品。
b. 再分发要求:若分发LLaMA材料或其衍生作品,须:(A)随附本协议副本;(B)在相关界面显著标注"基于LLaMA构建";(C)保留版权声明;(D)遵守使用政策(https://llama.meta.com/llama3_1/use-policy)。
-
商业条款:若月活用户超7亿,需向Meta申请商业许可。
-
免责声明:除非法律要求,LLaMA材料按"现状"提供,不提供任何明示或默示担保。
-
责任限制:Meta及其关联公司不对任何间接损失承担责任。
-
知识产权:
a. 商标使用需符合Meta品牌指南;
b. 您对自创的衍生作品拥有所有权;
c. 提起侵权诉讼将导致许可自动终止。
-
协议期限:自接受协议时生效,违约可终止。终止后应停止使用LLaMA材料。
-
适用法律:受加利福尼亚州法律管辖,排除联合国国际货物销售合同公约。
LLaMA 3.1可接受使用政策
禁止用途包括但不限于:
- 违法活动:暴力、儿童剥削、人口贩卖、非法内容分发等;
- 高危活动:军事应用、武器开发、关键基础设施操作等;
- 欺骗行为:生成虚假信息、垃圾邮件、冒充他人等;
- 未披露AI系统风险。
违规举报渠道:
- 模型问题:https://github.com/meta-llama/llama-models/issues
- 风险内容:developers.facebook.com/llama_output_feedback
- 安全问题:facebook.com/whitehat/info
- 政策违规:LlamaUseReport@meta.com
extra_gated_fields:
名: 文本
姓: 文本
出生日期: 日期选择
国家: 国家选择
所属机构: 文本
职位:
type: 下拉选择
options:
- 学生
- 研究生
- AI研究员
- AI开发工程师
- 记者
- 其他
geo: IP定位
勾选提交即表示接受许可条款,并同意根据Meta隐私政策处理个人信息: 复选框
extra_gated_description: >-
所提供信息将按照Meta隐私政策处理。
extra_gated_button_content: 提交
library_name: transformers
模型信息
Meta LLaMA 3.1多语言大语言模型系列包含8B、70B和405B三种规模的预训练及指令调优生成模型。经指令调优的纯文本模型针对多语言对话场景优化,在行业基准测试中超越多数开源和闭源聊天模型。
开发者:Meta
架构:采用优化Transformer架构的自回归语言模型,通过监督微调(SFT)和人类反馈强化学习(RLHF)对齐人类偏好。
模型类型 |
训练数据 |
参数量 |
输入模态 |
输出模态 |
上下文长度 |
GQA |
训练token数 |
知识截止 |
LLaMA 3.1纯文本 |
公开网络数据混合 |
8B/70B/405B |
多语言文本 |
多语言文本与代码 |
128k |
支持 |
15T+ |
2023年12月 |
支持语言:英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语
许可证:LLaMA 3.1社区许可协议(查看详情)
技术文档:使用指南 | 问题反馈
预期用途
适用场景:
- 商业与研究用途的多语言应用
- 类助手聊天(指令调优模型)
- 自然语言生成任务(预训练模型)
- 支持通过模型输出改进其他模型
限制范围:
- 违反法律法规的使用
- 超出8种支持语言的未调优应用
- 违反可接受使用政策的行为
硬件与训练
训练资源:
- 累计消耗3930万GPU小时(H100-80GB)
- 基于Meta自建GPU集群
- 总碳排放:11,390吨CO2当量(已通过可再生能源抵消)
模型 |
GPU小时 |
单卡功耗(W) |
基于位置碳排放(吨) |
8B |
146万 |
700 |
420 |
70B |
700万 |
700 |
2,040 |
405B |
3084万 |
700 |
8,930 |
训练数据
- 预训练数据:约15万亿token公开数据(截至2023年12月)
- 微调数据:公开指令数据集+2500万合成示例
基准测试
基础模型表现
类别 |
测试基准 |
8B |
70B |
405B |
通用能力 |
MMLU(5-shot) |
66.7 |
79.3 |
85.2 |
推理 |
BIG-Bench Hard |
64.2 |
81.6 |
85.9 |
代码 |
HumanEval |
72.6 |
80.5 |
89.0 |
多语言表现(MMLU 5-shot)
语言 |
8B |
70B |
405B |
葡萄牙语 |
62.12 |
80.13 |
84.95 |
印地语 |
50.88 |
74.52 |
80.31 |
责任与安全
三大安全策略:
- 构建通用安全基准
- 防御恶意用户攻击
- 预防模型滥用
关键风险管控:
- CBRNE(生化核爆)风险:开展威胁提升测试
- 儿童安全:专家红队评估多语言风险
- 网络安全:评估自主代理攻击能力(详见网络安全白皮书)
安全工具:
伦理考量
核心价值:开放、包容、实用
已知局限:
- 可能产生不准确/偏见性输出
- 开发者需针对具体应用进行安全测试
- 工具调用需自行评估第三方服务安全性
资源支持:
(注:本翻译严格遵循技术文档的专业表述要求,保留所有专业术语的英文缩写,对法律条款采用符合中文合同规范的表述方式,关键数据表格维持原貌以确保准确性。)