language:

• 英语

• 德语

• 法语

• 意大利语

• 葡萄牙语

• 印地语

• 西班牙语

• 泰语 pipeline_tag: 文本生成 tags:

• 脸书

• 元公司

• PyTorch框架

• 羊驼模型

• 羊驼3代 license: 羊驼3.1社区许可证 extra_gated_prompt: >-

  羊驼3.1社区许可协议

  羊驼3.1版本发布日期：2024年7月23日

  "协议"指本文规定的关于羊驼材料使用、复制、分发和修改的条款与条件。

  "文档"指Meta在https://llama.meta.com/doc/overview发布的羊驼3.1配套规范、手册和文档。

  "被许可方"或"您"指达到适用法律规定的法定同意年龄，并具有法律约束力的个人或实体（若您代表他人或实体签署本协议）。

  "羊驼3.1"指基础大语言模型及相关软件算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码等组件。

  "羊驼材料"统指根据本协议提供的Meta专有羊驼3.1及文档。

  "Meta"或"我们"指Meta Platforms爱尔兰有限公司（适用于欧洲经济区或瑞士用户）或Meta Platforms公司（其他地区用户）。

  1. 许可权利与再分发

  a. 权利授予：授予您非排他性、全球性、不可转让且免版税的有限许可，允许使用、复制、分发羊驼材料并创建衍生作品。

  b. 再分发要求： i. 分发羊驼材料或其衍生作品时，须附带本协议并在显著位置标注"基于羊驼构建"； ii. 终端产品用户不受第2条商业条款约束； iii. 须保留版权声明："羊驼3.1采用羊驼3.1社区许可证，版权所有©Meta Platforms公司"； iv. 使用须遵守适用法律及可接受使用政策（https://llama.meta.com/llama3_1/use-policy）。

  2. 附加商业条款：若月活用户超7亿，需向Meta申请商业许可。

  3. 免责声明：除非法律要求，羊驼材料按"原样"提供，不提供任何明示或默示担保。

  4. 责任限制：Meta及其关联公司不对任何间接、特殊、附带或惩罚性损害承担责任。

  5. 知识产权： a. 仅允许为遵守第1.b.i条使用"羊驼"商标； b. 您拥有自主创建的衍生作品所有权； c. 若对Meta提起知识产权诉讼，本协议授予的许可将自动终止。

  6. 期限与终止：违约时Meta可终止协议，终止后须删除羊驼材料。第3、4、7条在终止后仍然有效。

  7. 适用法律：受加利福尼亚州法律管辖，排除《联合国国际货物销售合同公约》适用。

  羊驼3.1可接受使用政策

  禁止用途包括：

  1. 违法或侵犯他人权利的行为：
  • 暴力恐怖活动、儿童剥削、人口贩卖、向未成年人分发非法材料等；
  • 未经许可的专业实践（医疗/法律等）；
  • 未经同意处理敏感个人信息；
  • 生成恶意代码或干扰计算机系统。
  2. 可能造成人身伤害的活动：
  • 军事武器开发、非法药物、关键基础设施操作等。
  3. 欺骗行为：
  • 生成虚假信息、垃圾内容、冒充他人等。
  4. 未向终端用户披露AI系统已知风险。

  违规举报渠道：

  • 模型问题：https://github.com/meta-llama/llama-models/issues
  • 风险内容：developers.facebook.com/llama_output_feedback
  • 安全漏洞：facebook.com/whitehat/info
  • 政策违规：LlamaUseReport@meta.com extra_gated_fields: 名: 文本 姓: 文本 出生日期: 日期选择 国家: 国家选择 所属机构: 文本 职位: type: 下拉选择 options:
    • 学生
    • 研究生
    • AI研究员
    • AI开发工程师
    • 记者
    • 其他 geo: IP定位 勾选即表示接受许可条款并同意根据Meta隐私政策处理信息: 复选框 extra_gated_description: >- 所提供信息将依据Meta隐私政策进行收集、存储和处理。 extra_gated_button_content: 提交 library_name: transformers

模型信息

Meta羊驼3.1是多语言大语言模型集合，包含80亿、700亿和4050亿参数的预训练及指令调优生成模型。经指令调优的纯文本模型（8B/70B/405B）针对多语言对话场景优化，在行业基准测试中超越多数开源和闭源聊天模型。

开发者：Meta
架构：基于优化Transformer架构的自回归语言模型，采用监督微调(SFT)和人类反馈强化学习(RLHF)对齐人类偏好。

支持语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语
模型发布日期：2024年7月23日
许可证：羊驼3.1社区许可证，详见GitHub

预期用途

适用场景：商业和研究用途的多语言应用。指令调优模型适用于类助手对话，预训练模型可适配多种文本生成任务。支持通过输出改进其他模型（如合成数据生成与蒸馏）。

非适用场景：违反法律法规的使用；超出8种支持语言的未授权应用（开发者需自行确保安全性）。

硬件与训练

训练设施：使用定制训练库、Meta自建GPU集群及生产基础设施。
计算资源：累计消耗3930万GPU小时（H100-80GB显卡），总碳排放11,390吨CO2当量（基于地理位置计算，实际市场排放为0因Meta使用可再生能源）。

训练数据

预训练数据：约15万亿token的公开数据（截至2023年12月）
微调数据：公开指令数据集及2500万条合成生成示例

基准测试

基础模型表现

指令调优模型表现

多语言能力(MMLU 5-shot)

责任与安全

安全策略

三重防护体系：

1. 支持开发者构建安全、灵活的应用体验
2. 防范对抗性用户滥用
3. 提供社区防护措施防止模型误用

关键风险防控：

• 生化武器风险：专项评估模型是否可能增强恶意攻击能力
• 儿童安全：专家红队测试多语言场景下的风险
• 网络安全：评估模型在自动化网络攻击中的潜在作用（详见网络安全白皮书）

社区资源

• 负责任使用指南
• 开源安全工具集PurpleLlama
• 漏洞奖励计划与输出反馈机制

伦理考量与限制

羊驼3.1核心价值是开放、包容与助益性。作为新兴技术，其输出可能存在不可预测的偏差或不准确内容。开发者应在部署前进行针对性安全测试，参考我们提供的信任与安全解决方案等资源。