语言:

• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语

库名称: transformers 基础模型: meta-llama/Meta-Llama-3.1-70B 新版本: meta-llama/Llama-3.3-70B-Instruct 许可证: llama3.1 管道标签: 文本生成 标签:

• facebook
• meta
• pytorch
• llama
• llama-3

额外授权提示: "### LLAMA 3.1社区许可协议\nLlama 3.1版本发布日期: 2024年7月23日\n"协议"指本文规定的Llama材料使用、复制、分发和修改的条款和条件。\n"文档"指Meta在https://llama.meta.com/doc/overview分发的Llama 3.1随附的规格说明书、手册和文档。\n"被许可方"或"您"指您、您的雇主或任何其他个人或实体(如果您代表该个人或实体签订本协议)，且根据适用法律、规则或法规已达到提供法律同意的年龄，并具有法律权限约束您的雇主或该其他个人或实体(如果您代表他们签订本协议)。\n"Llama 3.1"指基础大型语言模型和软件及算法，包括机器学习模型代码、训练模型权重、推理启用代码、训练启用代码、微调启用代码以及Meta在https://llama.meta.com/llama-downloads分发的上述内容的其他元素。\n"Llama材料"统指根据本协议提供的Meta专有Llama 3.1和文档(及其任何部分)。\n"Meta"或"我们"指Meta Platforms Ireland Limited(如果您位于欧洲经济区或瑞士，或如果是实体，您的主要营业地点位于欧洲经济区或瑞士)和Meta Platforms, Inc.(如果您位于欧洲经济区或瑞士以外)。\n\n1. 许可权利和再分发。\na. 权利授予。您被授予非排他性、全球性、不可转让且免版税的有限许可，可使用、复制、分发、复制、创建衍生作品并对Llama材料进行修改。\nb. 再分发和使用。\ni. 如果您分发或提供Llama材料(或其任何衍生作品)，或包含其中任何内容的产品或服务(包括其他AI模型)，您应(A)随任何此类Llama材料提供本协议的副本；(B)在相关网站、用户界面、博客文章、关于页面或产品文档上显著显示"Built with Llama"。如果您使用Llama材料或其任何输出来创建、训练、微调或以其他方式改进AI模型，并分发或提供该模型，您还应在任何此类AI模型名称的开头包含"Llama"。\nii. 如果您从被许可方处接收Llama材料或其任何衍生作品作为集成终端用户产品的一部分，则本协议第2条不适用于您。\niii. 您必须在分发的所有Llama材料副本中保留以下归属声明，作为此类副本的一部分在"Notice"文本文件中分发："Llama 3.1根据Llama 3.1社区许可协议获得许可，版权所有© Meta Platforms, Inc.保留所有权利。"\niv. 您对Llama材料的使用必须符合适用的法律法规(包括贸易合规法律法规)，并遵守Llama材料的可接受使用政策(可在https://llama.meta.com/llama3_1/use-policy获取)，该政策通过引用并入本协议。\n2. 附加商业条款。如果在Llama 3.1版本发布日期，由被许可方或其关联公司提供的产品或服务的月活跃用户在前一个日历月超过7亿月活跃用户，您必须向Meta申请许可，Meta可自行决定是否授予您许可，除非或直到Meta明确授予您此类权利，否则您无权行使本协议下的任何权利。\n3. 免责声明。除非适用法律要求，Llama材料及其任何输出和结果均按"原样"提供，不作任何形式的保证，Meta否认所有明示或默示的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您全权负责确定使用或再分发Llama材料的适当性，并承担与使用Llama材料及其任何输出和结果相关的任何风险。\n4. 责任限制。在任何情况下，Meta或其关联公司均不对因本协议引起的任何责任理论(无论是合同、侵权、过失、产品责任或其他)负责，包括任何利润损失或任何间接、特殊、附带、示范性或惩罚性损害赔偿，即使Meta或其关联公司已被告知此类损害的可能性。\n5. 知识产权。\na. 本协议未授予任何商标许可，在与Llama材料相关的使用中，Meta和被许可方均不得使用另一方或其任何关联公司拥有或关联的任何名称或标记，除非为合理和惯常使用以描述和再分发Llama材料或如第5(a)节所述。Meta特此授予您使用"Llama"("标记")的许可，仅用于遵守第1.b.i节最后一句的要求。您将遵守Meta的品牌指南(当前可在https://about.meta.com/brand/resources/meta/company-brand/获取)。因您使用标记而产生的所有商誉将归属于Meta。\nb. 在Meta对Llama材料及由或为Meta制作的衍生作品的所有权前提下，对于您制作的Llama材料的任何衍生作品和修改，在您和Meta之间，您是并将继续是此类衍生作品和修改的所有者。\nc. 如果您对Meta或任何实体提起诉讼或其他程序(包括诉讼中的交叉索赔或反诉)，指控Llama材料或Llama 3.1输出或结果或其任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则本协议授予您的任何许可应自该诉讼或索赔提交或提起之日起终止。您将赔偿并使Meta免受因您使用或分发Llama材料而引起的任何第三方索赔的损害。\n6. 期限和终止。本协议的期限自您接受本协议或访问Llama材料之日起开始，并将持续完全有效，直至根据本文条款和条件终止。如果您违反本协议的任何条款或条件，Meta可终止本协议。本协议终止后，您应删除并停止使用Llama材料。第3、4和7条在本协议终止后仍然有效。\n7. 适用法律和管辖权。本协议将根据加利福尼亚州法律解释和管辖，不考虑法律冲突原则，《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州法院对因本协议引起的任何争议具有专属管辖权。\n### Llama 3.1可接受使用政策\nMeta致力于促进其工具和功能的安全和公平使用，包括Llama 3.1。如果您访问或使用Llama 3.1，您同意本可接受使用政策("政策")。本政策的最新版本可在https://llama.meta.com/llama3_1/use-policy找到。\n#### 禁止用途\n我们希望每个人都能安全负责地使用Llama 3.1。您同意您不会使用或允许他人使用Llama 3.1来：\n1. 违反法律或他人权利，包括：\n 1. 从事、促进、生成、促成、鼓励、计划、煽动或进一步非法或违法活动或内容，例如：\n 1. 暴力或恐怖主义\n 2. 对儿童的剥削或伤害，包括招揽、创建、获取或传播儿童剥削内容或未报告儿童性虐待材料\n 3. 人口贩卖、剥削和性暴力\n 4. 向未成年人非法分发信息或材料，包括淫秽材料，或未对此类信息或材料采用法律要求的年龄限制\n 5. 性招揽\n 6. 任何其他犯罪活动\n 3. 从事、促进、煽动或便利对个人或群体的骚扰、虐待、威胁或欺凌\n 4. 在提供就业、就业福利、信贷、住房、其他经济利益或其他基本商品和服务时，从事、促进、煽动或便利歧视或其他非法或有害行为\n 5. 未经授权或无执照从事任何职业，包括但不限于金融、法律、医疗/健康或相关专业实践\n 6. 未经适用法律要求的权利和同意，收集、处理、披露、生成或推断关于个人的健康、人口统计或其他敏感个人或私人信息\n 7. 从事或便利任何侵犯、盗用或以其他方式侵犯任何第三方权利的行为，或生成任何此类内容，包括使用Llama材料的任何产品或服务的输出或结果\n 8. 创建、生成或便利创建恶意代码、恶意软件、计算机病毒，或执行任何可能禁用、过载、干扰或损害网站或计算机系统的正常工作、完整性、操作或外观的行为\n2. 从事、促进、煽动、便利或协助计划或开发可能造成个人死亡或身体伤害的活动，包括与以下相关的Llama 3.1使用：\n 1. 军事、战争、核工业或应用、间谍活动，用于受美国国务院维护的《国际武器贸易条例》(ITAR)约束的材料或活动\n 2. 枪支和非法武器(包括武器开发)\n 3. 非法药物和受管制/控制物质\n 4. 关键基础设施、运输技术或重型机械的操作\n 5. 自残或伤害他人，包括自杀、自残和饮食失调\n 6. 任何旨在煽动或促进暴力、虐待或对个人造成身体伤害的内容\n3. 故意欺骗或误导他人，包括与以下相关的Llama 3.1使用：\n 1. 生成、促进或进一步欺诈或虚假信息的创建或推广\n 2. 生成、促进或进一步诽谤性内容，包括创建诽谤性陈述、图像或其他内容\n 3. 生成、促进或进一步分发垃圾邮件\n 4. 未经同意、授权或合法权利冒充他人\n 5. 表示Llama 3.1或输出是由人生成的\n 6. 生成或便利虚假的在线互动，包括虚假评论和其他虚假在线互动手段\n4. 未向终端用户适当披露您的AI系统的任何已知危险\n请通过以下方式之一报告违反本政策的行为、软件"错误"或其他可能导致违反本政策的问题：\n * 报告模型问题：https://github.com/meta-llama/llama-models/issues\n * 报告模型生成的风险内容：\n developers.facebook.com/llama_output_feedback\n * 报告错误和安全问题：facebook.com/whitehat/info\n * 报告违反可接受使用政策或未经许可使用Meta Llama 3的行为：LlamaUseReport@meta.com"

额外授权字段: 名: 文本 姓: 文本 出生日期: 日期选择器 国家: 国家 所属机构: 文本 职位: 类型: 选择 选项: - 学生 - 研究生 - AI研究员 - AI开发人员/工程师 - 记者 - 其他 geo: IP定位 ? 点击下方的提交按钮即表示我接受许可条款，并确认我提供的信息将根据Meta隐私政策进行收集、存储、处理和共享 : 复选框 额外授权描述: 您提供的信息将根据Meta隐私政策进行收集、存储、处理和共享。 额外授权按钮内容: 提交

Llama-3.1-70B-Instruct GGUF模型

采用IQ-DynamicGate的超低位量化(1-2位)

我们最新的量化方法引入了针对超低位模型(1-2位)的精度自适应量化，并在Llama-3-8B上通过基准测试证明了改进。该方法采用分层特定策略，在保持极端内存效率的同时保留准确性。

基准测试背景

所有测试均在Llama-3-8B-Instruct上进行，使用：

• 标准困惑度评估流程
• 2048个token的上下文窗口
• 所有量化版本使用相同的提示集

方法

• 动态精度分配：
  • 前25%和后25%的层 → IQ4_XS(选定层)
  • 中间50% → IQ2_XXS/IQ3_S(提高效率)
• 关键组件保护：
  • 嵌入层和输出层使用Q5_K
  • 与标准1-2位相比，减少误差传播38%

量化性能对比(Llama-3-8B)