基础模型: mlx-community/Llama-3.3-70B-Instruct-bf16 语言:

• 英语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语
• 德语 库名称: mlx 许可证: llama3.3 标签:
• facebook
• meta
• pytorch
• llama
• llama-3
• mlx 额外授权提示: "### LLAMA 3.3 社区许可协议\nLlama 3.3版本发布日期：2024年12月6日\n"协议"指本文规定的Llama材料使用、复制、分发和修改的条款和条件。\n"文档"指Meta在https://www.llama.com/docs/overview发布的Llama 3.3附带的技术规格、手册和文档。\n"被许可方"或"您"指您、您的雇主或任何其他个人或实体（如果您代表该个人或实体签订本协议），且年龄符合适用法律、法规要求，能够提供法律同意，并有法律授权约束您的雇主或该个人或实体（如果您代表他们签订本协议）。\n"Llama 3.3"指Meta在https://www.llama.com/llama-downloads发布的基础大型语言模型、软件和算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码及其他相关元素。\n"Llama材料"指本协议下提供的Meta专有Llama 3.3和文档（或其任何部分）的统称。\n"Meta"或"我们"指Meta Platforms爱尔兰有限公司（如果您位于欧洲经济区或瑞士，或您的实体主要营业地位于该地区）和Meta Platforms, Inc.（如果您位于欧洲经济区或瑞士以外）。\n点击下方的"我接受"或使用、分发Llama材料的任何部分或元素，即表示您同意受本协议约束。\n1. 许可权利与再分发\na. 权利授予。根据Meta在Llama材料中体现的知识产权或其他权利，授予您非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、创建衍生作品和修改Llama材料。\nb. 再分发与使用\ni. 如果您分发或提供Llama材料（或其任何衍生作品），或包含它们的任何产品或服务（包括其他AI模型），您应：(A) 随Llama材料提供本协议的副本；(B) 在相关网站、用户界面、博客、关于页面或产品文档中显著显示"基于Llama构建"。如果您使用Llama材料或其输出结果创建、训练、微调或以其他方式改进AI模型并分发或提供该模型，还应在该AI模型名称前加上"Llama"。\nii. 如果您作为集成终端用户产品的一部分从被许可方接收Llama材料或其衍生作品，则本协议第2条不适用于您。\niii. 您必须在分发的所有Llama材料副本中包含以下归属声明，作为这些副本的一部分："Llama 3.3根据Llama 3.3社区许可协议授权，版权© Meta Platforms, Inc. 保留所有权利。"\niv. 您对Llama材料的使用必须遵守适用法律法规（包括贸易合规法律法规），并遵守Llama材料的可接受使用政策（见https://www.llama.com/llama3_3/use-policy），该政策通过引用并入本协议。\n2. 附加商业条款。如果在Llama 3.3版本发布日，被许可方或其关联公司提供的产品或服务的月活跃用户数在前一个日历月超过7亿，您必须向Meta申请许可（Meta可自行决定是否授予），且除非Meta明确授予您此类权利，否则您无权行使本协议下的任何权利。\n3. 免责声明。除非适用法律要求，Llama材料及其任何输出结果均按"原样"提供，不提供任何形式的保证，Meta否认所有明示或默示的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您全权负责确定使用或再分发Llama材料的适当性，并承担使用Llama材料及其任何输出结果的所有风险。\n4. 责任限制。Meta及其关联公司对因本协议引起的任何利润损失或任何间接、特殊、后果性、附带性、示范性或惩罚性损害概不负责，即使已被告知此类损害的可能性。\n5. 知识产权\na. 本协议未授予商标许可，在与Llama材料相关的活动中，Meta和被许可方均不得使用对方或其关联公司拥有的任何名称或标记，除非为合理常规使用描述和再分发Llama材料或本第5(a)条规定。Meta特此授予您使用"Llama"（"标记"）的许可，仅用于遵守第1.b.i条最后一句的要求。您应遵守Meta的品牌指南（当前可访问https://about.meta.com/brand/resources/meta/company-brand/）。您使用标记产生的所有商誉归Meta所有。\nb. 在Meta对Llama材料及Meta制作或为其制作的衍生作品的所有权前提下，对于您制作的Llama材料的任何衍生作品和修改，您与Meta之间，您是并将继续是这些衍生作品和修改的所有者。\nc. 如果您对Meta或任何实体提起诉讼或其他程序（包括诉讼中的交叉索赔或反诉），指控Llama材料或Llama 3.3输出结果或其任何部分构成对您拥有或可许可的知识产权或其他权利的侵权，则本协议授予您的所有许可自该诉讼或索赔提交或提起之日起终止。您应赔偿并使Meta免受因您使用或分发Llama材料引起的任何第三方索赔的损害。\n6. 期限与终止。本协议自您接受本协议或访问Llama材料之日起生效，并持续有效直至根据本协议条款终止。如果您违反本协议的任何条款或条件，Meta可终止本协议。本协议终止后，您应删除并停止使用Llama材料。第3、4和7条在本协议终止后仍然有效。\n7. 适用法律与管辖。本协议受加利福尼亚州法律管辖并按其解释，不考虑法律冲突原则，且《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州法院对本协议引起的任何争议拥有专属管辖权。\n### Llama 3.3可接受使用政策\nMeta致力于促进其工具和功能（包括Llama 3.3）的安全和公平使用。如果您访问或使用Llama 3.3，即表示您同意本可接受使用政策（"政策"）。本政策的最新版本可在https://www.llama.com/llama3_3/use-policy找到。\n禁止用途\n我们希望每个人都能安全、负责任地使用Llama 3.3。您同意不会使用或允许他人使用Llama 3.3进行以下行为：\n1. 违反法律或他人权利，包括：\n 1. 参与、推广、生成、促成、鼓励、策划、煽动或进一步非法或违法活动或内容，例如：\n 1. 暴力或恐怖主义\n 2. 对儿童的剥削或伤害，包括招揽、创建、获取或传播儿童剥削内容或未报告儿童性虐待材料\n 3. 人口贩卖、剥削和性暴力\n 4. 向未成年人非法分发信息或材料，包括淫秽材料，或未对此类信息或材料实施法律要求的年龄限制\n 5. 性招揽\n 6. 任何其他犯罪活动\n 2. 参与、推广、煽动或促成对个人或群体的骚扰、虐待、威胁或欺凌\n 3. 参与、推广、煽动或促成在就业、就业福利、信贷、住房、其他经济利益或其他基本商品和服务方面的歧视或其他非法或有害行为\n 4. 从事未经授权或无执照的任何职业实践，包括但不限于金融、法律、医疗/健康或相关专业实践\n 5. 收集、处理、披露、生成或推断个人的私人或敏感信息，包括个人身份、健康或人口统计信息，除非您已根据适用法律获得这样做的权利\n 6. 参与或促成任何侵犯、盗用或以其他方式侵犯第三方权利的行为或生成任何内容，包括使用Llama材料的任何产品或服务的输出或结果\n 7. 创建、生成或促成恶意代码、恶意软件、计算机病毒或任何可能禁用、过载、干扰或损害网站或计算机系统正常运行、完整性、操作或外观的行为\n 8. 从事或促成任何故意规避或移除使用限制或其他安全措施的行为，或启用被Meta禁用的功能\n2. 参与、推广、煽动、促成或协助策划或开发可能导致个人死亡或身体伤害的活动，包括与以下相关的Llama 3.3使用：\n 1. 军事、战争、核工业或应用、间谍活动，或涉及受美国国务院《国际武器贸易条例》(ITAR)、《1989年美国生物武器反恐法案》或《1997年化学武器公约实施法案》管制的材料或活动\n 2. 枪支和非法武器（包括武器开发）\n 3. 非法毒品和受管制/控制物质\n 4. 关键基础设施、运输技术或重型机械的操作\n 5. 自残或伤害他人，包括自杀、自残和饮食失调\n 6. 任何旨在煽动或促进暴力、虐待或对个人造成身体伤害的内容\n3. 故意欺骗或误导他人，包括与以下相关的Llama 3.3使用：\n 1. 生成、推广或进一步欺诈或虚假信息的创建或推广\n 2. 生成、推广或进一步诽谤性内容，包括诽谤性陈述、图像或其他内容的创建\n 3. 生成、推广或进一步分发垃圾邮件\n 4. 未经同意、授权或法律权利冒充他人\n 5. 表示Llama 3.3或其输出是由人生成的\n 6. 生成或促成虚假在线互动，包括虚假评论和其他虚假在线互动手段\n4. 未向终端用户适当披露您的AI系统的任何已知危险\n5. 与设计用于生成非法内容或从事非法或有害行为的第三方工具、模型或软件交互，和/或表示此类工具、模型或软件的输出与Meta或Llama 3.3有关\n对于Llama 3.3中包含的任何多模态模型，如果您是居住在欧盟的个人或在欧盟设有主要营业地的公司，则Llama 3.3社区许可协议第1(a)条授予的权利不适用于您。此限制不适用于包含任何此类多模态模型的产品或服务的终端用户。\n请通过以下方式报告任何违反本政策的行为、软件"漏洞"或其他可能导致违反本政策的问题：\n* 报告模型问题：https://github.com/meta-llama/llama-models/issues\n* 报告模型生成的风险内容：developers.facebook.com/llama_output_feedback\n* 报告漏洞和安全问题：facebook.com/whitehat/info\n* 报告违反可接受使用政策或未经许可使用Llama 3.3的行为：LlamaUseReport@meta.com" 额外授权字段: 名字: 文本 姓氏: 文本 出生日期: 日期选择器 国家: 国家 所属机构: 文本 职位: 类型: 选择 选项:
  • 学生
  • 研究生
  • AI研究员
  • AI开发人员/工程师
  • 记者
  • 其他 地理位置: IP定位 ? 点击下方的提交按钮即表示我接受许可条款，并确认我提供的信息将根据Meta隐私政策被收集、存储、处理和共享 : 复选框 额外授权描述: 您提供的信息将根据Meta隐私政策被收集、存储、处理和共享。 额外授权按钮内容: 提交 管道标签: 文本生成

mlx-community/Llama-3.3-70B-Instruct-4bit-DWQ

此模型mlx-community/Llama-3.3-70B-Instruct-4bit-DWQ是从mlx-community/Llama-3.3-70B-Instruct-bf16使用mlx-lm版本0.24.0转换为MLX格式的。

使用mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Llama-3.3-70B-Instruct-4bit-DWQ")

prompt = "你好"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)