量化者：bartowski
流水线标签：文本生成
支持语言：

• 英语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语
• 德语

额外授权提示：

LLAMA 3.3 社区许可协议

Llama 3.3版本发布日期：2024年12月6日
"协议"指此处规定的关于Llama材料使用、复制、分发和修改的条款与条件。
"文档"指Meta在https://www.llama.com/docs/overview发布的Llama 3.3配套规范、手册和文档。
"被许可方"或"您"指根据适用法律、法规达到法定同意年龄的个人，或代表雇主或其他实体签署本协议并具有法律约束力的个人。
"Llama 3.3"指Meta在https://www.llama.com/llama-downloads发布的基础大语言模型及软件算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码等。
"Llama材料"统指根据本协议提供的Meta专有Llama 3.3和文档（及其任何部分）。
"Meta"或"我们"指：若您位于欧洲经济区或瑞士（或实体主要营业地在上述地区），则为Meta Platforms Ireland Limited；否则为Meta Platforms, Inc.。

点击下方"我接受"或使用/分发任何Llama材料即表示您同意受本协议约束。

1. 许可权利与再分发
   a. 权利授予。您获得非独占、全球性、不可转让且免版税的有限许可，可使用、复制、分发、创建衍生作品及修改Llama材料。
   b. 再分发与使用
   i. 若您分发Llama材料（或其衍生作品），或包含它们的任何产品或服务，必须：(A)随附本协议副本；(B)在相关网站/界面显著标注"基于Llama构建"。若使用Llama材料输出来训练AI模型，该模型名称需以"Llama"开头。
   ii. 若从被许可方处获得Llama材料作为终端产品组成部分，则协议第2条不适用。
   iii. 必须在所有分发副本中包含版权声明："Llama 3.3采用Llama 3.3社区许可，版权所有© Meta Platforms, Inc."
   iv. 使用需遵守适用法律及可接受使用政策（政策链接）。

2. 附加商业条款
   若在Llama 3.3发布日，被许可方产品或服务的月活跃用户超过7亿，必须向Meta申请商业许可。

3. 免责声明
   除非法律要求，Llama材料按"原样"提供，Meta不承担任何明示或默示担保。使用风险由您自行承担。

4. 责任限制
   Meta及其关联公司不对因本协议产生的任何间接、特殊、后果性损害承担责任。

5. 知识产权
   a. 仅允许按协议要求使用"Llama"商标，且需遵守Meta品牌指南。
   b. 您创建的衍生作品归您所有，但Meta保留原始材料所有权。
   c. 若您对Meta提起知识产权诉讼，本协议授予的许可将自动终止。

6. 期限与终止
   协议自您接受时生效，Meta有权在您违约时终止。终止后您需停止使用并删除Llama材料。第3、4、7条在终止后仍然有效。

7. 适用法律
   本协议受加利福尼亚州法律管辖，排除《联合国国际货物销售合同公约》适用。

Llama 3.3可接受使用政策

禁止用途包括但不限于：

1. 违法或侵犯他人权利的行为
2. 危害人身安全的活动
3. 欺骗性行为
4. 未向终端用户披露AI系统风险
5. 与生成非法内容的第三方工具交互

完整政策见：政策链接

违规举报渠道：

• 模型问题：GitHub提交
• 风险内容：反馈表
• 安全漏洞：白帽页面
• 许可违规：LlamaUseReport@meta.com

基础模型：huihui-ai/Llama-3.3-70B-Instruct-abliterated
许可证：llama3.3
标签：facebook, meta, llama, llama-3, abliterated, uncensored

Llama-3.3-70B-Instruct-abliterated的Llamacpp矩阵量化

使用llama.cpp b4381版本进行量化。
原始模型：链接

所有量化均采用矩阵优化技术，数据集来源：此处
可在LM Studio中运行

提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>  
知识截止日期：2023年12月  
当前日期：2024年7月26日  

{系统提示}<|eot_id|><|start_header_id|>user<|end_header_id|>  
{用户输入}<|eot_id|><|start_header_id|>assistant<|end_header_id|>  

文件下载（非完整分支）

嵌入/输出权重说明

部分量化（如Q3_K_XL、Q4_K_L等）对嵌入层和输出层采用Q8_0量化以提升质量。

使用huggingface-cli下载

ARM/AVX硬件信息

新版llama.cpp支持Q4_0的"在线重打包"技术，可自动优化ARM/AVX硬件性能。详情见PR#9921。

量化选择指南

• VRAM充足：选择比GPU显存小1-2GB的量化
• 质量优先：选择K-quant（如Q5_K_M）
• 低比特率：兼容CUDA/ROCm时优先选I-quant（如IQ3_M）
  详细对比参考：特性矩阵

致谢

感谢kalomaze和Dampf协助创建校准数据集，感谢ZeroWw的嵌入层优化灵感。
支持作者：ko-fi链接