base_model: meta-llama/Llama-3.2-1B-Instruct language:

• 英文
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语 pipeline_tag: 文本生成 tags:
• facebook
• meta
• pytorch
• llama
• llama-3
• llama-cpp
• gguf-my-repo extra_gated_prompt: "### LLAMA 3.2 社区许可协议\n\nLlama 3.2版本发布日期：2024年9月25日\n\n本“协议”即Llama材料使用、复制、分发和修改的条款与条件。\n\n“文档”指Meta在https://llama.meta.com/doc/overview发布的Llama 3.2配套规格说明书、手册及文档。\n\n“被许可方”或“您”指达到适用法律规定的法定同意年龄，并有权代表雇主或其他实体（如适用）接受本协议的个人或实体。\n\n“Llama 3.2”指Meta在https://www.llama.com/llama-downloads发布的基础大语言模型及相关软件算法，包括机器学习模型代码、训练权重、推理代码、训练代码、微调代码等组件。\n\n“Llama材料”统指根据本协议提供的Meta专有Llama 3.2及文档（或其部分内容）。\n\n“Meta”或“我们”指：若您位于欧洲经济区或瑞士（或实体主要营业地在上述区域），则为Meta Platforms爱尔兰有限公司；否则为Meta Platforms公司。\n\n点击下方“我接受”或使用/分发任何Llama材料即表示您同意受本协议约束。\n\n1. 许可权利与再分发\n a. 权利授予：Meta授予您非排他性、全球性、不可转让、免版税的有限许可，允许使用、复制、分发Llama材料并创建其衍生作品。\n b. 再分发要求：\n i. 若分发Llama材料或其衍生作品，或包含它们的AI产品/服务，必须：(A)随附本协议；(B)在相关平台显著标注“基于Llama构建”；若用于训练新AI模型，须以“Llama”作为模型名称前缀。\n ii. 作为终端产品用户接收Llama材料时，不适用第2条商业条款。\n iii. 所有分发副本须包含版权声明：“Llama 3.2采用Llama 3.2社区许可，版权所有© Meta Platforms公司”。\n iv. 使用需遵守法律法规及可接受使用政策（https://www.llama.com/llama3_2/use-policy）。\n\n2. 商业规模限制：若您或关联方月活用户超7亿，须另行向Meta申请商业许可。\n\n3. 免责声明：除非法律强制要求，Llama材料按“原样”提供，Meta放弃所有明示或默示担保，包括适销性、特定用途适用性等。使用风险由您自行承担。\n\n4. 责任限制：Meta及其关联方不对因本协议产生的任何间接、特殊、后果性损害承担责任。\n\n5. 知识产权：\n a. 仅允许为遵守第1.b.i条使用“Llama”商标，须遵循Meta品牌指南。\n b. 您创建的衍生作品归您所有，但Meta保留原始材料所有权。\n c. 若您对Meta提起知识产权诉讼，本协议授予的许可自动终止。\n\n6. 协议期限：自接受协议起生效，违约时Meta可终止。终止后须停止使用并删除Llama材料。第3、4、7条在终止后仍有效。\n\n7. 法律适用：受加利福尼亚州法律管辖，排除国际货物销售合同公约。争议由加州法院专属管辖。\n\n### Llama 3.2可接受使用政策\n禁止用途包括但不限于：\n1. 违法活动：暴力、儿童剥削、人口贩卖、非法职业实践、侵犯隐私权等\n2. 高危领域：军事、武器开发、关键基础设施操作、自残内容等\n3. 欺骗行为：生成虚假信息、垃圾邮件、冒充他人等\n4. 未披露AI系统风险\n5. 与生成非法内容的第三方工具集成\n\n欧盟用户不得使用多模态模型开发功能（终端产品使用者除外）。\n\n违规举报渠道：\n- 模型问题：GitHub issues\n- 风险输出：developers.facebook.com/llama_output_feedback\n- 安全漏洞：facebook.com/whitehat/info\n- 政策违规：LlamaUseReport@meta.com" extra_gated_fields: 名: text 姓: text 出生日期: date_picker 国家: country 所属机构: text 职位: type: select options:
  • 学生
  • 研究生
  • AI研究员
  • AI开发/工程师
  • 记者
  • 其他 geo: ip_location ? 点击提交即表示接受许可条款，并同意根据Meta隐私政策处理所提供信息 : checkbox extra_gated_description: 所提供信息将按照Meta隐私政策进行收集、存储和处理。 extra_gated_button_content: 提交

hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF

本模型通过ggml.ai的GGUF-my-repo空间，使用llama.cpp将原模型转换为GGUF格式。模型详情请参阅原模型卡片。

llama.cpp使用指南

通过brew安装llama.cpp（支持Mac/Linux）：

brew install llama.cpp

命令行调用：

llama-cli --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF --hf-file llama-3.2-1b-instruct-q8_0.gguf -p "生命与宇宙的意义是"

服务器模式：

llama-server --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF --hf-file llama-3.2-1b-instruct-q8_0.gguf -c 2048

注：也可直接通过llama.cpp官方步骤使用：

步骤1：克隆仓库

git clone https://github.com/ggerganov/llama.cpp

步骤2：编译（需添加LLAMA_CURL=1及其他硬件加速标志如LLAMA_CUDA=1）

cd llama.cpp && LLAMA_CURL=1 make

步骤3：运行推理

./llama-cli --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF --hf-file llama-3.2-1b-instruct-q8_0.gguf -p "生命与宇宙的意义是"

或

./llama-server --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF --hf-file llama-3.2-1b-instruct-q8_0.gguf -c 2048