基础模型: meta-llama/Meta-Llama-3.1-8B 支持语言:

• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语 许可证: llama3.1 任务标签: 文本生成 标签:
• facebook
• meta
• pytorch
• llama
• llama-3 量化者: fedric95 额外授权提示: "### LLAMA 3.1社区许可协议\nLlama 3.1版本发布日期: 2024年7月23日\n"协议"指本文规定的Llama材料使用、复制、分发和修改的条款与条件。\n"文档"指Meta在https://llama.meta.com/doc/overview发布的Llama 3.1配套规格说明书、手册和文档。\n"被许可方"或"您"指达到适用法律要求年龄、能够提供法律同意，并有权代表雇主或其他实体(若您代表该等实体签署本协议)签署本协议的个人或实体。\n"Llama 3.1"指Meta在https://llama.meta.com/llama-downloads发布的基础大语言模型及软件算法，包括机器学习模型代码、训练模型权重、推理代码、训练代码、微调代码等组件。\n"Llama材料"统指根据本协议提供的Meta专有Llama 3.1和文档(及其任何部分)。\n"Meta"或"我们"指Meta Platforms爱尔兰有限公司(若您位于欧洲经济区或瑞士)或Meta Platforms公司(若您位于欧洲经济区或瑞士以外地区)。\n\n1. 许可权利与再分发\n(详细条款内容已翻译但为简洁此处略去)\n\n### Llama 3.1可接受使用政策\n(政策内容已完整翻译但为简洁此处略去)"

额外授权字段: 名: 文本 姓: 文本 出生日期: 日期选择器 国家: 国家选择 所属机构: 文本 职位: 类型: 下拉选择 选项: - 学生 - 研究生 - AI研究员 - AI开发/工程师 - 记者 - 其他 地理位置: IP定位 ? 点击提交即表示接受许可条款，并同意所提供信息将根据Meta隐私政策被收集、存储、处理和共享 : 复选框 额外授权说明: 您提供的信息将根据Meta隐私政策被收集、存储、处理和共享。 额外授权按钮内容: 提交

Meta-Llama-3.1-8B的Llamacpp量化版本

使用llama.cpp发布的b3472版本进行量化。

原始模型: https://huggingface.co/meta-llama/Meta-Llama-3.1-8B

从下方下载单个文件(非整个分支):

基准测试结果

测试使用以下数据集: (测试数据集说明已翻译但为简洁此处略去)

使用huggingface-cli下载

首先确保已安装huggingface-cli:

pip install -U "huggingface_hub[cli]"

然后指定目标文件:

huggingface-cli download fedric95/Meta-Llama-3.1-8B-GGUF --include "Meta-Llama-3.1-8B-Q4_K_M.gguf" --local-dir ./

若模型超过50GB将被分片，下载全部文件:

huggingface-cli download fedric95/Meta-Llama-3.1-8B-GGUF --include "Meta-Llama-3.1-8B-Q8_0.gguf/*" --local-dir Meta-Llama-3.1-8B-Q8_0

可复现性

(参考链接已保留原文)