语言:

• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语

标签:

• 量化
• 2位
• 3位
• 4位
• 5位
• 6位
• 8位
• GGUF
• 文本生成

模型名称: Meta-Llama-3.1-8B-Instruct-GGUF
基础模型: meta-llama/Meta-Llama-3.1-8B-Instruct
推理: 不支持
模型创建者: meta-llama
任务标签: 文本生成
量化者: MaziyarPanahi
许可证: llama3.1

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF

• 模型创建者: meta-llama
• 原始模型: meta-llama/Meta-Llama-3.1-8B-Instruct

描述

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF 包含 meta-llama/Meta-Llama-3.1-8B-Instruct 的 GGUF 格式模型文件。

关于 GGUF

GGUF 是由 llama.cpp 团队于 2023 年 8 月 21 日引入的新格式，用于替代不再受支持的 GGML 格式。

以下是已知支持 GGUF 的部分客户端和库的不完整列表：

• llama.cpp: GGUF 的源项目，提供 CLI 和服务器选项。
• llama-cpp-python: 支持 GPU 加速、LangChain 和 OpenAI 兼容 API 服务器的 Python 库。
• LM Studio: 适用于 Windows 和 macOS（Silicon）的易用且功能强大的本地 GUI，支持 GPU 加速。Linux 版本于 2023 年 11 月 27 日进入测试阶段。
• text-generation-webui: 使用最广泛的 Web UI，具有许多功能和强大的扩展，支持 GPU 加速。
• KoboldCpp: 功能全面的 Web UI，支持跨平台和 GPU 架构的加速，特别适合故事生成。
• GPT4All: 免费开源的本地运行 GUI，支持 Windows、Linux 和 macOS，并支持全 GPU 加速。
• LoLLMS Web UI: 功能丰富的 Web UI，包含许多独特功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev: 吸引人且易用的基于角色的聊天 GUI，支持 Windows 和 macOS（Silicon 和 Intel），并支持 GPU 加速。
• candle: 专注于性能的 Rust ML 框架，支持 GPU 并易于使用。
• ctransformers: 支持 GPU 加速、LangChain 和 OpenAI 兼容 AI 服务器的 Python 库。截至 2023 年 11 月 27 日，ctransformers 已长时间未更新，不支持许多新模型。

特别感谢

🙏 特别感谢 Georgi Gerganov 和 llama.cpp 的整个团队，让这一切成为可能。

原始 README:

模型信息

Meta Llama 3.1 系列是多语言大语言模型（LLM）的集合，包含 8B、70B 和 405B 规模的预训练和指令调优生成模型（文本输入/文本输出）。Llama 3.1 的指令调优纯文本模型（8B、70B、405B）针对多语言对话用例进行了优化，在常见的行业基准测试中优于许多开源和闭源聊天模型。

模型开发者: Meta

模型架构: Llama 3.1 是一种自回归语言模型，使用了优化的 Transformer 架构。调优版本通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）来对齐人类对帮助性和安全性的偏好。

支持的语言: 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

Llama 3.1 模型系列: 令牌数量仅指预训练数据。所有模型版本均使用分组查询注意力（GQA）以提高推理可扩展性。

模型发布日期: 2024 年 7 月 23 日。

状态: 这是一个基于离线数据集训练的静态模型。未来版本的调优模型将根据社区反馈改进模型安全性后发布。

许可证: 自定义商业许可证 Llama 3.1 社区许可证可在以下链接获取: https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE

关于模型的提问或评论发送方式: 有关如何提供反馈或评论的说明可在模型 README 中找到。有关生成参数的技术信息以及如何在应用程序中使用 Llama 3.1 的详细方法，请访问 此处。

预期用途

预期用例: Llama 3.1 旨在用于多语言的商业和研究用途。指令调优的纯文本模型适用于类似助手的聊天，而预训练模型可适应各种自然语言生成任务。Llama 3.1 模型系列还支持利用其模型输出来改进其他模型，包括合成数据生成和蒸馏。Llama 3.1 社区许可证允许这些用例。

超出范围: 任何违反适用法律或法规（包括贸易合规法律）的使用方式。任何被可接受使用政策和 Llama 3.1 社区许可证禁止的其他使用方式。使用超出本模型卡明确引用的支持语言之外的语言。

**注意: Llama 3.1 已针对比 8 种支持语言更广泛的语言集合进行了训练。开发者可以对 Llama 3.1 模型进行超出 8 种支持语言的微调，前提是他们遵守 Llama 3.1 社区许可证和可接受使用政策，并在此类情况下负责确保以安全和负责任的方式使用 Llama 3.1 的其他语言。

使用方法

此存储库包含两个版本的 Meta-Llama-3.1-8B-Instruct，分别用于 transformers 和原始 llama 代码库。

使用 transformers

从 transformers >= 4.43.0 开始，您可以使用 Transformers 的 pipeline 抽象或通过 Auto 类与 generate() 函数运行对话推理。

确保通过 pip install --upgrade transformers 更新您的 transformers 安装。

import transformers  
import torch  

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"  

pipeline = transformers.pipeline(  
    "text-generation",  
    model=model_id,  
    model_kwargs={"torch_dtype": torch.bfloat16},  
    device_map="auto",  
)  

messages = [  
    {"role": "system", "content": "你是一个海盗聊天机器人，总是用海盗语回答！"},  
    {"role": "user", "content": "你是谁？"},  
]  

outputs = pipeline(  
    messages,  
    max_new_tokens=256,  
)  
print(outputs[0]["generated_text"][-1])  

注意: 您还可以在 huggingface-llama-recipes 中找到有关如何在本地使用模型、使用 torch.compile()、辅助生成、量化等的详细方法。

使用 llama

请遵循 存储库 中的说明。

要下载原始检查点，请参阅以下使用 huggingface-cli 的示例命令:

huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir Meta-Llama-3.1-8B-Instruct  

硬件和软件

训练因素: 我们使用了自定义训练库、Meta 自定义构建的 GPU 集群以及用于预训练的生产基础设施。微调、标注和评估也在生产基础设施上进行。

训练累计使用了 39.3M GPU 小时的 H100-80GB（TDP 为 700W）类型硬件计算，如下表所示。训练时间是训练每个模型所需的总 GPU 时间，功耗是每个 GPU 设备的峰值功率容量，根据电源使用效率进行调整。

训练温室气体排放: 基于位置的温室气体排放总量估计为 11,390 吨 CO2eq。自 2020 年以来，Meta 在其全球运营中保持了温室气体净零排放，并将 100% 的电力使用与可再生能源匹配，因此训练的总市场温室气体排放为 0 吨 CO2eq。

确定训练能源使用和温室气体排放的方法可在 此处 找到。由于 Meta 公开了这些模型，其他人不会产生训练能源使用和温室气体排放。

训练数据

概述: Llama 3.1 在来自公开可用来源的约 15 万亿令牌数据上进行了预训练。微调数据包括公开可用的指令数据集以及超过 25M 个合成生成的示例。

数据新鲜度: 预训练数据的截止日期为 2023 年 12 月。

基准分数

在本节中，我们报告了 Llama 3.1 模型在标准自动基准测试中的结果。对于所有评估，我们使用了内部评估库。

基础预训练模型

Phi 2 GGUF

其他

Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。

大型语言模型

支持多种语言

P

TheBloke

41.5M

205

Roberta Large

MIT

基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法

大型语言模型

英语

R

FacebookAI

19.4M

212

Distilbert Base Uncased

Apache-2.0

DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。

大型语言模型

英语

D

distilbert

11.1M

669

Llama 3.1 8B Instruct GGUF

Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。

大型语言模型

英语

L

modularai

9.7M

4

Xlm Roberta Base

MIT

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

大型语言模型

支持多种语言

X

FacebookAI

9.6M

664

Roberta Base

MIT

基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调

大型语言模型

英语

R

FacebookAI

9.3M

488

Opt 125m

其他

OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。

大型语言模型

英语

O

facebook

6.3M

198

Llama 3.1 8B Instruct

Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。

大型语言模型

Transformers

支持多种语言

L

meta-llama

5.7M

3,898

T5 Base

Apache-2.0

T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。

大型语言模型

支持多种语言

T

google-t5

5.4M

702

Xlm Roberta Large

MIT

XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。

大型语言模型

支持多种语言

X

FacebookAI

5.3M

431

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

大型语言模型

Transformers

支持多种语言

L

scb10x

3,269

16

Cadet Tiny

Openrail

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

对话系统

Transformers

英语

C

ToddGoldfarb

2,691

6

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

问答系统

中文

R

uer

2,694

98

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

大型语言模型

图像生成

语音识别

图像分类

文本嵌入

文本分类

机器翻译

全部分类

热门标签

多语言支持

低资源优化

低词错误率

高准确率

基于Transformer

轻量级BERT

SentencePiece预处理

© 2025AIbase 备案号：闽ICP备08105208号-24

网站地图

用户协议

隐私政策