标签:

• fp8
• vllm 语言:
• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 印地语
• 西班牙语
• 泰语 任务标签: 文本生成 许可证: llama3.1 基础模型: meta-llama/Meta-Llama-3.1-405B-Instruct

Meta-Llama-3.1-405B-Instruct-FP8-dynamic

模型概述

• 模型架构: Meta-Llama-3.1
  • 输入: 文本
  • 输出: 文本
• 模型优化:
  • 权重量化: FP8
  • 激活量化: FP8
• 预期用途: 适用于多语言的商业和研究用途。与Meta-Llama-3.1-405B-Instruct类似，该模型适用于类似助手的聊天场景。
• 非适用范围: 任何违反适用法律或法规（包括贸易合规法律）的使用。非英语语言的使用。
• 发布日期: 2024年8月22日
• 版本: 1.1
• 许可证: llama3.1
• 模型开发者: Neural Magic

该模型是Meta-Llama-3.1-405B-Instruct的量化版本。 它在多个任务上进行了评估，以评估其与未量化模型相比的质量，包括多项选择、数学推理和开放式文本生成。 Meta-Llama-3.1-405B-Instruct-FP8-dynamic在Arena-Hard评估中实现了99.0%的恢复率，OpenLLM v1（使用Meta的提示时）为100.0%，OpenLLM v2为99.9%，HumanEval pass@1为100.2%，HumanEval+ pass@1为101.1%。

模型优化

该模型通过将Meta-Llama-3.1-405B-Instruct的权重和激活量化为FP8数据类型获得，准备用于从源代码构建的vLLM进行推理。 这种优化将每个参数的位数从16减少到8，减少了约50%的磁盘大小和GPU内存需求。特别是，该模型现在可以在单个8xH100 GPU节点上加载和评估，而不是多个节点。

仅量化了transformer块内线性运算符的权重和激活。应用了对称的每通道量化，其中每个输出维度的线性缩放映射了量化权重和激活的FP8表示。激活也在每个令牌的动态基础上进行量化。 使用LLM Compressor进行量化。

部署

使用vLLM

该模型可以使用vLLM后端高效部署，如下例所示。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "neuralmagic/Meta-Llama-3.1-405B-Instruct-FP8-dynamic"
number_gpus = 8

sampling_params = SamplingParams(temperature=0.6, top_p=0.9, max_tokens=256)

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，总是用海盗语回答！"},
    {"role": "user", "content": "你是谁？"},
]

prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)

llm = LLM(model=model_id, tensor_parallel_size=number_gpus, max_model_len=4096)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM还支持OpenAI兼容的服务。更多详情请参阅文档。

创建

该模型是通过应用LLM Compressor与来自UltraChat的校准样本创建的，如下面的代码片段所示。

import torch

from transformers import AutoTokenizer

from llmcompressor.transformers import SparseAutoModelForCausalLM, oneshot
from llmcompressor.transformers.compression.helpers import (  # noqa
    calculate_offload_device_map,
    custom_offload_device_map,
)

recipe = """
quant_stage:
    quant_modifiers:
        QuantizationModifier:
            ignore: ["lm_head"]
            config_groups:
                group_0:
                    weights:
                        num_bits: 8
                        type: float
                        strategy: channel
                        dynamic: false
                        symmetric: true
                    input_activations:
                        num_bits: 8
                        type: float
                        strategy: token
                        dynamic: true
                        symmetric: true
                    targets: ["Linear"]
"""

model_stub = "meta-llama/Meta-Llama-3.1-405B-Instruct"
model_name = model_stub.split("/")[-1]

device_map = calculate_offload_device_map(
    model_stub, reserve_for_hessians=False, num_gpus=8, torch_dtype="auto"
)

model = SparseAutoModelForCausalLM.from_pretrained(
    model_stub, torch_dtype="auto", device_map=device_map
)

output_dir = f"./{model_name}-FP8-dynamic"

oneshot(
    model=model,
    recipe=recipe,
    output_dir=output_dir,
    save_compressed=True,
    tokenizer=AutoTokenizer.from_pretrained(model_stub),
)

评估

该模型在知名的Arena-Hard、OpenLLM v1、OpenLLM v2、HumanEval和HumanEval+基准上进行了评估。 在所有情况下，模型输出均使用vLLM引擎生成。

Arena-Hard评估使用Arena-Hard-Auto仓库进行。 模型为Arena-Hard中的每个提示生成一个答案，每个答案由GPT-4评判两次。 我们报告了每次评判的得分和平均值。

OpenLLM v1和v2评估使用Neural Magic的lm-evaluation-harness分支（分支llama_3.1_instruct）进行。 该版本的lm-evaluation-harness包括与Meta-Llama-3.1-Instruct-evals提示风格匹配的MMLU、ARC-Challenge和GSM-8K版本，以及一些OpenLLM v2任务的修复。

HumanEval和HumanEval+评估使用Neural Magic的EvalPlus仓库进行。

详细的模型输出可作为HuggingFace数据集获取：Arena-Hard、OpenLLM v2和HumanEval。

准确率

基准	Meta-Llama-3.1-405B-Instruct	Meta-Llama-3.1-405B-Instruct-FP8-dynamic (本模型)	恢复率
Arena Hard	67.4 (67.3 / 67.5)	66.7 (66.7 / 66.6)	99.0%
OpenLLM v1
MMLU (5-shot)	87.4	87.5	100.0%
MMLU-cot (0-shot)	88.1	88.1	100.0%
ARC Challenge (0-shot)	95.0	95.0	100.0%
GSM-8K-cot (8-shot, 严格匹配)	96.0	95.8	99.8%
Hellaswag (10-shot)	88.5	88.5	99.9%
Winogrande (5-shot)	87.2	88.0	100.9%
TruthfulQA (0-shot, mc2)	65.3	65.3	99.9%
平均	86.8	86.9	100.0%
OpenLLM v2
MMLU-Pro (5-shot)	59.7	59.4	99.4%
IFEval (0-shot)	87.7	86.8	99.0%
BBH (3-shot)	67.0	67.1	100.1%
Math-|v|-5 (4-shot)	39.0	38.8	99.7%
GPQA (0-shot)	19.5	19.0	97.4%
MuSR (0-shot)	19.5	20.8	106.9%
平均	48.7	48.7	99.9%
编码
HumanEval pass@1	Phi 2 GGUF 其他 Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。 大型语言模型 支持多种语言 P TheBloke 41.5M 205 Roberta Large MIT 基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法 大型语言模型 英语 R FacebookAI 19.4M 212 Distilbert Base Uncased Apache-2.0 DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。 大型语言模型 英语 D distilbert 11.1M 669 Llama 3.1 8B Instruct GGUF Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。 大型语言模型 英语 L modularai 9.7M 4 Xlm Roberta Base MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 9.6M 664 Roberta Base MIT 基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调 大型语言模型 英语 R FacebookAI 9.3M 488 Opt 125m 其他 OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。 大型语言模型 英语 O facebook 6.3M 198 Llama 3.1 8B Instruct Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。 大型语言模型 Transformers 支持多种语言 L meta-llama 5.7M 3,898 T5 Base Apache-2.0 T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。 大型语言模型 支持多种语言 T google-t5 5.4M 702 Xlm Roberta Large MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 5.3M 431 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策