AIbase

Q

QWQ 32B FP8

由 qingcheng-ai 开发
QwQ-32B-FP8 是 QwQ-32B 模型的 FP8 量化版本，保持了与 BF16 版本几乎相同的准确率，同时支持更快的推理速度。
大型语言模型
Transformers
开源协议:Apache-2.0#FP8量化#高效推理#MMLU基准
下载量 144
发布时间 : 3/21/2025
模型介绍
内容详情
替代品

模型简介

FP8 量化版本的 QwQ-32B 模型，适用于高效推理任务，性能与原始 BF16 版本相当。

模型特点

高效推理
FP8 量化版本在保持与 BF16 版本相同准确率的同时，支持更快的推理速度。
高性能
在 MMLU 基准测试中表现优异，与原始 BF16 版本得分相同。
轻量化
通过 FP8 量化技术减少模型体积，适合资源有限的环境。

模型能力

文本生成
高效推理

使用案例

自然语言处理
问答系统
可用于构建高性能问答系统，处理复杂查询。
在 MMLU 基准测试中得分 61.2，表现优异。
文本生成
适用于各种文本生成任务，如内容创作、摘要生成等。