FP8量化推理
Qwen3 32B FP8
Apache-2.0
Qwen3-32B-FP8是通义千问系列最新一代32.8B参数大语言模型,支持思维与非思维模式切换,具备卓越的推理、指令遵循和智能体能力。
大型语言模型
Transformers
Q
Qwen
29.26k
47
Qwen3 8B FP8
Apache-2.0
Qwen3-8B-FP8是通义千问系列大语言模型的最新版本,提供FP8量化版本,支持思维模式与非思维模式的无缝切换,具备强大的推理能力和多语言支持。
大型语言模型
Transformers
Q
Qwen
22.18k
27
Qwen2.5 VL 72B Instruct FP8 Dynamic
Apache-2.0
Qwen2.5-VL-72B-Instruct的FP8量化版本,支持视觉-文本输入和文本输出,由Neural Magic优化发布。
图像生成文本
Transformers
英语
Q
parasail-ai
78
1
Hidream I1 Full FP8
MIT
170亿参数开源图像生成基础模型,支持多种风格,生成速度快且质量高
图像生成
英语
H
shuttleai
152
9
Llama 3.1 8B Instruct FP8
Meta Llama 3.1 8B Instruct模型的FP8量化版本,采用优化的transformer架构的自回归语言模型,支持128K上下文长度。
大型语言模型
Transformers
L
nvidia
3,700
21
Meta Llama 3.1 405B Instruct FP8 Dynamic
Meta-Llama-3.1-405B-Instruct的FP8量化版本,适用于多语言的商业和研究用途,特别优化用于助手机器人场景。
大型语言模型
Transformers
支持多种语言
M
RedHatAI
97
15
Meta Llama 3 8B Instruct FP8 KV
Meta-Llama-3-8B-Instruct模型经过FP8权重和激活值的逐张量量化,适用于vLLM >= 0.5.0进行推理。
大型语言模型
Transformers
M
RedHatAI
3,153
8