Qwen3-30B-A3B的INT4量化版本，通过权重量化减少75%的磁盘和GPU内存需求，保持高性能。

Qwen3-32B的INT4量化版本，通过权重量化减少75%的磁盘和GPU内存需求，保持高性能

DeepSeek-R1的INT4权重量化版本，通过减少权重位数降低GPU内存和磁盘空间需求约50%，保持原始模型性能。

这是一个经过INT4量化的Mistral-Small-3.1-24B-Instruct-2503模型，由Red Hat (Neural Magic)优化发布，适用于快速响应的对话代理和低延迟推理场景。

该模型是对google/gemma-3-12b-it进行INT4量化的版本，通过GPTQ算法将参数从16比特降至4比特，显著减少了磁盘空间和GPU内存需求。

基于gemma-3-4b-it模型进行INT4量化的版本，显著减少存储和计算资源需求

本模型是对Mistral-Small-3.1-24B-Instruct-2503进行INT4量化的版本，通过GPTQ算法将权重从16位降至4位，显著减少磁盘大小和GPU内存需求。

该模型是对gemma-3-27b-it进行INT4量化的版本，通过减少每个参数的比特数来降低磁盘和GPU内存需求。

这是openai/whisper-large-v3的量化版本，采用INT4权重量化和FP16激活量化，适用于vLLM推理。

FLUX.1-Depth-dev的INT4量化版本，能够根据文本描述生成图像，同时遵循输入图像的结构。

FLUX.1-dev 是一个文本生成图像的模型，已使用 Optimum Quanto 量化为 INT4 格式，适用于非商业用途。

Llama 3.1 70B Instruct的INT4量化版本，基于AutoAWQ技术优化，适用于多语言对话场景。

Llama 3.1 8B Instruct的INT4量化版本，基于AutoAWQ工具进行量化，适用于多语言对话场景。

Whisper是一种预训练模型，用于自动语音识别（ASR）和语音翻译。