该模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本，通过AutoFP8技术将权重和激活量化为FP8数据类型，减少约50%的磁盘空间和GPU内存需求。

QWQ-32B的INT8量化版本，通过减少权重和激活的表示位数来优化性能

QwQ-32B的FP8量化版本，通过动态量化技术减少50%存储和内存需求，同时保持99.75%的原始模型精度

这是openai/whisper-large-v3的量化版本，采用INT4权重量化和FP16激活量化，适用于vLLM推理。

Qwen/Qwen2.5-VL-3B-Instruct的量化版本，支持视觉-文本输入和文本输出，权重量化为INT8，激活量化为INT8。

Meta-Llama-3.1-70B的FP8量化版本，适用于多语言的商业和研究用途，权重和激活均量化为FP8格式，减少约50%的存储和内存需求。

Meta-Llama-3.1-8B的FP8量化版本，适用于多种语言的商业和研究用途。

Meta-Llama-3.1-70B-Instruct的FP8量化版本，适用于多语言的商业和研究用途，特别适合类似助手的聊天场景。

DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本，适用于英语的商业和研究用途，优化了推理效率。

Dolphin 2.9 Llama3 70B 的 AWQ 量化版本，适用于 vllm 和其他推理引擎。