Bielik 4.5B V3.0 Instruct FP8 Dynamic
Apache-2.0
该模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本,通过AutoFP8技术将权重和激活量化为FP8数据类型,减少约50%的磁盘空间和GPU内存需求。
大型语言模型
其他
B
speakleash
74
1
Bielik 1.5B V3.0 Instruct FP8 Dynamic
Apache-2.0
这是一个基于Bielik-1.5B-v3.0-Instruct模型的FP8动态量化版本,适配vLLM或SGLang推理框架,通过AutoFP8量化技术将参数字节数从16位降至8位,显著降低磁盘空间和GPU显存需求。
大型语言模型
其他
B
speakleash
31
1
Qwen3 30B A3B FP8 Dynamic
Apache-2.0
Qwen3-30B-A3B-FP8-dynamic是基于Qwen3-30B-A3B模型通过FP8量化优化的版本,显著降低了内存需求和计算成本,同时保持了原始模型的高准确率。
大型语言模型
Transformers

Q
RedHatAI
187
2
Qwen3 8B FP8 Dynamic
Apache-2.0
Qwen3-8B-FP8-dynamic是基于Qwen3-8B模型通过FP8量化优化的版本,显著降低了GPU内存需求和磁盘空间占用,同时保持了原始模型的性能。
大型语言模型
Transformers

Q
RedHatAI
81
1
Qwen3 32B FP8 Dynamic
Apache-2.0
基于Qwen3-32B进行FP8动态量化的高效语言模型,显著降低内存需求并提升计算效率
大型语言模型
Transformers

Q
RedHatAI
917
8
Qwen3 30B A3B FP8
Apache-2.0
Qwen3是通义千问系列最新一代大语言模型,提供稠密模型和混合专家(MoE)模型的完整套件。
大型语言模型
Transformers

Q
Qwen
107.85k
57
Qwen3 0.6B FP8
Apache-2.0
Qwen3-0.6B-FP8是通义千问系列大语言模型的最新版本,提供0.6B参数的FP8量化版本,支持思维模式自由切换和多种语言任务。
大型语言模型
Transformers

Q
Qwen
5,576
43
FLUX.1 Dev ControlNet Union Pro 2.0 Fp8
其他
这是Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0模型的FP8量化版本,通过PyTorch原生FP8支持从原始BFloat16格式量化而来,优化了推理性能。
图像生成
英语
F
ABDALLALSWAITI
2,023
15
Mistral Small 3.1 24B Instruct 2503 FP8 Dynamic
Apache-2.0
这是一个基于Mistral3架构的24B参数条件生成模型,经过FP8动态量化优化,适用于多语言文本生成和视觉理解任务。
文本到文本
Safetensors
支持多种语言
M
RedHatAI
2,650
5
QWQ 32B FP8
Apache-2.0
QwQ-32B-FP8 是 QwQ-32B 模型的 FP8 量化版本,保持了与 BF16 版本几乎相同的准确率,同时支持更快的推理速度。
大型语言模型
Transformers

Q
qingcheng-ai
144
6
Qwq 32B FP8 Dynamic
MIT
QwQ-32B的FP8量化版本,通过动态量化技术减少50%存储和内存需求,同时保持99.75%的原模型精度
大型语言模型
Transformers

Q
nm-testing
3,895
3
Qwq 32B FP8 Dynamic
MIT
QwQ-32B的FP8量化版本,通过动态量化技术减少50%存储和内存需求,同时保持99.75%的原始模型精度
大型语言模型
Transformers

Q
RedHatAI
3,107
8
Qwen2.5 VL 3B Instruct FP8 Dynamic
Apache-2.0
Qwen2.5-VL-3B-Instruct的FP8量化版本,支持视觉-文本输入和文本输出,优化了推理效率。
文本生成图像
Transformers

英语
Q
RedHatAI
112
1
Flex.1 Alpha Fp8
Apache-2.0
Flex.1-alpha-Fp8 是基于 Flex.1-alpha 模型的 safetensors 格式的 float8_e4m3fn 权重版本,适用于文本生成图像任务。
文本生成图像
英语
F
gmonsoon
225
5
SD3.5 Large Fp8
其他
Stable Diffusion 3.5 Large 的 FP8 量化版本,用于文本到图像的生成任务。
图像生成
S
dyedd
88
2
Bamba 9B V1
Apache-2.0
Bamba-9B 是基于 Mamba-2 架构的解码器专用语言模型,经过两阶段训练,擅长处理广泛的文本生成任务。
大型语言模型
B
ibm-ai-platform
16.19k
35
Llama 3.2 1B Instruct FP8
Llama-3.2-1B-Instruct的FP8量化版本,适用于多语言场景的商业和研究用途,性能接近原始模型。
大型语言模型
Safetensors
支持多种语言
L
RedHatAI
1,718
3
Llama 3.2 3B Instruct FP8 Dynamic
Llama-3.2-3B-Instruct的FP8量化版本,适用于多语言的商业和研究用途,特别适合类似助手的聊天场景。
大型语言模型
Safetensors
支持多种语言
L
RedHatAI
986
3
Meta Llama 3.1 70B FP8
Meta-Llama-3.1-70B的FP8量化版本,适用于多语言的商业和研究用途,权重和激活均量化为FP8格式,减少约50%的存储和内存需求。
大型语言模型
Transformers

支持多种语言
M
RedHatAI
191
2
Meta Llama 3.1 8B FP8
Meta-Llama-3.1-8B的FP8量化版本,适用于多种语言的商业和研究用途。
大型语言模型
Transformers

支持多种语言
M
RedHatAI
4,154
7
Meta Llama 3.1 70B Instruct FP8
Meta-Llama-3.1-70B-Instruct的FP8量化版本,适用于多语言的商业和研究用途,特别适合类似助手的聊天场景。
大型语言模型
Transformers

支持多种语言
M
RedHatAI
71.73k
45
Meta Llama 3.1 8B Instruct FP8
Meta-Llama-3.1-8B-Instruct的FP8量化版本,适用于多语言的商业和研究用途,特别优化用于类似助手的聊天场景。
大型语言模型
Transformers

支持多种语言
M
RedHatAI
361.53k
42
Deepseek Coder V2 Lite Instruct FP8
其他
DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本,适用于英语的商业和研究用途,优化了推理效率。
大型语言模型
Transformers

D
RedHatAI
11.29k
7
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers

支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers

英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
AIbase是一个专注于MCP服务的平台,为AI开发者提供高质量的模型上下文协议服务,助力AI应用开发。
简体中文