AIbase

CPU高效推理
Josiefied Qwen3 8B Abliterated V1 GGUF
基于Qwen3-8B的量化版本，采用IQ-DynamicGate超低位量化技术，优化内存效率和推理速度
大型语言模型
J
Mungert
559
1
GLM Z1 9B 0414 GGUF
MIT
GLM-Z1-9B-0414 是一个支持中英双语的文本生成模型，采用 GGUF 格式，适用于多种量化级别，从 BF16 到超低位量化（1-2 比特）。
大型语言模型
支持多种语言
G
Mungert
1,598
3
Olympiccoder 7B GGUF
Apache-2.0
OlympicCoder-7B是基于Qwen2.5-Coder-7B-Instruct优化的代码生成模型，采用IQ-DynamicGate超低比特量化技术，专为内存受限环境设计。
大型语言模型
英语
O
Mungert
849
3
Deepcoder 14B Preview GGUF
MIT
采用IQ-DynamicGate技术的超低位量化(1-2比特)模型，适用于内存受限设备和边缘计算场景
大型语言模型
英语
D
Mungert
1,764
6
Orpheus 3b 0.1 Ft GGUF
Apache-2.0
基于Llama-3-8B架构优化的超低比特量化模型，采用IQ-DynamicGate技术实现1-2比特精度自适应量化，适用于内存受限环境。
大型语言模型
英语
O
Mungert
1,427
1
Llama 3.1 Nemotron Nano 8B V1 GGUF
其他
基于Llama-3架构的8B参数模型，采用IQ-DynamicGate超低比特量化技术优化内存使用
大型语言模型
英语
L
Mungert
2,088
4
Mistral Small 3.1 24B Instruct 2503 GGUF
Apache-2.0
这是一个基于 Mistral-Small-3.1-24B-Base-2503 的指令微调模型，采用 GGUF 格式和 IQ-DynamicGate 超低比特量化技术。
大型语言模型
支持多种语言
M
Mungert
10.01k
7
Llama 3.1 8B Instruct GGUF
Llama-3.1-8B-Instruct 是基于 Llama-3-8B 的指令调优版本，采用 IQ-DynamicGate 技术进行超低位量化（1-2 比特），在保持内存效率的同时提升准确性。
大型语言模型
支持多种语言
L
Mungert
1,073
3
Mistral 7B Instruct V0.2 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.2是基于Mistral-7B架构的指令微调模型，支持文本生成任务，采用IQ-DynamicGate超低比特量化技术优化内存效率。
大型语言模型
M
Mungert
742
2
Nano Image Captioning
Apache-2.0
这是一个基于bert-tiny和vit-tiny的轻量级图像字幕生成模型，仅重40MB，在CPU上运行速度极快。
图像生成文本
Transformers
英语
N
cnmoro
184
3
Tiny Image Captioning
Apache-2.0
一个基于bert-tiny和vit-small的轻量级图像描述生成模型，仅重100MB，在CPU上运行速度极快。
图像生成文本
Transformers
英语
T
cnmoro
4,298
2
Mini Image Captioning
Apache-2.0
一个基于bert-mini和vit-small的轻量级图像字幕生成模型，仅重130MB，在CPU上运行速度极快。
图像生成文本
Transformers
英语
M
cnmoro
292
3
Llm Data Textbook Quality Fasttext Classifier V1
MIT
基于fasttext构建的文本分类模型，用于判断文本是否达到教科书级数据质量，可作为大语言模型训练时的数据筛选工具。
文本分类
英语
L
kenhktsui
35
4
Relullama 7B
基于Llama 2 7B微调的ReLU激活稀疏大语言模型，通过动态参数选择提升计算效率
大型语言模型
Transformers
英语
R
SparseLLM
5,323
11