边缘计算优化
Devstral Small 2505 GGUF
Apache-2.0
Devstral-Small-2505的量化版本,提供多种精度选择以适应不同硬件需求
大型语言模型
支持多种语言
D
Antigma
170
1
Japanese Reranker Tiny V2
MIT
这是一个非常小巧且快速的日语重排序模型,适用于提升RAG系统的精度,在CPU或边缘设备上也能高效运行。
文本嵌入
日语
J
hotchpotch
339
3
GLM Z1 9B 0414 GGUF
MIT
GLM-Z1-9B-0414 是一个支持中英双语的文本生成模型,采用 GGUF 格式,适用于多种量化级别,从 BF16 到超低位量化(1-2 比特)。
大型语言模型
支持多种语言
G
Mungert
1,598
3
Granite 3.3 8b Instruct GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)语言模型,适用于内存受限环境
大型语言模型
G
Mungert
759
2
Falcon E 3B Instruct
其他
Falcon-E-3B-Instruct 是一个基于1.58比特架构的高效语言模型,专为边缘设备优化,具有出色的推理能力和低内存占用。
大型语言模型
Transformers
F
tiiuae
225
22
Falcon E 1B Instruct
其他
Falcon-E-1B-Instruct 是一个基于1.58比特架构的高效语言模型,专为边缘设备优化,具有低内存占用和高性能的特点。
大型语言模型
Transformers
F
tiiuae
87
7
Falcon E 1B Base
其他
Falcon-E-1B-Base 是由 TII 开发的一个高效 1.58 位语言模型,采用纯 Transformer 架构,专为边缘设备优化设计。
大型语言模型
Transformers
F
tiiuae
53
4
Meta Llama 3 8B Instruct GGUF
基于Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型,采用精度自适应量化技术,在保持极致内存效率的同时提升推理精度。
大型语言模型
英语
M
Mungert
1,343
3
Glm Edge V 5b Gguf
其他
Glm-Edge-V-5B-GGUF是一个支持中英文的多语言图文生成文本模型,基于GLM架构开发。
大型语言模型
支持多种语言
G
THUDM
486
7
FLUX.1 Canny Dev GGUF
其他
FLUX.1-Canny-dev 是一个基于文本生成图像的模型,专注于图像生成任务。
文本生成图像
英语
F
second-state
676
12
Glm Edge V 2b
其他
GLM-Edge-V-2B是一个基于Pytorch框架的图像文本到文本模型,支持中文处理。
图像生成文本
G
THUDM
23.43k
11
Tinyfrank 1.4B
Apache-2.0
基于TinyLlama-1.1B-Chat-v1.0的混合模型,提供轻量级LLM解决方案
大型语言模型
T
SkunkworksAI
120
29
MIT Ast Finetuned Speech Commands V2 Ov
这是一个基于MIT/ast-finetuned-speech-commands-v2转换的OpenVINO优化版本,用于加速语音指令识别任务的推理运算。
音频分类
Transformers
英语
M
helenai
514
0