4bit量化推理
GLM 4 32B 0414 4bit DWQ
MIT
这是THUDM/GLM-4-32B-0414模型的MLX格式版本,经过4位DWQ量化处理,适用于苹果芯片设备的高效推理。
大型语言模型
支持多种语言
G
mlx-community
156
4
SWE Agent LM 32B 4bit
Apache-2.0
这是一个基于SWE-bench/SWE-agent-LM-32B模型转换而来的4位量化版本,专为软件工程任务优化的语言模型。
大型语言模型
Transformers
英语
S
mlx-community
31
1
Josiefied Qwen3 4B Abliterated V1 4bit
这是一个基于Qwen3-4B模型转换到MLX格式的4位量化版本,适用于文本生成任务。
大型语言模型
J
mlx-community
175
1
GLM 4 32B 0414 4bit
MIT
GLM-4-32B-0414-4bit 是基于 THUDM/GLM-4-32B-0414 转换而来的 MLX 格式模型,支持中英文文本生成任务。
大型语言模型
支持多种语言
G
mlx-community
361
3
Philosophy Model
Apache-2.0
这是一个使用Unsloth和Huggingface TRL库优化的Mistral-7B指令微调模型,训练速度提升2倍
大型语言模型
Transformers
英语
P
raak-16
54
2
Gemma 3 4b It Qat 4bit
其他
Gemma 3 4B IT QAT 4bit 是一个经过量化感知训练(QAT)的4位量化大语言模型,基于Gemma 3架构,专为MLX框架优化。
图像生成文本
Transformers
其他
G
mlx-community
607
1
Deepseek R1 Chinese Law
Apache-2.0
基于Unsloth和Huggingface TRL库训练的Llama模型,推理速度提升2倍
大型语言模型
Transformers
英语
D
corn6
74
2
Llama 3.2 Vision Instruct Bpmncoder
Apache-2.0
基于Unsloth优化的Llama 3.2 11B视觉指令微调模型,采用4位量化技术,训练速度提升2倍
文本生成图像
Transformers
英语
L
utkarshkingh
40
1
Qwen2 Vl Instuct Bpmncoder
Apache-2.0
基于Qwen2-VL-7B模型的4位量化版本,使用Unsloth和Huggingface TRL库进行训练,推理速度提升2倍
文本生成图像
Transformers
英语
Q
utkarshkingh
18
1
Nano R1 Model
Apache-2.0
基于Unsloth和Huggingface TRL库优化的Qwen2模型,推理速度提升2倍
大型语言模型
Transformers
英语
N
Mansi-30
25
2
Llama 3.2 11B Vision Invoices Mini
Apache-2.0
基于unsloth/llama-3.2-11b-vision-instruct-unsloth-bnb-4bit微调的多模态大语言模型,支持视觉指令理解任务,使用Unsloth优化训练速度提升2倍。
文本生成图像
Transformers
英语
L
atulSethi
46
1
Qwen 2 VL 7B OCR
Apache-2.0
基于Qwen2-VL-7B模型的微调版本,使用Unsloth和Huggingface的TRL库进行训练,速度提升2倍。
文本生成图像
Transformers
英语
Q
Swapnik
103
1
Llama Bodo Translation Model
Apache-2.0
基于Meta-Llama-3.1-8B的4位量化版本微调的博多语-英语双向翻译模型,使用Unsloth优化训练速度
大型语言模型
Transformers
支持多种语言
L
Luson045
27
1
Qvikhr 2.5 1.5B Instruct SMPO MLX 4bit
Apache-2.0
这是一个基于QVikhr-2.5-1.5B-Instruct-SMPO模型的4位量化版本,专为MLX框架优化,支持俄语和英语的指令理解与生成任务。
大型语言模型
Transformers
支持多种语言
Q
Vikhrmodels
249
2
Mlx Stable Diffusion 3.5 Large 4bit Quantized
其他
这是基于Stable Diffusion 3.5 Large模型在DiffusionKit MLX框架上量化的版本,适用于图像生成任务。
文本生成图像
英语
M
argmaxinc
2,101
4
Awportrait FL NF4
其他
AWPortrait-FL的BNB-NF4量化版本,基于FLUX.1-dev开发的文本到图像生成模型
图像生成
英语
A
skunkworx
34
1
Text2cypher Gemma 2 9b It Finetuned 2024v1
Apache-2.0
该模型是基于google/gemma-2-9b-it微调的Text2Cypher模型,能够将自然语言问题转换为Neo4j图数据库的Cypher查询语句。
知识图谱
英语
T
neo4j
2,093
22
Midnight Miqu 70B V1.5 4bit
Midnight-Miqu-70B-v1.5 是一个70B参数规模的大语言模型,支持文本生成等任务。
大型语言模型
Transformers
M
cecibas
361.62k
3
Google Gemma 2b AWQ 4bit Smashed
基于google/gemma-2b模型通过AWQ技术压缩的4位量化版本,旨在提升推理效率并降低资源消耗。
大型语言模型
Transformers
G
PrunaAI
33
1
C4ai Command R V01 4bit
该模型是从 CohereForAI/c4ai-command-r-v01 转换为 MLX 格式的 4bit 量化版本,支持多语言对话和工具使用。
大型语言模型
Transformers
支持多种语言
C
mlx-community
381
23
Gpt4 X Alpaca 13b Native 4bit 128g
基于GPT4和Alpaca指令微调的13B参数语言模型,支持4bit量化推理
大型语言模型
Transformers
G
anon8231489123
344
736