基于NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1模型的量化版本，使用llama.cpp工具进行多种量化处理，适合在资源受限的环境中运行。

该模型经过自行量化处理，输出和嵌入张量量化为f16格式，其余张量量化为q5_k或q6_k格式，体积更小且性能与纯f16相当。

基于andrewzh的Absolute_Zero_Reasoner-Coder-7b模型的Llamacpp量化版本，支持多种量化级别，适用于推理和代码生成任务。

Qwen3-14B-AWQ是通义千问系列最新一代大语言模型的4-bit AWQ量化版本，支持思维模式与非思维模式无缝切换，具备强大的推理、指令遵循和智能体能力。

Qwen3-4B-abliterated的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。

基于Qwen/Qwen3-1.7B的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。

基于 dreamgen/lucid-v1-nemo 的量化模型，使用 llama.cpp 进行多种量化处理，适用于文本生成任务。

这是一个基于韩语优化的3B参数规模的语言模型，转换为GGUF格式以便与llama.cpp兼容使用。

EXAONE Deep系列模型在数学和编程等推理任务中表现出色，本模型为24亿参数的AWQ量化版本

Gemmasutra-Small-4B-v1是一个4B参数的文本生成模型，基于llama.cpp进行量化，适用于多种量化版本选择。

InternVL2_5-4B-AWQ 是使用 autoawq 对 InternVL2_5-4B 进行 AWQ 量化的版本，支持多语言和多模态任务。

基于ozone-ai/0x-lite模型的量化版本，支持中英文文本生成任务，采用llama.cpp进行imatrix量化，提供多种量化选项以适应不同硬件需求。

这是一个基于TheDrummer/Gemmasutra-9B-v1.1模型的量化版本，使用llama.cpp进行量化处理，适用于文本生成任务。

该模型是从bigscience/mt0-xxl-mt通过llama.cpp转换为GGUF格式的多语言文本生成模型，支持多种语言任务。

基于Llama3架构优化的8B参数摘要生成模型，提供多种量化版本

FLUX.1-schnell 是一个高效的文本生成图像模型，基于扩散模型架构，支持英文文本输入生成高质量图像。

FLUX.1-schnell的量化版本，基于文本生成图像的扩散模型，支持多种量化精度选择

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从BAAI/bge-m3转换为GGUF格式的句子相似度模型。

DeepSeek-V2-Chat 的 GGUF 量化版本，适用于本地部署和运行。

Chronos是基于语言模型架构的预训练时间序列预测模型家族，通过量化和缩放将时间序列转化为标记序列进行训练。

Chronos是基于语言模型架构的预训练时间序列预测模型家族，通过将时间序列转化为标记序列进行训练，实现概率预测。

LLaVA 1.6 34B是一个开源的多模态聊天机器人模型，通过在多模态指令遵循数据上微调大语言模型开发而成。