Devstral-Small-2505的量化版本，提供多种精度选择以适应不同硬件需求

Sam-reason-S2.1的静态量化版本，提供多种量化选项以适应不同硬件需求

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，适用于文本生成任务。

这是一个基于Qwen3-4B模型转换至MLX格式的6位量化版本，适用于文本生成任务。

Qwen3-8B-4bit-DWQ 是基于 Qwen/Qwen3-8B 转换至 MLX 格式的 4 位量化版本，适用于在 Apple 设备上高效运行。

Qwen3-4B-abliterated的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。

基于Qwen3-1.7B的4位量化版本，适用于MLX框架的轻量级大语言模型

这是Qwen/Qwen3-8B模型的4位量化版本，已转换为MLX框架格式，适用于苹果芯片设备的高效推理。

Qwen3-4B-4bit 是从 Qwen/Qwen3-4B 转换至 MLX 格式的 4 位量化版本，适用于在 Apple 芯片上高效运行。

本仓库包含JungZoona/T3Q-qwen2.5-14b-v1.0-e3的GGUF格式模型文件，由TensorBlock提供的机器进行量化，兼容llama.cpp。

基于Llama架构的3B参数语言模型，提供多种量化版本以适应不同硬件需求

基于Meta-Llama-3.1-8B-Instruct的合并模型，针对法律领域摘要任务进行了微调，能将法律术语转换为简短易懂的摘要。

GLM-4-Z1-9B-0414是GLM家族的新一代开源模型，具备优秀的数学推理与通用能力，适合资源受限场景下的轻量部署。

这是一个基于XLM-RoBERTa的多语言检测模型，支持20种语言的识别。

这是一个文本排序模型，用于对文本进行相关性排序。

TraceBack 12b 是基于 Mistral-Nemo-Instruct 架构的 4bit 量化版本，专注于指令遵循和思维链推理任务。

Chroma-GGUF 是一个基于 lodestones/Chroma 的量化模型集合，提供多种不同精度的量化版本，适用于不同的硬件和性能需求。

基于ozone-ai/0x-lite模型的量化版本，支持中英文文本生成任务，采用llama.cpp进行imatrix量化，提供多种量化选项以适应不同硬件需求。

基于deepseek-ai/Janus-Pro-1B的4位量化版本，适用于Apple芯片的MLX框架

基于Qwen2.5-1.5B-Instruct微调的俄语指令优化模型，15亿参数，支持俄英双语，擅长RAG流程中的文本问答

FLUX.1-schnell 是一个高效的文本生成图像模型，基于扩散模型架构，支持英文文本输入生成高质量图像。

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从BAAI/bge-m3转换为GGUF格式的句子相似度模型。

这是一个基于PyTorch的文本分类模型，适用于多种文本分类任务。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多种量化位数（2-bit 至 8-bit），适用于文本生成任务。

Omost发布的基于Llama3-8B的指令微调模型，采用Dolphin-2.9数据集预训练，并以4位NF4格式量化。

Omost 发布的 llama-3 模型，具有 8k 上下文长度，采用 nf4 量化。

基于unsloth/llama-3-8b-bnb-4bit微调的文本生成模型，使用Unsloth和TRL库训练，速度提升2倍

GIGABATEMAN-7B 是一个基于 Mistral 架构的 7B 参数大型语言模型，专注于文本生成任务。

该模型是基于open_llama_3b使用H2O LLM Studio训练的大语言模型，专注于药物相关领域的文本生成任务。

基于microsoft/phi-1_5模型使用IFprompMKR数据集进行qlora微调的版本，主要用于文本生成任务。

一个基于MIT许可证的文档问答模型，主要用于测试目的。

一个多功能的大语言模型，能够处理各种自然语言处理任务