Sarvamai Sarvam M GGUF

由 bartowski 开发

这是Sarvam-m模型的量化版本，支持多种印度语言和英语的文本生成任务。

大型语言模型

支持多种语言

开源协议:Apache-2.0 #多印度语言支持 #高效量化模型 #文本生成优化

下载量 845

发布时间 : 5/26/2025

模型介绍

内容详情

替代品

模型简介

基于sarvamai/sarvam-m模型的量化版本，使用llama.cpp进行优化，适用于多种印度语言和英语的文本生成任务。

模型特点

多语言支持

支持多种印度语言和英语的文本生成。

高效量化

使用llama.cpp进行imatrix量化，提供多种量化选项以适应不同硬件需求。

高质量推理

推荐使用Q6_K_L或Q5_K_M等高质量量化版本，以获得接近原始模型的性能。

模型能力

多语言文本生成

支持多种量化选项

适用于低内存设备

使用案例

自然语言处理

多语言聊天机器人

使用该模型构建支持多种印度语言的聊天机器人。

文本生成

生成多种语言的文本内容，如文章、故事等。

量化者：bartowski
任务标签：文本生成
支持语言：

英语
孟加拉语
印地语
卡纳达语
古吉拉特语
马拉地语
马拉雅拉姆语
奥里亚语
旁遮普语
泰米尔语
泰卢固语
基础模型：sarvamai/sarvam-m
基础模型关系：量化版本
许可证：Apache-2.0

Sarvam-m的Llamacpp imatrix量化版本（由sarvamai提供）

使用llama.cpp发布的b5490版本进行量化。

原始模型：https://huggingface.co/sarvamai/sarvam-m

所有量化均采用imatrix选项，数据集来自此处。

可在LM Studio中运行，或直接通过llama.cpp及其他基于llama.cpp的项目运行。

提示词格式

<s>[SYSTEM_PROMPT]在回答用户问题前深入思考。将思考过程放在<think>...</think>标签内。  

{系统提示}[/SYSTEM_PROMPT][INST]{用户提示}[/INST]

从下方下载单个文件（非完整分支）：

文件名	量化类型	文件大小	是否分片	描述
sarvam-m-bf16.gguf	bf16	47.15GB	否	完整BF16权重。
sarvam-m-Q8_0.gguf	Q8_0	25.05GB	否	极高品质，通常无需但为最高可用量化。
sarvam-m-Q6_K_L.gguf	Q6_K_L	19.67GB	否	嵌入和输出权重使用Q8_0。接近完美品质，推荐。
sarvam-m-Q6_K.gguf	Q6_K	19.35GB	否	接近完美品质，推荐。
sarvam-m-Q5_K_L.gguf	Q5_K_L	17.18GB	否	嵌入和输出权重使用Q8_0。高品质，推荐。
sarvam-m-Q5_K_M.gguf	Q5_K_M	16.76GB	否	高品质，推荐。
sarvam-m-Q5_K_S.gguf	Q5_K_S	16.30GB	否	高品质，推荐。
sarvam-m-Q4_1.gguf	Q4_1	14.87GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上能效更高。
sarvam-m-Q4_K_L.gguf	Q4_K_L	14.83GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
sarvam-m-Q4_K_M.gguf	Q4_K_M	14.33GB	否	良好品质，多数场景默认选择，推荐。
sarvam-m-Q4_K_S.gguf	Q4_K_S	13.55GB	否	稍低品质但更省空间，推荐。
sarvam-m-Q4_0.gguf	Q4_0	13.49GB	否	传统格式，支持ARM/AVX CPU在线权重重组。
sarvam-m-IQ4_NL.gguf	IQ4_NL	13.47GB	否	类似IQ4_XS但稍大，支持ARM CPU在线重组。
sarvam-m-Q3_K_XL.gguf	Q3_K_XL	12.99GB	否	嵌入和输出权重使用Q8_0。较低品质但可用，适合低内存场景。
sarvam-m-IQ4_XS.gguf	IQ4_XS	12.76GB	否	尚可品质，比Q4_K_S更小且性能相近，推荐。
sarvam-m-Q3_K_L.gguf	Q3_K_L	12.40GB	否	较低品质但可用，适合低内存场景。
sarvam-m-Q3_K_M.gguf	Q3_K_M	11.47GB	否	低品质。
sarvam-m-IQ3_M.gguf	IQ3_M	10.65GB	否	中低品质，新方法性能接近Q3_K_M。
sarvam-m-Q3_K_S.gguf	Q3_K_S	10.40GB	否	低品质，不推荐。
sarvam-m-IQ3_XS.gguf	IQ3_XS	9.91GB	否	较低品质，新方法性能略优于Q3_K_S。
sarvam-m-Q2_K_L.gguf	Q2_K_L	9.55GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
sarvam-m-IQ3_XXS.gguf	IQ3_XXS	9.28GB	否	较低品质，新方法性能接近Q3量化。
sarvam-m-Q2_K.gguf	Q2_K	8.89GB	否	极低品质但意外可用。
sarvam-m-IQ2_M.gguf	IQ2_M	8.11GB	否	相对低品质，采用前沿技术实现可用性。
sarvam-m-IQ2_S.gguf	IQ2_S	7.48GB	否	低品质，前沿技术实现可用性。
sarvam-m-IQ2_XS.gguf	IQ2_XS	7.21GB	否	低品质，前沿技术实现可用性。

嵌入/输出权重说明

部分量化版本（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但将嵌入层和输出权重量化为Q8_0而非默认值。

使用huggingface-cli下载

点击查看下载说明

首先确保安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后指定目标文件下载：

huggingface-cli download bartowski/sarvamai_sarvam-m-GGUF --include "sarvamai_sarvam-m-Q4_K_M.gguf" --local-dir ./

若模型超过50GB会分片存储，下载全部文件到本地目录：

huggingface-cli download bartowski/sarvamai_sarvam-m-GGUF --include "sarvamai_sarvam-m-Q8_0/*" --local-dir ./

ARM/AVX硬件信息

此前需下载Q4_0_4_4/4_8/8_8等分片版本以优化ARM/AVX设备性能。现通过PR#9921实现"在线重组"功能，使用Q4_0时硬件会自动优化。自llama.cpp b4282版本起不再支持旧分片格式。

若需更优质量，可通过PR#10541使用IQ4_NL（目前仅支持4_4重组），加载稍慢但整体加速。

文件选择指南

点击查看详细建议

参考Artefact2的性能对比图表。

确定运行环境：
- 追求极速：选择比GPU显存小1-2GB的量化文件
- 追求质量：选择比（系统内存+GPU显存）总和小1-2GB的量化文件
量化类型选择：
- 简易选择：K-quant（如Q5_K_M）
- 进阶参考：llama.cpp特性矩阵
- 低于Q4且使用CUDA/ROCm时：优先I-quant（如IQ3_M），CPU场景K-quant更快