语言:

• 孟加拉语
• 英语
• 古吉拉特语
• 印地语
• 卡纳达语
• 马拉雅拉姆语
• 马拉地语
• 奥里亚语
• 旁遮普语
• 泰米尔语
• 泰卢固语 库名称: transformers

Sarvam-1 模型

Sarvam-1 是一款拥有20亿参数的语言模型，专为印度语言优化设计。与Gemma-2-2B和Llama-3.2-3B等流行模型相比，该模型在10种印度语言（bn、gu、hi、kn、ml、mr、or、pa、ta、te）中展现出顶尖性能，甚至能与Llama-3.1-8B等更大规模的模型在这些语言上抗衡。更多详情请参阅我们的发布博客。

该模型使用NVIDIA NeMo™框架，在Yotta Shakti云平台上通过HGX H100系统训练完成。

注：此为文本补全模型，需针对下游任务进行微调，不可直接用作聊天或指令跟随模型。

核心特性

• 10种印度语言优化：从底层构建，支持主要印度语言及英语
• 卓越的标记效率：所有支持语言的生育率达1.4-2.1，比现有多语言模型高效2-4倍
• 高质量训练数据：基于约4万亿标记的精选语料库训练，其中包含2万亿高质量印度语言标记
• 高效推理：在印度语言任务上性能相当或更优的同时，推理速度比大型模型快4-6倍

模型架构

• 隐藏层大小：2048
• 中间层大小：11,008
• 注意力头数量：16
• 隐藏层数量：28
• 键值头数量：8
• 最大位置嵌入：8,192
• 激活函数：SwiGLU
• 位置嵌入：旋转式（RoPE），theta=10,000
• 训练技术：分组查询注意力与bfloat16混合精度

性能表现

学术基准测试（零样本）

• MMLU：44.44
• ARC挑战赛：58.50
• 知识问答：90.62
• 布尔问答：80.68

印度语言生成基准（单样本）

• 弗洛雷斯英印翻译：39.83 chrF++
• 跨语言摘要：20.48 chrF++
• 跨语言问答：25.27 F1
• 跨语言阅读理解：41.58 F1

使用示例

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型与分词器
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-1")
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-1")

# 使用示例
text = "卡纳塔克邦的首府是："
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=5)
result = tokenizer.decode(outputs[0])

训练详情

• 训练设施：Yotta的Shakti集群
• 硬件配置：1,024块GPU
• 训练时长：5天
• 训练框架：NVIDIA NeMo

许可协议

Sarvam非商业许可：详见许可文件

致谢

• NVIDIA：对NeMo代码库的支持
• Yotta：提供Shakti GPU集群资源
• AI4Bharat：在印度语言技术领域的学术合作与专业支持