标签:

• 文本生成
• 变换器模型 许可证: Apache-2.0 库名称: transformers 流水线标签: text-generation

Saanvi-C0-12B 🤖⚡

新一代120亿参数大语言模型，专为速度、效率和上下文准确性优化。
采用RAG增强技术 • 4位量化 • Flash Attention 2 • bfloat16精度 • 128k上下文窗口

🚀 为何选择升级至Saanvi-C0-12B？

相比小型模型，Saanvi-C0-12B在推理能力上实现巨大飞跃，在保持高效的同时显著提升逻辑推理、语言流畅度、任务完成和数学能力！

🖥️ 中端显卡优化

• 兼容8GB+显存的显卡（RTX 3050、RTX 2060等）。
• 比30亿参数模型更强大，具有更好的上下文记忆和指令跟随能力。
• 4位量化技术在保证质量的前提下最小化显存占用。

⚡ 快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "riple-saanvi-lab/Saanvi-C0-12B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="bfloat16", device_map="auto")

while True:
    user_input = input("\n👤 您: ").strip()
    if user_input.lower() == "exit":
        break
    inputs = tokenizer(user_input, return_tensors="pt").to(model.device)
    output = model.generate(**inputs, max_length=2048, do_sample=True)
    print("🤖 人工智能:", tokenizer.decode(output[0], skip_special_tokens=True))

📦 安装指南

pip install torch transformers

📊 性能基准

A100-40GB显卡表现

🚀 中端显卡表现（RTX 3050/RTX 2060/RTX 3060 12GB）

• 显存占用: 约8.2GB（单批次）
• 速度: 约10-15词元/秒
• 最佳实践: 采用小批量处理以获得最佳性能。

📜 许可协议

基于Apache 2.0许可证授权。详见许可文件。

💡 专业建议: 在高性能显卡上使用torch.compile()和CUDA图技术可获得极致效率！