🚀 SILMA Kashif v1.0（阿拉伯语RAG模型）

SILMA Kashif 2B Instruct v1.0是专门为RAG（检索增强生成）任务设计的模型，能够基于上下文以阿拉伯语和英语回答问题，还具备一定的实体提取能力。在30 - 90亿参数范围内，经SILMA RAGQA基准测试评估，它是表现最佳的开源RAG模型。该模型基于谷歌Gemma强大的基础模型构建，采用开放许可，可免费使用，上下文长度为12k。

✨ 主要特性

• 多语言问答：能够以阿拉伯语和英语回答基于上下文的问题。
• 实体提取：具备从文本中提取实体的能力。
• 多领域适应：可以处理来自金融、医疗、法律等不同领域文本的问题。
• 复杂问题处理：能够应对多跳问题、模糊上下文和复杂提示。
• 答案筛选：具备否定拒绝能力，能识别并排除不准确的答案。

📦 安装指南

首先，使用以下命令安装Transformers库：

pip install -U transformers

💻 使用示例

基础用法

使用pipeline API运行模型：

import torch
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="silma-ai/SILMA-Kashif-2B-Instruct-v1.0",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",  # 替换为 "mps" 以在Mac设备上运行
)

messages = [
    {"role": "user", "content":
"""
أجب على السؤال بناءً على السياق أدناه

السياق:
تشمل الاتفاقيات رسوم حمل سنوية ثابت قدها 30 مليون جنيه إسترليني للقنوات نظراً لأن كلاً من مزوديها قادرين على تأمين دفعات إضافية إذا ما حققت هذه القنوات أهدافاً متعلقةً بالأداء.
لا يوجد حالياً ما يشير إلى ما إذا كان الاتفاق الجديد يشمل محتوىً إضافياً كالفيديو عند الطلب والدقة العالية ، كذلك الذي سبق أن قدمته بي سكاي بي.
وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية.

السؤال: ماسم الشركة التي وافقت على إنهاء دعواها القضائية ضد بي سكاي بي بالمحكمة العليا؟
الإجابة:
"""},
]

outputs = pipe(messages, max_new_tokens=600)
assistant_response = outputs[0]["generated_text"][-1]["content"].strip()
print(assistant_response)

• 响应：

فيرجين ميديا

"وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية."

高级用法

对于多GPU、量化或聊天模板等高级用法示例，请参考SILMA v1.0的示例。

使用Ollama运行

ollama run hf.co/silma-ai/SILMA-Kashif-2B-Instruct-v1.0-GGUF

📚 详细文档

提示格式

以下是推荐的提示模型的方式。你可以根据具体需求修改提示，但如果遇到问题，遵循以下训练模型时使用的格式可能会有所帮助。

• 阿拉伯语

أجب على السؤال بناءً على السياق أدناه

السياق:
.....
.....

السؤال: ...
الإجابة: ...

• 英语

Answer the following question using the provided context below

Context: 
.....
.....

Question: ...
Answer: ...

GPU要求

运行推理的最低/推荐GPU要求如下：

• 推荐：至少一个具有至少24GB GPU内存的GPU，例如Nvidia RTX 4090。
• 最低：至少一个具有8GB GPU内存的GPU，例如Nvidia RTX 3070、RTX 3080或T4。

🔧 技术细节

模型评估

SILMA RAG QA基准得分：0.3478

量化效果

相同模型进行4位量化后，得分下降2.6%（降至0.338）。

📄 许可证

许可证为gemma。

引用

@misc{silma-kashif-2b-2024,
  author       = {{SILMA-AI}},
  title        = {SILMA Kashif 2B Instruct v1.0},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/silma-ai/SILMA-Kashif-2B-Instruct-v1.0}}
}

预期用途

• 该模型仅应用于问答用例，如RAG。
• 该模型也可用于从文本中提取实体。

局限性

• 由于参数较少，该模型在处理复杂的数值和金融推理（如解决棘手的计算问题）方面效果不佳。
• 该模型专门针对基于文本的问答进行训练，可能限制其执行此范围之外任务的能力，包括简单任务。

SILMA AI

silma.ai是一家领先的生成式AI初创公司，擅长为阿拉伯语构建和定制前沿的大语言模型（LLM）和AI技术。