license: apache-2.0 language:

• 英文
• 中文
• 德文 base_model:
• Qwen/Qwen2.5-14B-Instruct pipeline_tag: 文本生成 library_name: transformers tags:
• 文本生成推理
• 高效内存
• 代码
• 数学 model-index:
• name: Sombrero-Opus-14B-Sm5 results:
  • task: type: 文本生成 name: 文本生成 dataset: name: IFEval (零样本) type: wis-k/instruction-following-eval split: 训练集 args: num_few_shot: 0 metrics:
    • type: 指令级严格准确率和提示级严格准确率 value: 68.52 name: 平均准确率 source: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FSombrero-Opus-14B-Sm5 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: BBH (三样本) type: SaylorTwift/bbh split: 测试集 args: num_few_shot: 3 metrics:
    • type: 归一化准确率 value: 50.6 name: 归一化准确率 source: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FSombrero-Opus-14B-Sm5 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: MATH 五级难度 (四样本) type: lighteval/MATH-Hard split: 测试集 args: num_few_shot: 4 metrics:
    • type: 精确匹配率 value: 40.94 name: 精确匹配率 source: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FSombrero-Opus-14B-Sm5 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: GPQA (零样本) type: Idavidrein/gpqa split: 训练集 args: num_few_shot: 0 metrics:
    • type: 归一化准确率 value: 18.23 name: 归一化准确率 source: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FSombrero-Opus-14B-Sm5 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: MuSR (零样本) type: TAUR-Lab/MuSR args: num_few_shot: 0 metrics:
    • type: 归一化准确率 value: 19.51 name: 归一化准确率 source: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FSombrero-Opus-14B-Sm5 name: 开放大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: MMLU-PRO (五样本) type: TIGER-Lab/MMLU-Pro config: 主配置 split: 测试集 args: num_few_shot: 5 metrics:
    • type: 准确率 value: 48.89 name: 准确率 source: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=prithivMLmods%2FSombrero-Opus-14B-Sm5 name: 开放大模型排行榜

Sombrero-Opus-14B-Sm5

Sombrero-Opus-14B-Sm5基于Qwen 2.5 14B模态架构设计，旨在提升编码效率和计算推理能力。该模型针对高效内存使用进行了优化，避免生成冗余文本标记，在代码编写、解释性推理、数学问题解决和技术任务方面表现卓越。通过专业数据集微调，显著提升了代码生成、结构化编程逻辑和问题解决能力。

核心改进

1. 编码优化：专精于生成高质量结构化代码，最小化冗余标记，确保执行效率
2. 内存高效利用：采用流线型内存优化技术，降低计算开销
3. 高级推理能力：擅长解决复杂数学和算法问题，提供逻辑严密的解释
4. 长上下文支持：支持128K标记输入上下文，单次输出可达8K标记
5. 精简输出：通过减少非必要文本响应，确保编码任务输出的专注性

快速入门指南

使用apply_chat_template加载模型生成内容的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Sombrero-Opus-14B-Sm5"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "编写Python函数生成斐波那契数列。"
messages = [
    {"role": "system", "content": "你是一名高级编程助手。"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

应用场景

1. 代码生成与优化：
   辅助开发者编写、重构和优化多语言代码

2. 算法与数学求解：
   为计算和数学问题提供精确解答

3. 技术文档生成：
   产出清晰的结构化技术说明

4. 调试辅助：
   分析代码片段并建议修正方案

5. 教育应用：
   将复杂编程概念分解为易懂模块

6. 结构化数据处理：
   擅长生成JSON/XML等结构化输出

使用限制

1. 硬件要求：
   需要大显存GPU/TPU支持

2. 潜在偏见：
   输出可能反映训练数据偏差

3. 创意任务波动：
   非技术主题输出可能不稳定

4. 实时性局限：
   不具备训练截止后的实时信息

5. 长文本误差累积：
   长代码输出可能存在误差传播

6. 提示词敏感性：
   输出质量依赖提示词结构

开放大模型排行榜评估结果

详细结果参见此处！ 汇总结果参见此处!