语言:

• 英文 许可证: apache-2.0 模型索引:
• 名称: supermario-v2 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛（25样本） 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 68.52 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-v2 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag（10样本） 类型: hellaswag 分割: 验证集 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 86.51 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-v2 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU（5样本） 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 64.88 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-v2 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA（0样本） 类型: truthful_qa 配置: 多选 分割: 验证集 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 60.58 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-v2 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande（5样本） 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 81.37 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-v2 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k（5样本） 类型: gsm8k 配置: 主要 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 72.18 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-v2 名称: 开放大语言模型排行榜

Jan - Discord

模型描述

该模型使用了来自3个模型的DARE_TIES合并方法：

1. OpenHermes-2.5-neural-chat-v3-3-Slerp
2. MetaMath-Cybertron-Starling
3. Marcoroni-7B-v3

• 基础模型: Mistral-7B-v0.1

该模型的yaml配置文件如下：

基础模型: mistralai/Mistral-7B-v0.1
数据类型: bfloat16
合并方法: dare_ties
模型列表:
- 模型: mistralai/Mistral-7B-v0.1
- 模型: Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp
  参数:
    密度: 0.8
    权重: 0.4
- 模型: Q-bert/MetaMath-Cybertron-Starling
  参数:
    密度: 0.8
    权重: 0.3
- 模型: AIDC-ai-business/Marcoroni-7B-v3
  参数:
    密度: 0.8
    权重: 0.3
参数:
  int8掩码: 是

提示模板:

• ChatML

<|im_start|>系统
{系统消息}<|im_end|>
<|im_start|>用户
{提示}<|im_end|>
<|im_start|>助手

• 系统

### 系统:
{系统}
### 用户:
{用户}
### 助手:

运行此模型

您可以使用Jan桌面版在Mac、Windows或Linux上运行此模型。

Jan是一个开源的ChatGPT替代方案，具有以下特点：

• 💻 100%离线运行：您的对话内容保持机密，仅对您可见。
• 🗂️ 开放文件格式：对话和模型设置保存在您的计算机上，可随时导出或删除。
• 🌐 兼容OpenAI：本地服务器运行在端口1337，提供与OpenAI兼容的端点。
• 🌍 开源且免费：我们公开开发；查看我们的GitHub

关于Jan

Jan相信开源AI生态系统的必要性，并正在构建基础设施和工具，使开源AI能够在公平的竞争环境中与专有AI竞争。

Jan的长期愿景是为未来的机器人构建一个认知框架，这些机器人将成为人类和企业在日常生活中的实用助手。

Jan模型合并器

这是一个用于合并模型的测试项目。

开放大语言模型排行榜评估结果

详细结果可在此处查看此处。

致谢

• mergekit
• DARE
• lm-evaluation-harness

开放大语言模型排行榜评估结果

详细结果可在此处查看此处