语言:

• 英文 许可证: apache-2.0 模型索引:
• 名称: supermario-slerp-v2 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛(25-Shot) 类型: ai2_arc 配置: ARC-Challenge 分割: test 参数: num_few_shot: 25 指标:
    • 类型: acc_norm 值: 69.37 名称: 标准化准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-slerp-v2 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag(10-Shot) 类型: hellaswag 分割: validation 参数: num_few_shot: 10 指标:
    • 类型: acc_norm 值: 86.6 名称: 标准化准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-slerp-v2 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU(5-Shot) 类型: cais/mmlu 配置: all 分割: test 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 64.91 名称: 准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-slerp-v2 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA(0-shot) 类型: truthful_qa 配置: multiple_choice 分割: validation 参数: num_few_shot: 0 指标:
    • 类型: mc2 值: 62.96 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-slerp-v2 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande(5-shot) 类型: winogrande 配置: winogrande_xl 分割: validation 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 80.82 名称: 准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-slerp-v2 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k(5-shot) 类型: gsm8k 配置: main 分割: test 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 63.46 名称: 准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=janhq/supermario-slerp-v2 名称: Open LLM排行榜

Jan - Discord

模型描述

该模型使用了来自两个模型的Slerp合并方法：

1. v1olet_marcoroni-go-bruins-merge-7B
2. juanako-7b-UNA

• 基础模型: v1olet_marcoroni-go-bruins-merge-7B

该模型的yaml配置文件如下：

切片:
  - 来源:
      - 模型: v1olet/v1olet_marcoroni-go-bruins-merge-7B
        层范围: [0, 32]
      - 模型: fblgit/juanako-7b-UNA
        层范围: [0, 32]
合并方法: slerp
基础模型: v1olet/v1olet_marcoroni-go-bruins-merge-7B
参数:
  t:
    - 过滤器: self_attn
      值: [0, 0.5, 0.3, 0.7, 1]
    - 过滤器: mlp
      值: [1, 0.5, 0.7, 0.3, 0]
    - 值: 0.5
数据类型: bfloat16

运行该模型

您可以在Mac、Windows或Linux上使用Jan桌面版运行该模型。

Jan是一个开源的ChatGPT替代品，具有以下特点：

• 💻 100%离线运行：您的对话保持机密，仅对您可见。
• 🗂️ 开放文件格式：对话和模型设置保存在您的计算机上，可以随时导出或删除。
• 🌐 兼容OpenAI：本地服务器运行在端口1337上，提供与OpenAI兼容的端点。
• 🌍 开源且免费：我们在公开场合开发；查看我们的Github

关于Jan

Jan相信开源AI生态系统的必要性，并正在构建基础设施和工具，使开源AI能够在公平的竞争环境中与专有AI竞争。

Jan的长期愿景是为未来的机器人构建一个认知框架，这些机器人将成为人类和企业在日常生活中的实用助手。

Jan模型合并器

这是一个用于合并模型的测试项目。

Open LLM排行榜评估结果

详细结果可在此处找到。

致谢

• mergekit
• DARE
• SLERP
• lm-evaluation-harness

Open LLM排行榜评估结果

详细结果可在此处找到此处