语言:

• 英文 许可证: apache-2.0 模型索引:
• 名称: stealth-v1.3 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛 (25样本) 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 67.49 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=jan-hq/stealth-v1.3 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag (10样本) 类型: hellaswag 分割: 验证集 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 86.74 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=jan-hq/stealth-v1.3 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU (5样本) 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 64.45 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=jan-hq/stealth-v1.3 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA (0样本) 类型: truthful_qa 配置: 多项选择 分割: 验证集 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 55.71 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=jan-hq/stealth-v1.3 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande (5样本) 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 80.74 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=jan-hq/stealth-v1.3 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k (5样本) 类型: gsm8k 配置: 主要 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 71.57 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=jan-hq/stealth-v1.3 名称: 开放大语言模型排行榜

Jan - Discord

提示模板

ChatML

<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant

运行此模型

您可以在Mac、Windows或Linux上使用Jan桌面版运行此模型。

Jan是一个开源的ChatGPT替代方案，具有以下特点：

• 💻 完全在您的设备上离线运行：您的对话内容保持机密，仅对您可见。
• 🗂️ 开放文件格式：对话和模型设置保存在您的计算机上，可随时导出或删除。
• 🌐 兼容OpenAI：本地服务器运行在端口1337，提供与OpenAI兼容的API端点。
• 🌍 开源且免费：我们公开开发，欢迎查看我们的Github

关于Jan

Jan坚信开源AI生态系统的必要性，并正在构建基础设施和工具，使开源AI能够在公平的竞争环境中与专有AI竞争。

Jan的长期愿景是为未来的机器人构建一个认知框架，使其成为人类和企业在日常生活中的实用助手。

开放大语言模型排行榜评估结果

详细结果可查看此处