许可证: 其他 标签:

• 对齐手册
• trl
• dpo
• 训练生成 基础模型: HuggingFaceH4/zephyr-7b-gemma-sft-v0.1 数据集:
• argilla/dpo-mix-7k 许可证名称: gemma使用条款 许可证链接: https://ai.google.dev/gemma/terms 管道标签: 文本生成 模型索引:
• 名称: zephyr-7b-gemma 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MT-Bench 类型: 未知 指标:
    • 类型: 未知 值: 7.81 名称: 分数 来源: url: https://huggingface.co/spaces/lmsys/mt-bench
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛 (25-Shot) 类型: ai2_arc 配置: ARC-Challenge 分割: 测试 参数: num_few_shot: 25 指标:
    • 类型: acc_norm 值: 58.45 名称: 标准化准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=HuggingFaceH4/zephyr-7b-gemma-v0.1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag (10-Shot) 类型: hellaswag 分割: 验证 参数: num_few_shot: 10 指标:
    • 类型: acc_norm 值: 83.48 名称: 标准化准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=HuggingFaceH4/zephyr-7b-gemma-v0.1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU (5-Shot) 类型: cais/mmlu 配置: 全部 分割: 测试 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 60.68 名称: 准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=HuggingFaceH4/zephyr-7b-gemma-v0.1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA (0-shot) 类型: truthful_qa 配置: 多项选择 分割: 验证 参数: num_few_shot: 0 指标:
    • 类型: mc2 值: 52.07 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=HuggingFaceH4/zephyr-7b-gemma-v0.1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande (5-shot) 类型: winogrande 配置: winogrande_xl 分割: 验证 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 74.19 名称: 准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=HuggingFaceH4/zephyr-7b-gemma-v0.1 名称: 开放LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k (5-shot) 类型: gsm8k 配置: 主要 分割: 测试 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 45.56 名称: 准确率 来源: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=HuggingFaceH4/zephyr-7b-gemma-v0.1 名称: 开放LLM排行榜

Zephyr 7B Gemma 模型卡

Zephyr 是一系列旨在作为有用助手的语言模型。Zephyr 7B Gemma 是该系列的第三个模型，是基于 google/gemma-7b 微调的版本，使用了直接偏好优化（DPO）在公开可用的合成数据集上进行训练。您可以通过 对齐手册 提供的配方重现此模型的训练过程。

模型描述

• 模型类型: 一个70亿参数的类GPT模型，在公开可用的合成数据集上微调。
• 语言（NLP）: 主要为英语
• 许可证: Gemma 使用条款
• 微调自模型: google/gemma-7b

模型来源

• 仓库: https://github.com/huggingface/alignment-handbook
• 演示: https://huggingface.co/spaces/HuggingFaceH4/zephyr-7b-gemma-chat

性能