许可证：其他
库名称：transformers
数据集：

• HuggingFaceH4/ultrachat_200k
  基础模型：google/gemma-7b
  许可证名称：gemma使用条款
  许可证链接：https://ai.google.dev/gemma/terms

模型索引：

• 名称：gemma-7b-zephyr-sft
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC-Challenge
    拆分：测试集
    参数：
    样本数：25
    指标：

    • 类型：标准化准确率
      值：61.43
      名称：标准化准确率
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=wandb/gemma-7b-zephyr-sft
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证集
    参数：
    样本数：10
    指标：

    • 类型：标准化准确率
      值：80.73
      名称：标准化准确率
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=wandb/gemma-7b-zephyr-sft
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5样本）
    类型：cais/mmlu
    配置：全部
    拆分：测试集
    参数：
    样本数：5
    指标：

    • 类型：准确率
      值：60.33
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=wandb/gemma-7b-zephyr-sft
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0样本）
    类型：truthful_qa
    配置：多项选择
    拆分：验证集
    参数：
    样本数：0
    指标：

    • 类型：mc2
      值：43.35
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=wandb/gemma-7b-zephyr-sft
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5样本）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证集
    参数：
    样本数：5
    指标：

    • 类型：准确率
      值：74.19
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=wandb/gemma-7b-zephyr-sft
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5样本）
    类型：gsm8k
    配置：主要
    拆分：测试集
    参数：
    样本数：5
    指标：

    • 类型：准确率
      值：49.81
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=wandb/gemma-7b-zephyr-sft
      名称：开放LLM排行榜

Gemma 7B Zephyr SFT

在Gemma 7B基础上应用Zephyr SFT配方训练的模型

模型描述

• 模型类型： 基于85亿参数的GPT类模型，在混合公开和合成数据集上微调
• 语言（NLP）： 主要为英语
• 微调基础模型： google/gemma-7b

训练方法

采用对齐手册配方训练，并通过W&B记录日志

访问W&B工作区

许可证

本模型采用与原始Gemma模型系列相同的许可证

计算资源由Lambda Labs提供 - 8xA100 80GB节点

开放LLM排行榜评估结果

详细结果请查看此处