许可证：apache-2.0
模型索引：

• 名称：mera-mix-4x7B
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC挑战赛
    拆分：测试集
    参数：
    少量样本数：25
    指标：

    • 类型：标准化准确率
      值：72.95
      名称：标准化准确率
      来源：
      网址：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=meraGPT/mera-mix-4x7B
      名称：开放大模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证集
    参数：
    少量样本数：10
    指标：

    • 类型：标准化准确率
      值：89.17
      名称：标准化准确率
      来源：同上

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5样本）
    类型：cais/mmlu
    配置：全部
    拆分：测试集
    参数：
    少量样本数：5
    指标：

    • 类型：准确率
      值：64.44
      名称：准确率
      来源：同上

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0样本）
    类型：truthful_qa
    配置：多项选择
    拆分：验证集
    参数：
    少量样本数：0
    指标：

    • 类型：mc2
      值：77.17
      来源：同上

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5样本）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证集
    参数：
    少量样本数：5
    指标：

    • 类型：准确率
      值：85.64
      名称：准确率
      来源：同上

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5样本）
    类型：gsm8k
    配置：主集
    拆分：测试集
    参数：
    少量样本数：5
    指标：

    • 类型：准确率
      值：66.11
      名称：准确率
      来源：同上

模型 mera-mix-4x7B

这是一个专家混合（MoE）模型，其规模仅为Mixtral-8x7B的一半（4个专家而非8个），但在各项基准测试中表现相当。您可将其直接替代Mixtral-8x7B使用，并获得更快的推理速度。

mera-mix-4x7B在OpenLLM评测中获得75.91分，优于Mixtral-8x7B的72.7分和Mixtral-8x22B的74.46分。

您可通过Mera混合聊天试用该模型。

除官方开放大模型排行榜外，OpenLLM评测结果也经他人验证（76.59）。

我们自身的初步评测结果可在此查看（76.37）。

开放大模型排行榜评估结果

详细结果请参见此处