数据集:

• migtissera/Synthia-v1.3
• meta-math/MetaMathQA
• LDJnr/Capybara 语言:
• 英文 库名称: transformers 流水线标签: 文本生成 模型创建者: DiscoResearch 模型类型: mixtral 标签:
• mixtral
• 混合专家模型
• discoresearch 许可证: apache-2.0

八位法国专家围坐桌旁。窗外风声呼啸。

DiscoLM Mixtral 8x7b 测试版

DiscoLM Mixtral 8x7b测试版是基于Mistral AI的Mixtral 8x7b开发的实验性8x7b混合专家模型。该模型通过实验性代码将原始权重转换为huggingface格式，并支持基于Transformers的推理框架。随后在Synthia、MetaMathQA和Capybara数据集上进行了微调。本项目由DiscoResearch团队发起，由Björn Plüster主导开发，并获得了社区的大力支持。

特别感谢HessianAI为本项目提供算力支持，以及LAION团队的关键协助！

目录

1. 下载
2. 基准测试
3. 提示词格式
4. 训练数据集
5. 致谢
6. 联系我们
7. 关于DiscoResearch
8. 免责声明

下载

注意：在新架构合并入transformers主分支前，运行模型时需设置trust_remote_code=True参数

基准测试

Huggingface排行榜

当前仍为早期测试版本，使用实验性代码，部分数值可能存在偏差。以下为我们的内部评估结果：

测试使用Language Model Evaluation Harness工具，版本与HuggingFace官方排行榜保持一致。

FastEval评估

{
    "gsm8k": 0.656,
    "数学能力": 0.242,
    "bbh": {
        "平均分": 0.5807843137254902
    },
    "mmlu": {
        "平均分": 0.6245614035087719
    },
    "总分": 0.4690691434468524
}

MTBench测试

{
  "第一轮": 7.89375,
  "第二轮": 7.5125,
  "分类表现": {
      "写作": 9.25,
      "角色扮演": 8.425,
      "推理": 5.7,
      "数学": 5.85,
      "编程": 4.45,
      "信息提取": 8.75,
      "理工科": 9.45,
      "人文社科": 9.75
  },
  "平均分": 7.703125
}

提示词格式

注意：在新架构合并入transformers主分支前，运行模型时需设置trust_remote_code=True参数

本模型采用ChatML格式：

<|im_start|>system
你是DiscoLM，一个乐于助人的AI助手。
<|im_end|>
<|im_start|>user
请告诉我将研究团队命名为"Disco Research"的可能原因<|im_end|>
<|im_start|>assistant

该格式也可通过预定义的Transformers对话模板实现：

对话记录 = [
  {"角色": "system", "内容": "你是DiscoLM，一个乐于助人的AI助手。"},
  {"角色": "user", "内容": "请告诉我将研究团队命名为Disco Research的可能原因"}
]
分词器.apply_chat_template(对话记录, tokenize=False, 添加生成提示=True)

若设置tokenize=True和return_tensors="pt"参数，将返回可直接输入model.generate()的已分词对话数据。

基础推理代码示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

模型 = AutoModelForCausalLM.from_pretrained("DiscoResearch/DiscoLM-mixtral-8x7b-v2", low_cpu_mem_usage=True, device_map="auto", trust_remote_code=True)
分词器 = AutoTokenizer.from_pretrained("DiscoResearch/DiscoLM-mixtral-8x7b-v2")
对话记录 = [
  {"角色": "system", "内容": "你是DiscoLM，一个乐于助人的AI助手。"},
  {"角色": "user", "内容": "请告诉我将研究团队命名为Disco Research的可能原因"}
]
输入数据 = 分词器.apply_chat_template(对话记录, tokenize=True, return_tensors="pt", 添加生成提示=True).cuda()
输出数据 = 模型.generate(输入数据, max_new_tokens=128).cpu()
print(分词器.batch_decode(输出数据))

训练数据集

DiscoLM Mixtral 8x7b测试版使用了以下训练数据集：

• Synthia对话数据集
• MetaMathQA数学推理数据集
• LDJnr整理的Capybara数据集

衷心感谢所有数据集提供者和整理者！

联系我们

建议通过我们的Discord社区进行交流。

关于DiscoResearch

DiscoResearch是一个新兴的开放研究社区，旨在汇聚多领域研究人员，通过专业知识融合推动LLM技术创新。欢迎加入我们的Discord，分享您的见解与创意，共同推进开放大模型研究！

致谢

首先特别感谢Mistral AI团队开源优秀模型及充满社区活力的发布策略。同时衷心感谢：

• Dmytro Dzhulgakov率先实现推理方案
• Vik发现初始实现的关键缺陷（他认真研读了论文！）
• winglian的技术建议及微调工具Axolotl
• MigTissera、MetaMath和LDJnr提供优质数据集
• 所有参与本次开发冲刺的社区成员（如有遗漏请告知我们！）

DiscoLM Mixtral是DiscoResearch项目，由Björn Plüster主导开发。训练算力由HessianAI提供，并感谢LAION的协调支持和宝贵建议。

免责声明

本模型所附许可证不构成法律建议。我们对第三方使用该模型的行为不承担责任。该模型仅限研究用途。