许可证：apache-2.0
库名称：transformers
模型索引：

• 名称：laser-dolphin-mixtral-2x7b-dpo
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC-Challenge
    拆分：测试集
    参数：
    少量样本数：25
    指标：

    • 类型：标准化准确率
      值：65.96
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/laser-dolphin-mixtral-2x7b-dpo
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证集
    参数：
    少量样本数：10
    指标：

    • 类型：标准化准确率
      值：85.8
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/laser-dolphin-mixtral-2x7b-dpo
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5样本）
    类型：cais/mmlu
    配置：全部
    拆分：测试集
    参数：
    少量样本数：5
    指标：

    • 类型：准确率
      值：63.17
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/laser-dolphin-mixtral-2x7b-dpo
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0样本）
    类型：truthful_qa
    配置：多项选择
    拆分：验证集
    参数：
    少量样本数：0
    指标：

    • 类型：mc2
      值：60.76
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/laser-dolphin-mixtral-2x7b-dpo
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5样本）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证集
    参数：
    少量样本数：5
    指标：

    • 类型：准确率
      值：79.01
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/laser-dolphin-mixtral-2x7b-dpo
      名称：开放LLM排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5样本）
    类型：gsm8k
    配置：主集
    拆分：测试集
    参数：
    少量样本数：5
    指标：

    • 类型：准确率
      值：48.29
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/laser-dolphin-mixtral-2x7b-dpo
      名称：开放LLM排行榜

Laser-Dolphin-Mixtral-2x7b-dpo

新版现已发布！

感谢Fernando Fernandes和Eric Hartford的项目laserRMT

概述

该模型是基于cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser的中等规模混合专家（MoE）实现。

• 新版本在评估性能上平均提升约1分。

流程

• 流程概述见此笔记本
• 合并配置见文件。
• 配置中使用的模型未经过激光处理，但最终产品已处理。这是上一版本的更新。
• 此流程为实验性，效果可能因情况而异。

未来目标

• [ ] 函数调用
• [ ] 使用新基础模型提升性能的v2版本

量化版本

ExLlamav2

推荐GPU用户使用这些量化版本

感谢用户bartowski提供的3.5至8位权重的exllamav2量化版本，详见：

• bartowski/laser-dolphin-mixtral-2x7b-dpo-exl2

他的量化版本是首个支持GQA的约13B模型。更多信息请查看其仓库！

GGUF

当前GGUF量化版本

AWQ

*当前AWQ量化版本

TheBloke

这些量化可能导致不可预测行为。已更新模型并提供新量化版本

由TheBloke提供的量化版本

HF空间

• GGUF聊天版此处
• 4位bnb聊天版此处

Ollama

ollama run macadeliccc/laser-dolphin-mixtral-2x7b-dpo  

代码示例

切换注释的模型定义以使用4位模式。约需9GB显存，性能仍比单7B模型高5-6分

from transformers import AutoModelForCausalLM, AutoTokenizer  

def generate_response(prompt):  
    """  
    根据输入提示生成模型响应。  

    参数：  
    prompt (str): 模型输入提示。  

    返回：  
    str: 模型生成的响应。  
    """  
    # 分词输入提示  
    inputs = tokenizer(prompt, return_tensors="pt")  

    # 生成输出词元  
    outputs = model.generate(**inputs, max_new_tokens=256, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id)  

    # 将生成词元解码为字符串  
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)  

    return response  

# 加载模型和分词器  
model_id = "macadeliccc/laser-dolphin-mixtral-2x7b-dpo"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)  

prompt = "用Python编写快速排序算法"  

# 生成并打印响应  
print("响应：")  
print(generate_response(prompt), "\n")  

Colab使用示例

评估

EQ Bench

----基准测试完成----  
2024-01-31 16:55:37  
耗时：31.1分钟  
提示格式：ChatML  
模型：macadeliccc/laser-dolphin-mixtral-2x7b-dpo-GGUF  
分数（v2）：72.76  
可解析：171.0  
---------------  
批次完成  
耗时：31.2分钟  
---------------  

评估Colab

先前评估摘要

当前详细评估

AGIEval

平均：42.25%

GPT4All

平均：73.45%

GSM8K

TruthfulQA

平均：63.44%

Bigbench