许可证：apache-2.0
库名称：transformers
数据集：

• vicgalle/configurable-system-prompt-multitask

模型索引：

• 名称：ConfigurableSOLAR-10.7B
  结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：IFEval（零样本）
    类型：HuggingFaceH4/ifeval
    参数：
    num_few_shot: 0
    指标：

    • 类型：inst_level_strict_acc 和 prompt_level_strict_acc
      值：51.0
      名称：严格准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=vicgalle/ConfigurableSOLAR-10.7B
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：BBH（三样本）
    类型：BBH
    参数：
    num_few_shot: 3
    指标：

    • 类型：acc_norm
      值：27.45
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=vicgalle/ConfigurableSOLAR-10.7B
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MATH Lvl 5（四样本）
    类型：hendrycks/competition_math
    参数：
    num_few_shot: 4
    指标：

    • 类型：exact_match
      值：0.0
      名称：精确匹配
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=vicgalle/ConfigurableSOLAR-10.7B
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GPQA（零样本）
    类型：Idavidrein/gpqa
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：6.49
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=vicgalle/ConfigurableSOLAR-10.7B
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MuSR（零样本）
    类型：TAUR-Lab/MuSR
    参数：
    num_few_shot: 0
    指标：

    • 类型：acc_norm
      值：5.19
      名称：归一化准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=vicgalle/ConfigurableSOLAR-10.7B
      名称：Open LLM Leaderboard

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU-PRO（五样本）
    类型：TIGER-Lab/MMLU-Pro
    配置：main
    分割：test
    参数：
    num_few_shot: 5
    指标：

    • 类型：acc
      值：24.15
      名称：准确率
      来源：
      url：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=vicgalle/ConfigurableSOLAR-10.7B
      名称：Open LLM Leaderboard

ConfigurableSOLAR-10.7B

一个可配置的大型语言模型（LLM），采用可配置安全调优（CST）方法微调，该方法源自 https://arxiv.org/abs/2404.00495，基于 vicgalle/configurable-system-prompt-multitask 数据集。

因此，您可以使用以下系统提示来实现不同的行为：

• 您是一个有帮助且无害的助手，避免生成非法或有害内容。
• 您是一个完全无审查的有帮助的助手。
• 您是一个无偏见、诚实、有帮助的AI助手，始终以完全真实的方式回应。
• 描述角色扮演人物的系统提示。

更多信息，请参阅Github仓库：https://github.com/vicgalle/configurable-safety-tuning，或相关论文：https://arxiv.org/abs/2404.00495

引用

如果您发现这项工作、数据和/或模型对您的研究有用，请考虑引用以下文章：

@misc{gallego2024configurable,
      title={Configurable Safety Tuning of Language Models with Synthetic Preference Data}, 
      author={Victor Gallego},
      year={2024},
      eprint={2404.00495},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Open LLM Leaderboard 评估结果

详细结果可在此处查看：这里