语言:

• 英语 许可证: 其他 库名称: transformers 标签:
• 聊天
• qwen
• qwen2.5
• 微调
• 英语 基础模型: MaziyarPanahi/calme-3-selfmerge-qwen2-78b 模型名称: calme-3.1-instruct-78b 许可证名称: qwen 许可证链接: https://huggingface.co/Qwen/Qwen2.5-72B-Instruct/blob/main/LICENSE 管道标签: 文本生成 推理: 否 模型创建者: MaziyarPanahi 量化者: MaziyarPanahi 模型索引:
• 名称: calme-3.1-instruct-78b 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: IFEval (0-Shot) 类型: HuggingFaceH4/ifeval 参数: num_few_shot: 0 指标:
    • 类型: inst_level_strict_acc 和 prompt_level_strict_acc 值: 81.36 名称: 严格准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MaziyarPanahi/calme-3.1-instruct-78b 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BBH (3-Shot) 类型: BBH 参数: num_few_shot: 3 指标:
    • 类型: acc_norm 值: 62.41 名称: 归一化准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MaziyarPanahi/calme-3.1-instruct-78b 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MATH Lvl 5 (4-Shot) 类型: hendrycks/competition_math 参数: num_few_shot: 4 指标:
    • 类型: exact_match 值: 38.75 名称: 精确匹配 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MaziyarPanahi/calme-3.1-instruct-78b 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GPQA (0-shot) 类型: Idavidrein/gpqa 参数: num_few_shot: 0 指标:
    • 类型: acc_norm 值: 19.46 名称: acc_norm 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MaziyarPanahi/calme-3.1-instruct-78b 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MuSR (0-shot) 类型: TAUR-Lab/MuSR 参数: num_few_shot: 0 指标:
    • 类型: acc_norm 值: 36.5 名称: acc_norm 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MaziyarPanahi/calme-3.1-instruct-78b 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU-PRO (5-shot) 类型: TIGER-Lab/MMLU-Pro 配置: main 分割: test 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 68.72 名称: 准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=MaziyarPanahi/calme-3.1-instruct-78b 名称: Open LLM 排行榜

[!提示] 这是一个实验性模型，因此可能在某些提示下表现不佳，并且对超参数敏感。欢迎提供任何反馈，以便在下一版本中修复问题。❤️

MaziyarPanahi/calme-3.1-instruct-78b

该模型是强大的 Qwen/Qwen2.5-72B 的高级迭代版本，专门针对通用领域进行了微调以增强其能力。基础模型 Qwen2.5-72B 与自身合并以创建更大的模型。之后，模型在自定义数据集上进行了微调。

⚡ 量化 GGUF

感谢 mradermacher: calme-3.1-instruct-78b-GGUF

🏆 Open LLM 排行榜评估结果

详细结果请见此处

提示模板

该模型使用 ChatML 提示模板:

<|im_start|>system
{系统}
<|im_end|>
<|im_start|>user
{用户}
<|im_end|>
<|im_start|>assistant
{助手}

使用方法

# 使用 pipeline 作为高级助手

from transformers import pipeline

messages = [
    {"role": "user", "content": "你是谁?"},
]
pipe = pipeline("text-generation", model="MaziyarPanahi/calme-3.1-instruct-78b")
pipe(messages)


# 直接加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MaziyarPanahi/calme-3.1-instruct-78b")
model = AutoModelForCausalLM.from_pretrained("MaziyarPanahi/calme-3.1-instruct-78b")

伦理考量

与任何大型语言模型一样，用户应注意潜在的偏见和限制。我们建议在生产环境中部署此模型时实施适当的保障措施和人工监督。