语言:

• 英文 许可证:
• apache-2.0 标签:
• 文本生成推理
• transformers
• unsloth
• mistral
• trl
• sft 基础模型:
• unsloth/Phi-3-mini-4k-instruct-bnb-4bit 数据集:
• iamtarun/python_code_instructions_18k_alpaca
• ajibawa-2023/Python-Code-23k-ShareGPT 管道标签:
• 文本生成 模型索引:
• 名称: phi-3-mini-4k-python 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: IFEval (0-Shot) 类型: HuggingFaceH4/ifeval 参数: num_few_shot: 0 指标:
    • 类型: inst_level_strict_acc 和 prompt_level_strict_acc 值: 24.09 名称: 严格准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=theprint/phi-3-mini-4k-python 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BBH (3-Shot) 类型: BBH 参数: num_few_shot: 3 指标:
    • 类型: acc_norm 值: 28.45 名称: 标准化准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=theprint/phi-3-mini-4k-python 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MATH Lvl 5 (4-Shot) 类型: hendrycks/competition_math 参数: num_few_shot: 4 指标:
    • 类型: exact_match 值: 8.46 名称: 精确匹配 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=theprint/phi-3-mini-4k-python 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GPQA (0-shot) 类型: Idavidrein/gpqa 参数: num_few_shot: 0 指标:
    • 类型: acc_norm 值: 5.48 名称: acc_norm 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=theprint/phi-3-mini-4k-python 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MuSR (0-shot) 类型: TAUR-Lab/MuSR 参数: num_few_shot: 0 指标:
    • 类型: acc_norm 值: 9.22 名称: acc_norm 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=theprint/phi-3-mini-4k-python 名称: Open LLM 排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU-PRO (5-shot) 类型: TIGER-Lab/MMLU-Pro 配置: main 分割: test 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 28.63 名称: 准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=theprint/phi-3-mini-4k-python 名称: Open LLM 排行榜

上传的模型

• 开发者: theprint
• 许可证: apache-2.0
• 微调自模型: unsloth/Phi-3-mini-4k-instruct-bnb-4bit

这个 mistral 模型使用 Unsloth 和 Huggingface 的 TRL 库训练，速度提升了 2 倍。

Open LLM 排行榜评估结果

详细结果可查看此处