语言:

• 英语
• 葡萄牙语 数据集:
• cnmoro/WizardVicuna-PTBR-Instruct-Clean 模型索引:
• 名称: Mistral-7B-葡萄牙语版 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: ENEM挑战赛(无图像) 类型: eduagarcia/enem_challenge 分割: 训练集 参数: 少样本数量: 3 指标:
    • 类型: 准确率 值: 58.08 名称: 准确度 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BLUEX(无图像) 类型: eduagarcia-temp/BLUEX_without_images 分割: 训练集 参数: 少样本数量: 3 指标:
    • 类型: 准确率 值: 48.68 名称: 准确度 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: OAB律师资格考试 类型: eduagarcia/oab_exams 分割: 训练集 参数: 少样本数量: 3 指标:
    • 类型: 准确率 值: 37.08 名称: 准确度 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Assin2文本蕴含识别 类型: assin2 分割: 测试集 参数: 少样本数量: 15 指标:
    • 类型: 宏平均F1值 值: 90.31 名称: 宏F1值 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Assin2语义相似度 类型: eduagarcia/portuguese_benchmark 分割: 测试集 参数: 少样本数量: 15 指标:
    • 类型: 皮尔逊相关系数 值: 76.55 名称: 皮尔逊系数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: FaQuAD自然语言推理 类型: ruanchaves/faquad-nli 分割: 测试集 参数: 少样本数量: 15 指标:
    • 类型: 宏平均F1值 值: 58.84 名称: 宏F1值 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HateBR仇恨言论二分类 类型: ruanchaves/hatebr 分割: 测试集 参数: 少样本数量: 25 指标:
    • 类型: 宏平均F1值 值: 79.21 名称: 宏F1值 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 葡萄牙语仇恨言论二分类 类型: hate_speech_portuguese 分割: 测试集 参数: 少样本数量: 25 指标:
    • 类型: 宏平均F1值 值: 68.87 名称: 宏F1值 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 巴西推特情感分析 类型: eduagarcia-temp/tweetsentbr 分割: 测试集 参数: 少样本数量: 25 指标:
    • 类型: 宏平均F1值 值: 64.71 名称: 宏F1值 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=cnmoro/Mistral-7B-Portuguese 名称: 葡萄牙语大模型公开排行榜

这是基于mistralai/Mistral-7B-Instruct-v0.2使用unsloth在葡萄牙语指令数据集上微调的版本，旨在提升模型在葡萄牙语上的表现。

目前尚未进行基准测试。

保留了原始提示格式:

<s>[INST] {此处输入提示} [/INST]

葡萄牙语大模型公开排行榜评估结果

详细结果参见此处