库名称：transformers 许可证：其他 基础模型：Qwen/Qwen2.5-7B-Instruct

M-Prometheus

M-Prometheus是一套开源的LLM评估模型，能够原生支持多语言输出的评估。该模型基于48万条多语言直接评估和成对比较数据（含长文本反馈）训练而成，其使用方式与Prometheus-2完全兼容。详见我们的论文。

使用方法

本系列模型的使用提示模板与Prometheus-2完全一致。

针对机器翻译直接评估任务，我们采用以下提示模板：

"""###任务描述：给定一条指令（可能包含输入内容）、待评估的响应、得分为5分的参考答案，以及代表评分标准的分值量表。
1. 请根据给定分值量表（而非泛泛而评）撰写详细的质量评估反馈。
2. 完成反馈后，给出1到5分的整数评分，需严格参照分值量表。
3. 输出格式应为："反馈：（撰写针对标准的反馈）[结果]（1到5的整数）"
4. 请勿生成任何开场白、结束语或额外解释。

###待评估指令：
将以下文本从{source_language}翻译为{target_language}：{source}

###待评估响应：
{hypothesis}

###参考答案（5分）：
{reference}

###分值量表：[准确性、流畅度、风格]
1分：译文存在重大错误，严重歪曲原文含义。基本不可读，呈现低劣机翻特征。风格与原文完全不符。
2分：译文存在多处影响整体含义的误译。阅读困难且理解障碍频现，表达生硬。风格仅偶尔契合原文。
3分：译文大体准确但存在不影响核心含义的次要错误。整体可理解但部分段落欠自然。风格与原文基本协调。
4分：译文准确无误，仅有个别可忽略的瑕疵。基本阅读流畅，偶见微小生硬处。风格高度还原原文。
5分：译文精准传达原文全部含义。阅读流畅度媲美目标语原创文本。风格完美复现原文语域特征。

###反馈：
"""

引用文献

@misc{pombal2025mprometheussuiteopenmultilingual,
      title={M-Prometheus: 开源多语言LLM评估套件}, 
      author={何塞·庞巴尔、尹东根、帕特里克·费尔南德斯、吴伊恩、金承元、里卡多·雷伊、格雷厄姆·纽比格、安德烈·F·T·马丁斯},
      year={2025},
      eprint={2504.04953},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.04953}, 
}