库名称：transformers
许可证：其他
基础模型：Qwen/Qwen2.5-14B-Instruct

M-Prometheus

M-Prometheus 是一套开源的LLM评估模型，能够原生支持多语言输出的评价。该模型基于48万条多语言直接评估与带长文本反馈的成对比较数据训练而成。
其使用方式与 Prometheus-2 完全兼容。
更多细节请参阅我们的论文。

使用方法

本系列模型与 Prometheus-2 的提示模板完全兼容。

针对机器翻译直接评估任务，我们采用以下提示模板：

"""###任务描述：给定一条指令（可能包含输入内容）、待评估的响应、得分为5的参考答案，以及代表评分标准的分值细则。  
1. 根据分值细则（而非泛泛而评），严格撰写评估响应质量的详细反馈。  
2. 完成反馈后，给出1至5分的整数评分。评分必须参照分值细则。  
3. 输出格式应为："反馈：（撰写针对标准的反馈）[结果]（1至5的整数）"  
4. 请勿生成任何开场白、结束语及其他解释性内容。  

###待评估指令：  
将以下文本从{source_language}翻译至{target_language}：{source}  

###待评估响应：  
{hypothesis}  

###参考答案（5分）：  
{reference}  

###分值细则：[准确性、流畅性、风格]  
1分：译文存在重大错误，严重扭曲原文含义。基本不可读，呈现低劣机翻特征。风格与原文完全不符。  
2分：译文存在多处影响整体含义的误译。阅读困难且理解吃力，频繁出现拗口表达。风格仅偶尔匹配原文。  
3分：译文大体准确但存在次要错误，未显著改变原意。整体可理解但部分段落欠自然。风格与原文有一定一致性。  
4分：译文准确无误，仅含个别可忽略错误。基本阅读流畅，偶有轻微生硬。风格高度契合原文。  
5分：译文精准传达原文全部含义。阅读流畅如同目标语言原创文本。风格完美复现原文语域与基调。  

###反馈：  
"""  

引用

@misc{pombal2025mprometheussuiteopenmultilingual,  
      title={M-Prometheus: 开源多语言LLM评估套件},  
      author={何塞·庞巴尔、尹东根、帕特里克·费尔南德斯、吴伊恩、金承元、里卡多·雷伊、格雷厄姆·纽比格、安德烈·F·T·马丁斯},  
      year={2025},  
      eprint={2504.04953},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL},  
      url={https://arxiv.org/abs/2504.04953},  
}