🚀 IntJudge-8B

IntJudge-8B是一个用于评估开放式多模态生成方法的评判模型。它基于Qwen2-VL-7B-Instruct构建，采用新颖的数据管道进行训练，与人类判断的一致率达到82.42%，比基于GPT的评估器高出11.34%。

🚀 快速开始

安装依赖

我们建议你使用以下命令从源代码进行安装，否则可能会遇到 KeyError 错误：

pip install git+https://github.com/huggingface/transformers

你还需要安装 qwen-vl-utils：

pip install qwen-vl-utils

代码使用

用于交错式图像文本生成的成对评估的代码可以在 https://github.com/LanceZPF/OpenING 找到。

✨ 主要特性

• 评估能力强：IntJudge是用于评估开放式多模态生成方法的评判模型，与人类判断的一致率达到82.42%，比基于GPT的评估器高出11.34%。
• 基于优质模型：IntJudge-8B基于Qwen2-VL-7B-Instruct构建。

📚 详细文档

模型介绍

我们很高兴推出 IntJudge-v1，这是我们IntJudge模型的公开测试版本。IntJudge是一个用于评估开放式多模态生成方法的评判模型。我们使用OpenING的开发集来训练提出的IntJudge。通过新颖的数据管道进行训练，我们的IntJudge与人类判断的一致率达到82.42%，比基于GPT的评估器高出11.34%。IntJudge-8B基于Qwen2-VL-7B-Instruct构建。

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

如果你觉得我们的工作有帮助，请引用以下文献：

@misc{zhou2024GATE,
      title={GATE OpenING: A Comprehensive Benchmark for Judging Open-ended Interleaved Image-Text Generation}, 
      author={Pengfei Zhou, Xiaopeng Peng, Jiajun Song, Chuanhao Li, Zhaopan Xu, Yue Yang, Ziyao Guo, Hao Zhang, Yuqi Lin, Yefei He, Lirui Zhao, Shuo Liu, Tianhua Li, Yuxuan Xie, Xiaojun Chang, Yu Qiao, Wenqi Shao, and Kaipeng Zhang},
      year={2024},
      eprint={2411.18499},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}