pipeline_tag: 图像文本到文本 library_name: transformers license: mit base_model:

• Qwen/Qwen2.5-VL-7B-Instruct tags:
• 多模态奖励模型
• 奖励模型

🔥最新动态

2025年5月12日：我们的技术报告已发布于arXiv，欢迎引用：Skywork-VL Reward: 一种高效的多模态理解与推理奖励模型

2025年4月24日：我们发布了Skywork-VL-Reward-7B，这是VLRewardBench上最先进的多模态奖励模型，并在R1V GitHub仓库发布了技术报告。

简介

市场上多模态奖励模型的缺乏已成为制约多模态强化技术发展的主要瓶颈。 我们开源了7B多模态奖励模型Skywork-VL-Reward，为行业注入新动力，开启了多模态强化学习的新篇章。

Skywork-VL-Reward基于Qwen2.5-VL-7B-Instruct架构，增加了用于训练奖励模型的价值头结构。 我们在VL-RewardBench上获得了73.1的SOTA成绩，在RewardBench上获得了90.1的高分。 此外，我们在Skywork-R1V-2.0上训练的MPO进一步验证了模型的有效性。 我们希望这个多模态奖励模型能为开源社区做出贡献！ 更多详情请参阅我们的技术报告。

技术报告

Skywork-VL Reward: 一种高效的多模态理解与推理奖励模型

评估

VL-RewardBench

RewardBench

使用方式

环境设置

conda create -n vl-reward python=3.11
conda activate vl-reward
bash setup.sh

运行推理代码

import torch
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
from trl import AutoModelForCausalLMWithValueHead
from qwen_vl_utils import process_vision_info
from transformers.utils import cached_file
from safetensors import safe_open


processor = AutoProcessor.from_pretrained("Skywork/Skywork-VL-Reward-7B")
# 模型中每张图像的视觉token默认范围为4-16384。
# 您可以根据需要设置min_pixels和max_pixels，例如256-1280的token范围，以平衡性能和成本。
# min_pixels = 256*28*28
# max_pixels = 1280*28*28
# processor = AutoProcessor.from_pretrained("Skywork/Skywork-VL-Reward-7B", min_pixels=min_pixels, max_pixels=max_pixels)

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Skywork/Skywork-VL-Reward-7B",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
# 我们建议启用flash_attention_2以获得更好的加速和内存节省
# pip install flash-attn --no-build-isolation
#
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     "Skywork/Skywork-VL-Reward-7B",
#     device_map="auto",
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
# )

model = AutoModelForCausalLMWithValueHead.from_pretrained(model)
vhead_file = cached_file(
    path_or_repo_id="Skywork/Skywork-VL-Reward-7B", filename="value_head.safetensors"
)
with safe_open(vhead_file, framework="pt", device="cpu") as f:
    vhead_params = {key: f.get_tensor(key) for key in f.keys()}
model.load_state_dict(vhead_params, strict=False)
model.requires_grad_(False)
model.eval()

# 分数: 23.89
# 如果使用flash_attention_2，分数将为23.76
demo_image = "demo.jpg"
demo_question = "提示：请回答问题并在最后提供正确的选项字母，例如A、B、C、D。\n问题：紫色是最高值吗？\n选项：\n(A) 否\n(B) 是"
demo_answer = "答案是：B"

messages = [
    {
        "role": "用户",
        "content": [
            {
                "type": "图像",
                "image": demo_image,
            },
            {
                "type": "文本",
                "text": demo_question,
            },
        ],
    },
    {
        "role": "助手",
        "content": demo_answer,
    },
]
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=False
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")
values = model(**inputs, return_dict=True, use_cache=False)[-1]
scores = values.gather(
    dim=-1, index=(inputs["attention_mask"].sum(dim=-1, keepdim=True) - 1)
score = scores[0].item()
print("奖励分数为：", score)

引用

如果您在研究中使用了本工作，请引用：

@misc{wang2025skyworkvlrewardeffectivereward,
      title={Skywork-VL Reward: 一种高效的多模态理解与推理奖励模型}, 
      author={王晓坤、Chris、裴江波、沈伟、彭毅、郝云卓、邱伟杰、简艾、谢天翼、宋旭晨、刘洋、周亚辉},
      year={2025},
      eprint={2505.07263},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.07263}, 
}