PickScore v1 模型卡

该模型是一个针对文本生成图像的评分函数。它接收提示词和生成图像作为输入，并输出评分分数。 可作为通用评分函数使用，适用于人类偏好预测、模型评估、图像排序等多种任务。 更多细节请参阅我们的论文《Pick-a-Pic：文本到图像生成的用户偏好开放数据集》(https://arxiv.org/abs/2305.01569)。

模型详情

模型描述

本模型基于CLIP-H模型，使用Pick-a-Pic数据集进行微调训练。

模型来源 [可选]

• 代码仓库: PickScore项目库
• 论文: 《Pick-a-Pic：文本到图像生成的用户偏好开放数据集》(https://arxiv.org/abs/2305.01569)
• 演示[可选]: Huggingface Spaces演示

快速开始

使用以下代码快速体验模型：

# 导入
from transformers import AutoProcessor, AutoModel

# 加载模型
device = "cuda"
processor_name_or_path = "laion/CLIP-ViT-H-14-laion2B-s32B-b79K"
model_pretrained_name_or_path = "yuvalkirstain/PickScore_v1"

processor = AutoProcessor.from_pretrained(processor_name_or_path)
model = AutoModel.from_pretrained(model_pretrained_name_or_path).eval().to(device)

def calc_probs(prompt, images):
    
    # 预处理
    image_inputs = processor(
        images=images,
        padding=True,
        truncation=True,
        max_length=77,
        return_tensors="pt",
    ).to(device)
    
    text_inputs = processor(
        text=prompt,
        padding=True,
        truncation=True,
        max_length=77,
        return_tensors="pt",
    ).to(device)


    with torch.no_grad():
        # 嵌入
        image_embs = model.get_image_features(**image_inputs)
        image_embs = image_embs / torch.norm(image_embs, dim=-1, keepdim=True)
    
        text_embs = model.get_text_features(**text_inputs)
        text_embs = text_embs / torch.norm(text_embs, dim=-1, keepdim=True)
    
        # 评分
        scores = model.logit_scale.exp() * (text_embs @ image_embs.T)[0]
        
        # 多图像选择时获取概率
        probs = torch.softmax(scores, dim=-1)
    
    return probs.cpu().tolist()

pil_images = [Image.open("my_amazing_images/1.jpg"), Image.open("my_amazing_images/2.jpg")]
prompt = "fantastic, increadible prompt"
print(calc_probs(prompt, pil_images))

训练详情

训练数据

本模型使用Pick-a-Pic数据集进行训练。

训练流程

待补充 - 添加论文细节。

引用 [可选]

若本工作对您有帮助，请引用：

@inproceedings{Kirstain2023PickaPicAO,
  title={Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation},
  author={Yuval Kirstain and Adam Polyak and Uriel Singer and Shahbuland Matiana and Joe Penna and Omer Levy},
  year={2023}
}

APA格式: [需要补充更多信息]