标签:

• 剪辑
• 转换器
• 电子商务
• 时尚
• 多模态检索
• siglip
• transformers.js 库名称: open_clip 管道标签: 零样本图像分类 许可证: apache-2.0 语言:
• 英语 指标:
• 精确度
• 召回率
• MRR

Marqo-FashionSigLIP 模型卡

Marqo-FashionSigLIP 是一个多模态嵌入模型，相比 fashion clip，在 MRR 和召回率上提升了高达57%。

Marqo-FashionSigLIP 利用了广义对比学习（GCL），使得模型不仅能通过文本描述进行训练，还能通过类别、风格、颜色、材质、关键词和细节进行训练，从而为时尚产品提供高度相关的搜索结果。该模型基于 ViT-B-16-SigLIP (webli) 进行了微调。

GitHub 页面: Marqo-FashionCLIP

博客: Marqo 博客

使用方法

Hugging Face

可以通过 AutoModel 加载模型：

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained('Marqo/marqo-fashionSigLIP', trust_remote_code=True)
processor = AutoProcessor.from_pretrained('Marqo/marqo-fashionSigLIP', trust_remote_code=True)

import torch
from PIL import Image

image = [Image.open("docs/fashion-hippo.png")]
text = ["一顶帽子", "一件T恤", "鞋子"]
processed = processor(text=text, images=image, padding='max_length', return_tensors="pt")

with torch.no_grad():
    image_features = model.get_image_features(processed['pixel_values'], normalize=True)
    text_features = model.get_text_features(processed['input_ids'], normalize=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("标签概率:", text_probs)
# [0.98379946, 0.01294010, 0.00326044]

OpenCLIP

可以无缝使用 OpenCLIP：

import open_clip
model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionSigLIP')
tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionSigLIP')

import torch
from PIL import Image

image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0)
text = tokenizer(["一顶帽子", "一件T恤", "鞋子"])

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image, normalize=True)
    text_features = model.encode_text(text, normalize=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("标签概率:", text_probs)
# [0.9860219105287394, 0.00777916527489097, 0.006198924196369721]

Transformers.js

你也可以使用 Transformers.js 库在 JavaScript 中运行该模型。

首先，通过 NPM 安装：

npm i @huggingface/transformers

然后，计算嵌入如下：

import { SiglipTextModel, SiglipVisionModel, AutoTokenizer, AutoProcessor, RawImage, softmax, dot } from '@huggingface/transformers';

const model_id = 'Marqo/marqo-fashionSigLIP';

// 加载分词器和文本模型
const tokenizer = await AutoTokenizer.from_pretrained(model_id);
const text_model = await SiglipTextModel.from_pretrained(model_id);

// 加载处理器和视觉模型
const processor = await AutoProcessor.from_pretrained(model_id);
const vision_model = await SiglipVisionModel.from_pretrained(model_id);

// 运行分词
const texts = ['一顶帽子', '一件T恤', '鞋子'];
const text_inputs = tokenizer(texts, { padding: 'max_length', truncation: true });

// 计算文本嵌入
const { text_embeds } = await text_model(text_inputs);

// 读取图像并运行处理器
const image = await RawImage.read('https://raw.githubusercontent.com/marqo-ai/marqo-FashionCLIP/main/docs/fashion-hippo.png');
const image_inputs = await processor(image);

// 计算视觉嵌入
const { image_embeds } = await vision_model(image_inputs);

// 计算相似度分数
const normalized_text_embeds = text_embeds.normalize().tolist();
const normalized_image_embeds = image_embeds.normalize().tolist()[0];

const text_probs = softmax(normalized_text_embeds.map((text_embed) => 
    100.0 * dot(normalized_image_embeds, text_embed)
));
console.log(text_probs);
// [0.9860219105287394, 0.00777916527489097, 0.006198924196369721]

基准测试结果

在6个公开的多模态时尚数据集（Atlas、DeepFashion (In-shop)、DeepFashion (Multimodal)、Fashion200k、KAGL 和 Polyvore）上的平均评估结果如下：

文本到图像（6个数据集平均）

类别到产品（5个数据集平均）

子类别到产品（4个数据集平均）