标签:

• 视觉 小部件:
• 图片: https://huggingface.co/OFA-Sys/chinese-clip-vit-base-patch16/resolve/main/festival.jpg 候选标签: 灯笼, 鞭炮, 对联 示例标题: 节日
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/cat-dog-music.png 候选标签: 音乐表演, 体育运动 示例标题: 猫与狗
• 图片: https://huggingface.co/datasets/mishig/sample_images/resolve/main/football-match.jpg 候选标签: 梅西, C罗, 马奎尔 示例标题: 足球

中文CLIP-ViT大模型-14层-336像素版

简介

这是中文CLIP的大规模版本，采用ViT-L/14@336px作为图像编码器，RoBERTa-wwm-base作为文本编码器。中文CLIP是基于约2亿中文图文对数据集的CLIP简化实现。更多技术细节请参阅我们的技术报告https://arxiv.org/abs/2211.01335和官方GitHub仓库https://github.com/OFA-Sys/Chinese-CLIP（欢迎点赞！🔥🔥）

使用官方API

我们提供简单代码片段展示如何使用中文CLIP的API计算图文嵌入向量及相似度。

from PIL import Image
import requests
from transformers import ChineseCLIPProcessor, ChineseCLIPModel

model = ChineseCLIPModel.from_pretrained("OFA-Sys/chinese-clip-vit-large-patch14-336px")
processor = ChineseCLIPProcessor.from_pretrained("OFA-Sys/chinese-clip-vit-large-patch14-336px")

url = "https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
# 英文中的杰尼龟、妙蛙种子、小火龙、皮卡丘
texts = ["杰尼龟", "妙蛙种子", "小火龙", "皮卡丘"]

# 计算图像特征
inputs = processor(images=image, return_tensors="pt")
image_features = model.get_image_features(**inputs)
image_features = image_features / image_features.norm(p=2, dim=-1, keepdim=True)  # 归一化

# 计算文本特征
inputs = processor(text=texts, padding=True, return_tensors="pt")
text_features = model.get_text_features(**inputs)
text_features = text_features / text_features.norm(p=2, dim=-1, keepdim=True)  # 归一化

# 计算图文相似度
inputs = processor(text=texts, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # 图文相似度分数
probs = logits_per_image.softmax(dim=1)  # 概率分布: [[0.0219, 0.0316, 0.0043, 0.9423]]

若需更详细的训练和推理说明，欢迎访问我们的GitHub仓库https://github.com/OFA-Sys/Chinese-CLIP。

性能表现

MUGE文本到图像检索:

Flickr30K-CN检索:

COCO-CN检索:

零样本图像分类:

引用

如果您觉得中文CLIP有帮助，欢迎引用我们的论文。感谢支持！

@article{chinese-clip,
  title={中文CLIP：中文对比视觉语言预训练},
  author={杨安 and 潘俊书 and 林俊