CLIPfa：连接波斯语文本与图像

OpenAI发布了论文《通过自然语言监督学习可迁移视觉模型》，其中提出了CLIP（对比性语言-图像预训练）模型。该模型通过对比学习目标匹配文本与图像的向量表示，从而建立两者关联。CLIP包含两个独立模型：视觉编码器和文本编码器，基于4亿张图像及对应标题训练而成。我们使用40万组（图像，文本）配对数据训练了OpenAI CLIP的波斯语版本，采用Farahani的RoBERTa-fa作为文本编码器，并沿用原版CLIP的ViT视觉编码器进行微调。

• 需注意：本次训练仅使用40万组数据，而原版CLIP使用400万组。训练历时30天，动用了592块V100芯片GPU。

使用方法

两模型均生成768维向量：

from transformers import CLIPVisionModel, RobertaModel, AutoTokenizer, CLIPFeatureExtractor
# 下载预训练模型
vision_encoder = CLIPVisionModel.from_pretrained('SajjadAyoubi/clip-fa-vision')
preprocessor = CLIPFeatureExtractor.from_pretrained('SajjadAyoubi/clip-fa-vision')
text_encoder = RobertaModel.from_pretrained('SajjadAyoubi/clip-fa-text')
tokenizer = AutoTokenizer.from_pretrained('SajjadAyoubi/clip-fa-text')
# 定义输入文本与图像
text = '任意文本'
image = PIL.Image.open('图片路径.jpg')
# 计算嵌入向量
text_embedding = text_encoder(**tokenizer(text, return_tensors='pt')).pooler_output
image_embedding = vision_encoder(**preprocessor(image, return_tensors='pt')).pooler_output
text_embedding.shape == image_embedding.shape

演示案例

以下为CLIPfa在2.5万张Unsplash图片上的应用示例：

• 安装：pip install -q git+https://github.com/sajjjadayobi/clipfa.git

from clipfa import CLIPDemo
demo = CLIPDemo(vision_encoder, text_encoder, tokenizer)
demo.compute_text_embeddings(['奶牛', '马', '鱼'])
demo.compute_image_embeddings(test_df.image_path.to_list())

在线演示：HuggingFace🤗空间上的CLIPfa

为保持实时性，我们仅使用小规模图像库（2.5万张），但图像搜索质量显然与图库规模密切相关。

在地下室🤫用❤️打造