语言:

• ar 管道标签: 文本到图像

模型详情

阿拉伯语CLIP是对比语言-图像预训练(CLIP)模型针对阿拉伯语的适配版本。CLIP是由OpenAI开发的模型，能够从图像中学习概念并将其与文本描述相关联。本项目旨在提升模型对阿拉伯语语境下视觉信息的理解和解释能力。

模型使用

from transformers import AutoTokenizer, FlaxVisionTextDualEncoderModel
model = FlaxVisionTextDualEncoderModel.from_pretrained("LinaAlhuri/Arabic-clip-vit-base-patch32", logit_scale_init_value=1,from_pt=True)
model.save_pretrained("arabic_clip") 

tokenizer = AutoTokenizer.from_pretrained("asafaya/bert-base-arabic", cache_dir=None, use_fast=True)

数据

由于阿拉伯语资源稀缺，我们通过整合多种数据源构建了全面的阿拉伯语图文数据集。面临的挑战包括阿拉伯语数据有限和翻译数据集的质量问题。解决方案是合并真实数据集以获取丰富信息，同时使用翻译数据集覆盖多样化领域、场景和对象，权衡各自的优缺点。

性能与局限

我们在多个基准测试中评估了阿拉伯语CLIP在零样本学习、图像检索、定位和图像搜索等任务中的表现：

• 概念标注集
• COCO
• ImageNet
• Unsplash

零样本学习

图像检索

概念标注集评估

COCO评估

局限性

总结主要限制如下：

• 阿拉伯语CLIP在计数超过3时表现不佳
• 阿拉伯语真实样本有限
• 由于尚未对已发布的阿拉伯数据集或阿拉伯语言模型进行相关研究，阿拉伯语CLIP可能包含各种噪声和偏差

偏差

关于性别偏差需注意：阿拉伯语采用双性别系统，所有名词分为阳性或阴性。这与英语不同，将文本从英语翻译成阿拉伯语可能导致信息丢失或产生性别偏差。