语言：意大利语
许可证：GPL-3.0
数据集：

• WIT
• ctl/conceptualCaptions
• mscoco-it
  标签：
• 意大利语
• BERT
• ViT
• 视觉

意大利语CLIP模型

论文：面向意大利语的对比语言-图像预训练

通过一系列技巧，我们仅用140万训练样本就成功微调出一个具有竞争力的意大利语CLIP模型。该模型基于dbmdz提供的意大利语BERT和OpenAI的视觉Transformer架构构建。

想立即体验我们的模型？我们已为您准备好演示应用！该演示包含项目所有细节——从训练技巧到最亮眼的实验结果，一应俱全！

训练数据

我们整合了四大主要数据源：

• WIT：基于维基百科构建的图像-描述数据集（参见Srinivasan等, 2021）
• MSCOCO-IT：源自Scaiella等, 2019工作的意语图像描述数据集
• Conceptual Captions：来自Sharma等, 2018研究的图像描述数据集
• La Foto del Giorno：采集自意大利知名网媒Il Post的每日图片数据集

我们采用了更优的数据增强策略、针对性训练方案（数据量远小于原始CLIP论文）以及骨干网络冻结预训练技术。详见演示页。

实验验证

量化评估

为评估模型性能，我们以多语言CLIP模型为基线进行对比实验。作为意大利语首款CLIP模型，我们选择以下两种任务：

对比模型

多语言CLIP（mCLIP）由Nils Reimers通过多语言知识蒸馏开发（参见Reimers等, 2020）。

实验任务

• 图像检索
• 零样本分类

复现方式

实验可通过我们提供的Colab笔记本复现：

• 图像检索实验
• ImageNet零样本评估

图像检索

在未参与训练的MSCOCO-IT验证集上测试。给定描述文本，检索最匹配图像，采用MRR@K作为评估指标：

虽然训练使用了MSCOCO-IT数据，但原始CLIP模型训练数据达4亿张图像（可能包含MSCOCO数据）。

零样本图像分类

复现OpenAI在ImageNet上的零样本分类实验。通过DeepL翻译ImageNet标签后，计算各级准确率：

尽管结果低于OpenAI论文（Radford等, 2021）报告值，但翻译标签可能影响最终得分。

核心团队

• Federico Bianchi (vinid)
• Raphael Pisoni (4rtemi5)
• Giuseppe Attanasio (g8a9)
• Silvia Terragni (silviatti)
• Dario Balestri (D3Reo)
• Gabriele Sarti (gsarti)
• Sri Lakshmi (srisweet)