AltCLIP-m18

简介

在推出双语模型AltCLIP和九语模型AltCLIP-m9之后，我们进一步训练了支持18种语言的CLIP模型，命名为AltCLIP-m18。该模型支持英语、中文、日语、泰语、韩语、印地语、乌克兰语、阿拉伯语、土耳其语、越南语、波兰语、荷兰语、葡萄牙语、意大利语、西班牙语、德语、法语和俄语。

AltCLIP-m18模型可为AltDiffusion-m18模型提供支持，关于AltDiffusion模型的详细信息请参阅此教程。

模型代码已在FlagAI开源，权重文件存放于我们搭建的modelhub平台。我们还提供了微调、推理和验证的完整脚本，欢迎使用。

训练数据集

[1] WuDaoMM数据集仅限学术研究使用，任何使用行为需遵循以下条款：WuDaoMM不持有图片版权。图片使用需遵守Flickr使用条款。使用者需对数据集使用承担全部责任，禁止私自传播图片。如涉及版权问题，请联系我们删除。

第一阶段采用平行语料数据进行训练。

第二、三阶段主要使用Laion-Aesthetics子集，中文数据采用悟道MM数据集(CC-BY-SA 4.0协议)。

引用文献

关于AltCLIP模型的研究报告已发布，如需了解更多技术细节，欢迎引用：

@article{https://doi.org/10.48550/arxiv.2211.06679,
  doi = {10.48550/ARXIV.2211.06679},
  url = {https://arxiv.org/abs/2211.06679},
  author = {陈忠志, 刘光, 张博文, 叶福龙, 杨庆红, 吴乐德},
  keywords = {计算与语言(CS.CL), 计算机科学与信息科学},
  title = {AltCLIP：通过改造CLIP语言编码器实现多语言扩展},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv永久非独占许可协议}
}

模型评估

部分数据集评测结果展示：

ImageNet图像分类

（表格数据保持原格式不变）

其他分类任务

（表格数据保持原格式不变）

跨模态检索

（表格数据保持原格式不变）

CIFAR10评估代码

# 版权声明及评估代码保持不变

推理脚本

# 推理实现代码保持不变

微调示例

CIFAR10数据集微调代码：

# 微调实现代码保持不变