M-BERT基础版ViT-B

GitHub模型卡片

使用说明

要结合原始CLIP视觉编码器使用本模型，需从Multilingual-CLIP GitHub下载代码及额外线性权重。

完成后，可通过以下代码加载并使用模型：

from src import multilingual_clip

model = multilingual_clip.load_model('M-BERT-Base-ViT')
embeddings = model(['Älgen är skogens konung!', 'Wie leben Eisbären in der Antarktis?', 'Вы знали, что все белые медведи левши?'])
print(embeddings.shape)
# 输出：torch.Size([3, 640])

关于

本模型基于BERT-base-multilingual微调，旨在将69种语言的嵌入空间与ViT-B/32视觉编码器配套的CLIP文本编码器对齐。
预训练阶段使用的100种语言完整列表参见此处，微调阶段涉及的69种语言详见SupportedLanguages.md。

训练数据通过从GCC+MSCOCO+VizWiz组合描述中为每种语言采样4万条句子，并使用AWS翻译服务译成对应语言生成。目前尚未分析这些翻译的质量，但可以预见69种语言间的翻译质量存在差异。