语言:

• 阿尔巴尼亚语
• 阿姆哈拉语
• 阿拉伯语
• 阿塞拜疆语
• 孟加拉语
• 保加利亚语
• 加泰罗尼亚语
• 中文
• 荷兰语
• 英语
• 爱沙尼亚语
• 波斯语
• 法语
• 格鲁吉亚语
• 德语
• 希腊语
• 印地语
• 匈牙利语
• 冰岛语
• 印尼语
• 意大利语
• 日语
• 哈萨克语
• 韩语
• 拉脱维亚语
• 马其顿语
• 马来语
• 普什图语
• 波兰语
• 罗马尼亚语
• 俄语
• 斯洛文尼亚语
• 西班牙语
• 瑞典语
• 菲律宾语
• 泰语
• 土耳其语
• 乌尔都语

M-BERT蒸馏40

Github模型卡片

使用方法

要使用此模型以及原始的CLIP视觉编码器，您需要从Multilingual-CLIP Github下载代码和额外的线性权重。

完成后，您可以使用以下代码加载和使用模型：

from src import multilingual_clip

model = multilingual_clip.load_model('M-BERT-Distil-40')
embeddings = model(['Älgen är skogens konung!', 'Wie leben Eisbären in der Antarktis?', 'Вы знали, что все белые медведи левши?'])
print(embeddings.shape)
# 输出: torch.Size([3, 640])

关于

这是一个基于distilbert-base-multilingual的模型，经过调整以匹配40种语言的嵌入空间，与Res50x4视觉编码器配套的CLIP文本编码器的嵌入空间相匹配。
预训练期间使用的100种语言的完整列表可以在这里找到，微调期间使用的40种语言的列表可以在SupportedLanguages.md中找到。

训练数据对是通过从GCC + MSCOCO + VizWiz的组合描述中为每种语言采样40k个句子，并将其翻译成相应的语言生成的。 所有翻译均使用AWS翻译服务完成，这些翻译的质量目前尚未分析，但可以假设这40种语言的质量各不相同。

评估

这些结果可以在Github上查看。
一项非严格的定性评估显示，对于法语、德语、西班牙语、俄语、瑞典语和希腊语，大多数情况下似乎都能得到不错的结果。例外情况是希腊人显然无法识别快乐的人。
当测试卡纳达语（一种在预训练中包含但未在微调中包含的语言）时，其表现接近随机。