base_model:

• jinaai/xlm-roberta-flash-implementation language:
• multilingual
• af
• am
• ar
• as
• az
• be
• bg
• bn
• br
• bs
• ca
• cs
• cy
• da
• de
• el
• en
• eo
• es
• et
• eu
• fa
• fi
• fr
• fy
• ga
• gd
• gl
• gu
• ha
• he
• hi
• hr
• hu
• hy
• id
• is
• it
• ja
• jv
• ka
• kk
• km
• kn
• ko
• ku
• ky
• la
• lo
• lt
• lv
• mg
• mk
• ml
• mn
• mr
• ms
• my
• ne
• nl
• 'no'
• om
• or
• pa
• pl
• ps
• pt
• ro
• ru
• sa
• sd
• si
• sk
• sl
• so
• sq
• sr
• su
• sv
• sw
• ta
• te
• th
• tl
• tr
• ug
• uk
• ur
• uz
• vi
• xh
• yi
• zh library_name: transformers license: cc-by-nc-4.0 tags:
• xlm-roberta
• eva02
• clip
• feature-extraction
• sentence-similarity
• retrieval
• multimodal
• multi-modal
• crossmodal
• cross-modal
• mteb
• clip-benchmark
• vidore
• transformers
• sentence-transformers
• onnx
• safetensors
• transformers.js inference: false

由 Jina AI 训练的嵌入集。

Jina CLIP v2：文本和图像的多语言多模态嵌入

该模型基于论文 jina-clip-v2: 文本和图像的多语言多模态嵌入。

快速开始

博客 | 技术报告 | Azure | AWS SageMaker | Google Cloud Platform | API

预期用途与模型信息

jina-clip-v2 是一个通用多语言多模态嵌入模型，适用于文本和图像。

多模态嵌入通过一致的表示实现了跨不同模态的数据搜索和理解。它们是神经信息检索和多模态生成AI应用的支柱。

基于 jina-clip-v1 和我们最近发布的 jina-embeddings-v3，jina-clip-v2 具有几项显著改进：

• 性能提升：v2 在文本-图像和文本-文本检索任务中比 v1 性能提高了3%。与 v1 类似，v2 的文本编码器可以作为有效的多语言长上下文密集检索器。它在性能上与我们的前沿模型 jina-embeddings-v3（目前在 MTEB 上参数小于1B的最佳多语言嵌入模型）相当。
• 多语言支持：使用与 jina-embeddings-v3 相同的文本塔骨干，jina-clip-v2 支持89种语言的多语言-图像检索，相比 nllb-clip-large-siglip 在多语言图像检索任务上提升了4%。
• 更高图像分辨率：v2 现在支持512x512输入图像分辨率，相比 v1 的224x224有显著提升。更高的分辨率可以更好地处理细节图像，改进特征提取，并更准确地识别细粒度视觉元素。
• 俄罗斯套娃表示：v2 允许用户将文本和图像嵌入的输出维度从1024截断到64，减少存储和处理开销，同时保持强大的性能。

jina-clip-v2 拥有0.9B参数，结合了两个强大的编码器：

• 文本编码器 Jina-XLM-RoBERTa（jina-embeddings-v3 的骨干）和
• 视觉编码器 EVA02-L14（由 BAAI 开发的高效视觉Transformer）。

这些编码器联合训练以创建图像和文本的对齐表示。

CLIP类模型已成为通用多模态应用的支柱。通过 jina-clip-v2，我们将这些能力提升到新的水平，打破语言障碍，提供更准确的跨模态理解和检索。我们相信，这一版本将使全球开发者的多模态搜索和检索变得更强大且更易用。