T
Text2vec Base Multilingual
由 shibing624 开发
一个多语言的句子嵌入模型，支持中文、英文、德文、法文等多种语言，专注于句子相似度计算和特征提取任务。
下载量 128.13k
发布时间 : 6/22/2023
模型介绍
内容详情
替代品
模型简介
该模型基于Sentence-Transformers框架，通过多语言自然语言推理数据集训练，能够将文本转换为高质量的向量表示，适用于跨语言的语义相似度计算和信息检索等任务。
模型特点
多语言支持
支持中文、英文、德文、法文等多种语言的文本嵌入
高性能句子相似度计算
在多个基准测试中表现出色，能够准确计算句子间的语义相似度
预训练模型
基于大规模多语言数据集预训练，开箱即用
模型能力
句子相似度计算
文本特征提取
跨语言语义检索
文本分类
聚类分析
使用案例
信息检索
跨语言文档检索
使用统一的向量空间实现不同语言文档的相似度检索
文本分类
多语言情感分析
基于句子嵌入实现多语言文本的情感分类
在MTEB EmotionClassification上达到43.35%准确率
聚类分析
学术论文聚类
对arXiv论文进行主题聚类
在MTEB ArxivClusteringP2P上达到32.32 v_measure分数
pipeline_tag: sentence-similarity license: apache-2.0 library_name: sentence-transformers tags:
- sentence-transformers
- feature-extraction
- sentence-similarity
- transformers
- text2vec
- mteb datasets:
- shibing624/nli-zh-all language:
- zh
- en
- de
- fr
- it
- nl
- pt
- pl
- ru metrics:
- spearmanr model-index:
- name: text2vec-base-multilingual
results:
- task:
type: Classification
dataset:
type: mteb/amazon_counterfactual
name: MTEB AmazonCounterfactualClassification (en)
config: en
split: test
revision: e8379541af4e31359cca9fbcf4b00f2671dba205
metrics:
- type: accuracy value: 70.97014925373134
- type: ap value: 33.95151328318672
- type: f1 value: 65.14740155705596
- task:
type: Classification
dataset:
type: mteb/amazon_counterfactual
name: MTEB AmazonCounterfactualClassification (de)
config: de
split: test
revision: e8379541af4e31359cca9fbcf4b00f2671dba205
metrics:
- type: accuracy value: 68.69379014989293
- type: ap value: 79.68277579733802
- type: f1 value: 66.54960052336921
- task:
type: Classification
dataset:
type: mteb/amazon_counterfactual
name: MTEB AmazonCounterfactualClassification (en-ext)
config: en-ext
split: test
revision: e8379541af4e31359cca9fbcf4b00f2671dba205
metrics:
- type: accuracy value: 70.90704647676162
- type: ap value: 20.747518928580437
- type: f1 value: 58.64365465884924
- task:
type: Classification
dataset:
type: mteb/amazon_counterfactual
name: MTEB AmazonCounterfactualClassification (ja)
config: ja
split: test
revision: e8379541af4e31359cca9fbcf4b00f2671dba205
metrics:
- type: accuracy value: 61.605995717344754
- type: ap value: 14.135974879487028
- type: f1 value: 49.980224800472136
- task:
type: Classification
dataset:
type: mteb/amazon_polarity
name: MTEB AmazonPolarityClassification
config: default
split: test
revision: e2d317d38cd51312af73b3d32a06d1a08b442046
metrics:
- type: accuracy value: 66.103375
- type: ap value: 61.10087197664471
- type: f1 value: 65.75198509894145
- task:
type: Classification
dataset:
type: mteb/amazon_reviews_multi
name: MTEB AmazonReviewsClassification (en)
config: en
split: test
revision: 1399c76144fd37290681b995c656ef9b2e06e26d
metrics:
- type: accuracy value: 33.134
- type: f1 value: 32.7905397597083
- task:
type: Classification
dataset:
type: mteb/amazon_reviews_multi
name: MTEB AmazonReviewsClassification (de)
config: de
split: test
revision: 1399c76144fd37290681b995c656ef9b2e06e26d
metrics:
- type: accuracy value: 33.388
- type: f1 value: 33.190561196873084
- task:
type: Classification
dataset:
type: mteb/amazon_reviews_multi
name: MTEB AmazonReviewsClassification (es)
config: es
split: test
revision: 1399c76144fd37290681b995c656ef9b2e06e26d
metrics:
- type: accuracy value: 34.824
- type: f1 value: 34.297290157740726
- task:
type: Classification
dataset:
type: mteb/amazon_reviews_multi
name: MTEB AmazonReviewsClassification (fr)
config: fr
split: test
revision: 1399c76144fd37290681b995c656ef9b2e06e26d
metrics:
- type: accuracy value: 33.449999999999996
- type: f1 value: 33.08017234412433
- task:
type: Classification
dataset:
type: mteb/amazon_reviews_multi
name: MTEB AmazonReviewsClassification (ja)
config: ja
split: test
revision: 1399c76144fd37290681b995c656ef9b2e06e26d
metrics:
- type: accuracy value: 30.046
- type: f1 value: 29.857141661482228
- task:
type: Classification
dataset:
type: mteb/amazon_reviews_multi
name: MTEB AmazonReviewsClassification (zh)
config: zh
split: test
revision: 1399c76144fd37290681b995c656ef9b2e06e26d
metrics:
- type: accuracy value: 32.522
- type: f1 value: 31.854699911472174
- task:
type: Clustering
dataset:
type: mteb/arxiv-clustering-p2p
name: MTEB ArxivClusteringP2P
config: default
split: test
revision: a122ad7f3f0291bf49cc6f4d32aa80929df69d5d
metrics:
- type: v_measure value: 32.31918856561886
- task:
type: Clustering
dataset:
type: mteb/arxiv-clustering-s2s
name: MTEB ArxivClusteringS2S
config: default
split: test
revision: f910caf1a6075f7329cdf8c1a6135696f37dbd53
metrics:
- type: v_measure value: 25.503481615956137
- task:
type: Reranking
dataset:
type: mteb/askubuntudupquestions-reranking
name: MTEB AskUbuntuDupQuestions
config: default
split: test
revision: 2000358ca161889fa9c082cb41daa8dcfb161a54
metrics:
- type: map value: 57.91471462820568
- type: mrr value: 71.82990370663501
- task:
type: STS
dataset:
type: mteb/biosses-sts
name: MTEB BIOSSES
config: default
split: test
revision: d3fb88f8f02e40887cd149695127462bbcf29b4a
metrics:
- type: cos_sim_pearson value: 68.83853315193127
- type: cos_sim_spearman value: 66.16174850417771
- type: euclidean_pearson value: 56.65313897263153
- type: euclidean_spearman value: 52.69156205876939
- type: manhattan_pearson value: 56.97282154658304
- type: manhattan_spearman value: 53.167476517261015
- task:
type: Classification
dataset:
type: mteb/banking77
name: MTEB Banking77Classification
config: default
split: test
revision: 0fd18e25b25c072e09e0d92ab615fda904d66300
metrics:
- type: accuracy value: 78.08441558441558
- type: f1 value: 77.99825264827898
- task:
type: Clustering
dataset:
type: mteb/biorxiv-clustering-p2p
name: MTEB BiorxivClusteringP2P
config: default
split: test
revision: 65b79d1d13f80053f67aca9498d9402c2d9f1f40
metrics:
- type: v_measure value: 28.98583420521256
- task:
type: Clustering
dataset:
type: mteb/biorxiv-clustering-s2s
name: MTEB BiorxivClusteringS2S
config: default
split: test
revision: 258694dd0231531bc1fd9de6ceb52a0853c6d908
metrics:
- type: v_measure value: 23.195091778460892
- task:
type: Classification
dataset:
type: mteb/emotion
name: MTEB EmotionClassification
config: default
split: test
revision: 4f58c6b202a23cf9a4da393831edf4f9183cad37
metrics:
- type: accuracy value: 43.35
- type: f1 value: 38.80269436557695
- task:
type: Classification
dataset:
type: mteb/imdb
name: MTEB ImdbClassification
config: default
split: test
revision: 3d86128a09e091d6018b6d26cad27f2739fc2db7
metrics:
- type: accuracy value: 59.348
- type: ap value: 55.75065220262251
- type: f1 value: 58.72117519082607
- task:
type: Classification
dataset:
type: mteb/mtop_domain
name: MTEB MTOPDomainClassification (en)
config: en
split: test
revision: d80d48c1eb48d3562165c59d59d0034df9fff0bf
metrics:
- type: accuracy value: 81.04879160966712
- type: f1 value: 80.86889779192701
- task:
type: Classification
dataset:
type: mteb/mtop_domain
name: MTEB MTOPDomainClassification (de)
config: de
split: test
revision: d80d48c1eb48d3562165c59d59d0034df9fff0bf
metrics:
- type: accuracy value: 78.59397013243168
- type: f1 value: 77.09902761555972
- task:
type: Classification
dataset:
type: mteb/mtop_domain
name: MTEB MTOPDomainClassification (es)
config: es
split: test
revision: d80d48c1eb48d3562165c59d59d0034df9fff0bf
metrics:
- type: accuracy value: 79.24282855236824
- type: f1 value: 78.75883867079015
- task:
type: Classification
dataset:
type: mteb/mtop_domain
name: MTEB MTOPDomainClassification (fr)
config: fr
split: test
revision: d80d48c1eb48d3562165c59d59d0034df9fff0bf
metrics:
- type: accuracy value: 76.16661446915127
- type: f1 value: 76.30204722831901
- task: type: Classification dataset: type: mteb/mtop_domain
- task:
type: Classification
dataset:
type: mteb/amazon_counterfactual
name: MTEB AmazonCounterfactualClassification (en)
config: en
split: test
revision: e8379541af4e31359cca9fbcf4b00f2671dba205
metrics:
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型，支持超过100种语言，专注于句子相似度和特征提取任务。
文本嵌入
Transformers
Transformers 支持多种语言
J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型，用于信息检索中的查询-段落相关性评分
文本嵌入
英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型，专为OpenSearch优化，支持免推理文档编码，在搜索相关性和效率上优于V1版本
文本嵌入 Transformers
Transformers 英语
O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型，通过自对齐预训练优化语义关系捕捉
文本嵌入
英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型，专注于句子相似度和文本嵌入任务，在多个基准测试中表现出色。
文本嵌入
英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型，专注于句子相似度任务，在多个文本嵌入基准测试中表现优异。
文本嵌入 Transformers
Transformers 支持多种语言
G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型，支持超过50种语言，适用于句子相似度计算等任务。
文本嵌入 Transformers
Transformers 支持多种语言
G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型，旨在实现完全由机器驱动的超快聚合物信息学。
文本嵌入 Transformers
TransformersP
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型，专为语义相似度任务优化
文本嵌入 Transformers
Transformers 其他
B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型，通过MEDI数据集与MTEB分类任务数据集训练，优化了检索任务的查询编码能力。
文本嵌入
Safetensors
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文