许可协议：apache-2.0
语言：

• 英语
  基础模型：
• answerdotai/ModernBERT-base
  基础模型关系：微调
  任务标签：句子相似度
  库名称：transformers
  标签：
• sentence-transformers
• mteb
• embedding
• transformers.js

gte-modernbert-base

我们很高兴推出基于最新modernBERT预训练编码器基础模型构建的gte-modernbert系列模型。该系列包含文本嵌入模型和重排序模型。

与当前开源社区同规模模型相比，gte-modernbert模型在MTEB、LoCO和COIR等文本嵌入与检索评估任务中展现出竞争力。

模型概览

• 开发团队：阿里巴巴集团通义实验室
• 模型类型：文本嵌入
• 主要语言：英语
• 模型大小：149M
• 最大输入长度：8192 tokens
• 输出维度：768

模型列表

使用指南

[!TIP]
对于transformers和sentence-transformers，若GPU支持且安装了flash_attn，将自动启用高效Flash Attention 2（非必需）。

pip install flash_attn  

使用transformers：

# 需transformers>=4.48.0  

import torch.nn.functional as F  
from transformers import AutoModel, AutoTokenizer  

input_texts = [  
    "中国的首都是哪里？",  
    "如何用Python实现快速排序？",  
    "北京",  
    "排序算法"  
]  

model_path = "Alibaba-NLP/gte-modernbert-base"  
tokenizer = AutoTokenizer.from_pretrained(model_path)  
model = AutoModel.from_pretrained(model_path)  

# 对输入文本进行编码  
batch_dict = tokenizer(input_texts, max_length=8192, padding=True, truncation=True, return_tensors='pt')  

outputs = model(**batch_dict)  
embeddings = outputs.last_hidden_state[:, 0]  

# （可选）归一化嵌入向量  
embeddings = F.normalize(embeddings, p=2, dim=1)  
scores = (embeddings[:1] @ embeddings[1:].T) * 100  
print(scores.tolist())  
# [[42.89073944091797, 71.30911254882812, 33.664554595947266]]  

使用sentence-transformers：

# 需transformers>=4.48.0  
from sentence_transformers import SentenceTransformer  
from sentence_transformers.util import cos_sim  

input_texts = [  
    "中国的首都是哪里？",  
    "如何用Python实现快速排序？",  
    "北京",  
    "排序算法"  
]  

model = SentenceTransformer("Alibaba-NLP/gte-modernbert-base")  
embeddings = model.encode(input_texts)  
print(embeddings.shape)  
# (4, 768)  

similarities = cos_sim(embeddings[0], embeddings[1:])  
print(similarities)  
# tensor([[0.4289, 0.7131, 0.3366]])  

使用transformers.js：

// npm i @huggingface/transformers  
import { pipeline, matmul } from "@huggingface/transformers";  

// 创建特征提取管道  
const extractor = await pipeline(  
  "feature-extraction",  
  "Alibaba-NLP/gte-modernbert-base",  
  { dtype: "fp32" }, // 支持选项："fp32", "fp16", "q8", "q4", "q4f16"  
);  

// 嵌入查询与文档  
const embeddings = await extractor(  
  [  
    "中国的首都是哪里？",  
    "如何用Python实现快速排序？",  
    "北京",  
    "排序算法",  
  ],  
  { pooling: "cls", normalize: true },  
);  

// 计算相似度分数  
const similarities = (await matmul(embeddings.slice([0, 1]), embeddings.slice([1, null]).transpose(1, 0))).mul(100);  
console.log(similarities.tolist()); // [[42.89077377319336, 71.30916595458984, 33.66455841064453]]  

训练细节

gte-modernbert系列沿用了先前GTE模型的训练方案，唯一区别是将预训练基础模型从GTE-MLM替换为ModernBert。更多细节请参阅论文：mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval。

评估

MTEB

其他模型结果来自MTEB榜单。鉴于gte-modernbert系列模型参数量均小于1B，我们仅对比MTEB榜单中1B以下模型的结果。

LoCO（长文档检索）(NDCG@10)

COIR（代码检索任务）(NDCG@10)

BEIR(NDCG@10)

加入我们

通义实验室现开放研究实习生和全职研究员职位，工作地点位于北京和杭州。我们诚邀在表示学习、基于LLM的信息检索、检索增强生成（RAG）以及智能体系统领域有专长的伙伴加入。如有意向，请将简历及个人简介发送至dingkun.ldk@alibaba-inc.com。

引用

若论文或模型对您有帮助，欢迎引用：

@inproceedings{zhang2024mgte,  
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval},  
  author={Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie,