pipeline_tag: 句子相似度 license: apache-2.0 tags:

• 文本向量化
• 特征提取
• 句子相似度
• transformers框架
• sentence-transformers language:
• 中文 metrics:
• 斯皮尔曼相关系数 library_name: sentence-transformers

shibing624/text2vec-bge-large-chinese

这是基于CoSENT（余弦句子）算法的中文语义匹配模型：shibing624/text2vec-bge-large-chinese。

该模型可将句子映射至1024维稠密向量空间，适用于句子嵌入、文本匹配或语义搜索等任务。

• 训练数据集：https://huggingface.co/datasets/shibing624/nli-zh-all/tree/main/text2vec-base-chinese-paraphrase-dataset
• 基础模型：https://huggingface.co/BAAI/bge-large-zh-noinstruct
• 最大序列长度：256
• 最佳训练轮次：4
• 句子嵌入维度：1024

评估

本模型的自动化评估结果详见评估基准：text2vec

已发布模型

• 本项目发布模型的中文匹配评测结果：

说明：

• 评测指标：斯皮尔曼相关系数
• shibing624/text2vec-base-chinese模型采用CoSENT方法训练，基于hfl/chinese-macbert-base在中文STS-B数据集训练，并在中文STS-B测试集取得优良效果。运行examples/training_sup_text_matching_model.py可训练模型，模型文件已上传至HF model hub，推荐用于中文通用语义匹配任务
• shibing624/text2vec-base-chinese-sentence模型采用CoSENT方法训练，基于nghuyong/ernie-3.0-base-zh使用精选中文STS数据集shibing624/nli-zh-all/text2vec-base-chinese-sentence-dataset训练，在中文NLI测试集表现优异。运行examples/training_sup_text_matching_model_jsonl_data.py可训练模型，模型文件已上传HF model hub，推荐用于中文句子级语义匹配任务
• shibing624/text2vec-base-chinese-paraphrase模型采用CoSENT方法训练，基于nghuyong/ernie-3.0-base-zh使用增强版中文STS数据集shibing624/nli-zh-all/text2vec-base-chinese-paraphrase-dataset训练，该数据集包含句子-释义对(s2p)，显著提升长文本表征能力，在中文NLI测试集达到SOTA。运行相同训练代码可得，模型文件已上传HF model hub，推荐用于中文句子-段落级语义匹配任务
• shibing624/text2vec-base-multilingual模型采用CoSENT方法训练，基于sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2使用精选多语言STS数据集shibing624/nli-zh-all/text2vec-base-multilingual-dataset训练，在中英文测试集表现优于原模型。运行相同训练代码可得，模型文件已上传HF model hub，推荐用于多语言语义匹配任务
• shibing624/text2vec-bge-large-chinese模型采用CoSENT方法训练，基于BAAI/bge-large-zh-noinstruct使用精选中文STS数据集训练，在中文测试集表现优于原模型，短文本区分能力显著提升。运行相同训练代码可得，模型文件已上传HF model hub，推荐用于中文句子级语义匹配任务
• w2v-light-tencent-chinese为腾讯词向量Word2Vec模型，适用于CPU环境下的字面匹配任务及数据稀缺的冷启动场景
• 所有预训练模型均可通过transformers调用，例如MacBERT模型：--model_name hfl/chinese-macbert-base 或roberta模型：--model_name uer/roberta-medium-wwm-chinese-cluecorpussmall
• 为测试模型鲁棒性，额外引入未训练的SOHU测试集评估泛化能力；为验证实用效果，采用多源中文匹配数据集（数据集已上传至HF datasets详见下方）
• 实验表明中文匹配任务中，EncoderType.FIRST_LAST_AVG和EncoderType.MEAN两种池化策略效果最优且差异微小
• 如需复现中文匹配评测结果，请下载数据集至examples/data，运行tests/model_spearman.py
• QPS测试环境为Tesla V100 GPU（32GB显存）

模型训练实验报告详见：实验报告

使用方式（text2vec）

安装text2vec后即可便捷调用：

pip install -U text2vec

调用示例：

from text2vec import SentenceModel
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']

model = SentenceModel('shibing624/text2vec-bge-large-chinese')
embeddings = model.encode(sentences)
print(embeddings)

使用方式（HuggingFace Transformers）

未安装text2vec时可通过以下方式调用：

安装transformers：

pip install transformers

加载模型示例：

from transformers import BertTokenizer, BertModel
import torch

# 均值池化-考虑注意力掩码进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]  # 模型输出的首个元素包含所有token嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 从HuggingFace Hub加载模型
tokenizer = BertTokenizer.from_pretrained('shibing624/text2vec-bge-large-chinese')
model = BertModel.from_pretrained('shibing624/text2vec-bge-large-chinese')
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']
# 句子编码
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算token嵌入
with torch.no_grad():
    model_output = model(**encoded_input)
# 执行均值池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("句子嵌入向量：")
print(sentence_embeddings)

使用方式（sentence-transformers）

sentence-transformers是流行的句子向量计算库

安装：

pip install -U sentence-transformers

调用示例：

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("shibing624/text2vec-bge-large-chinese")
sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']

sentence_embeddings = m.encode(sentences)
print("句子嵌入向量：")
print(sentence_embeddings)

完整模型架构

CoSENT(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: ErnieModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_mean_tokens': True})
)

适用范围

本模型适用于句子及短段落编码任务。输入文本经模型处理可输出蕴含语义信息的向量，该向量可用于信息检索、文本聚类或句子相似度计算等场景。

默认情况下，超过256个token的输入文本将被截断。

训练流程

预训练阶段

采用预训练模型https://huggingface.co/BAAI/bge-large-zh-noinstruct，详见模型卡获取更多预训练细节。

微调阶段

使用对比学习目标进行微调。具体而言，我们计算批次内所有可能句子对的余弦相似度，并通过与正负样本对的比较应用排序损失。

引用与作者

本模型由text2vec训练。

若使用本模型，建议引用：

@software{text2vec,
  author = {徐明},
  title = {text2vec: 文本向量化工具},
  year = {2023},
  url = {https://github.com/shibing