Moco Sentencedistilbertv2.1
这是一个基于蒸馏BERT的句子转换器模型,支持韩语和英语,用于句子相似度计算和特征提取。
下载量 37
发布时间 : 9/23/2022
模型简介
该模型将句子和段落映射到768维的密集向量空间,可用于聚类或语义搜索等任务。基于mdistilbertV2.1 MLM模型构建,通过STS师生蒸馏训练而成。
模型特点
多语言支持
支持韩语和英语的句子相似度计算。
高效蒸馏
通过师生蒸馏训练,在保持性能的同时减小模型尺寸。
768维向量空间
将句子映射到768维密集向量空间,适合语义搜索任务。
模型能力
句子相似度计算
特征提取
语义搜索
文本聚类
使用案例
信息检索
多语言问答系统
用于构建支持韩语和英语的问答系统,匹配问题与答案的相似度。
在korsts测试集上达到0.839的余弦斯皮尔曼相关系数
内容推荐
相似内容推荐
根据用户浏览内容推荐语义相似的新闻或文章。
🚀 moco-sentencedistilbertV2.1
这是一个 sentence-transformers 模型,它可以将句子和段落映射到 768 维的密集向量空间,可用于聚类或语义搜索等任务。
🚀 快速开始
本模型可以在安装 sentence-transformers 后轻松使用:
pip install -U sentence_transformers
然后,你可以像这样使用该模型:
from sentence_transformers import SentenceTransformer
sentences = ["서울은 한국이 수도이다", "The capital of Korea is Seoul"]
model = SentenceTransformer('bongsoo/moco-sentencedistilbertV2.1')
embeddings = model.encode(sentences)
print(embeddings)
# sklearn 을 이용하여 cosine_scores를 구함
# => 입력값 embeddings 은 (1,768) 처럼 2D 여야 함.
from sklearn.metrics.pairwise import paired_cosine_distances, paired_euclidean_distances, paired_manhattan_distances
cosine_scores = 1 - (paired_cosine_distances(embeddings[0].reshape(1,-1), embeddings[1].reshape(1,-1)))
print(f'*cosine_score:{cosine_scores[0]}')
输出(Outputs)
[[ 0.27124503 -0.5836643 0.00736023 ... -0.0038319 0.01802095 -0.09652182]
[ 0.2765149 -0.5754248 0.00788184 ... 0.07659392 -0.07825544 -0.06120609]]
*cosine_score:0.9513546228408813
如果你没有安装 sentence-transformers,也可以这样使用该模型:首先,将输入数据传入 Transformer 模型,然后对上下文词嵌入应用正确的池化操作。
pip install transformers[torch]
from transformers import AutoTokenizer, AutoModel
import torch
#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0] #First element of model_output contains all token embeddings
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
# Sentences we want sentence embeddings for
sentences = ["서울은 한국이 수도이다", "The capital of Korea is Seoul"]
# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('bongsoo/moco-sentencedistilbertV2.1')
model = AutoModel.from_pretrained('bongsoo/moco-sentencedistilbertV2.1')
# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
# Compute token embeddings
with torch.no_grad():
model_output = model(**encoded_input)
# Perform pooling. In this case, mean pooling.
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
# sklearn 을 이용하여 cosine_scores를 구함
# => 입력값 embeddings 은 (1,768) 처럼 2D 여야 함.
from sklearn.metrics.pairwise import paired_cosine_distances, paired_euclidean_distances, paired_manhattan_distances
cosine_scores = 1 - (paired_cosine_distances(sentence_embeddings[0].reshape(1,-1), sentence_embeddings[1].reshape(1,-1)))
print(f'*cosine_score:{cosine_scores[0]}')
输出(Outputs)
Sentence embeddings:
tensor([[ 0.2712, -0.5837, 0.0074, ..., -0.0038, 0.0180, -0.0965],
[ 0.2765, -0.5754, 0.0079, ..., 0.0766, -0.0783, -0.0612]])
*cosine_score:0.9513546228408813
✨ 主要特性
- 该模型是将 bongsoo/mdistilbertV2.1 MLM 模型转换为 sentencebert 后,进一步通过 STS 师生蒸馏学习得到的。
- 词汇表(vocab):152,537 个(在原有的 119,548 个词汇基础上新增 32,989 个)
📚 详细文档
评估结果
- 用于性能测量的语料库,采用了以下韩语(kor)和英语(en)评估语料库:
- 韩语:korsts(1,379 对句子) 和 klue-sts(519 对句子)
- 英语:stsb_multi_mt(1,376 对句子)和 glue:stsb(1,500 对句子)
- 性能指标为 cosin.spearman/max(cosine、eculidean、manhatten、doc 中的最大值)
- 评估测量代码请参考 这里
模型 | korsts | klue - sts | glue(stsb) | stsb_multi_mt(en) |
---|---|---|---|---|
distiluse - base - multilingual - cased - v2 | 0.7475/0.7556 | 0.7855/0.7862 | 0.8193 | 0.8075/0.8168 |
paraphrase - multilingual - mpnet - base - v2 | 0.8201 | 0.7993 | 0.8907/0.8919 | 0.8682 |
bongsoo/sentencedistilbertV1.2 | 0.8198/0.8202 | 0.8584/0.8608 | 0.8739/0.8740 | 0.8377/0.8388 |
bongsoo/moco - sentencedistilbertV2.0 | 0.8124/0.8128 | 0.8470/0.8515 | 0.8773/0.8778 | 0.8371/0.8388 |
bongsoo/moco - sentencebertV2.0 | 0.8244/0.8277 | 0.8411/0.8478 | 0.8792/0.8796 | 0.8436/0.8456 |
bongsoo/moco - sentencedistilbertV2.1 | 0.8390/0.8398 | 0.8767/0.8808 | 0.8805/0.8816 | 0.8548 |
有关该模型的自动评估,请参考 Sentence Embeddings Benchmark:https://seb.sbert.net
训练过程
1. MLM 训练
- 输入模型:distilbert - base - multilingual - cased
- 语料库:训练集为 bongsoo/moco - corpus - kowiki2022(760 万个样本),评估集为 bongsoo/bongevalsmall
- 超参数:学习率(LearningRate):5e - 5,训练轮数(epochs):8,批次大小(batchsize):32,最大令牌长度(max_token_len):128
- 词汇表(vocab):152,537 个(在原有的 119,548 个词汇基础上新增 32,989 个)
- 输出模型:mdistilbertV2.1(大小:643MB)
- 训练时间:63 小时/1 个 GPU(24GB,使用 23.9GB)
- 评估结果:训练损失(훈련loss):2.203400,评估损失(평가loss):2.972835,困惑度(perplexity):23.43(bong_eval:1,500 个样本)
- 训练代码请参考 [这里](https://github.com/kobongsoo/BERT/blob/master/distilbert/distilbert - MLM - Trainer - V1.2.ipynb)
2. STS 训练
=> 将 bert 转换为 sentencebert。
- 输入模型:mdistilbertV2.1(大小:643MB)
- 语料库:korsts(5,749 个样本) + kluestsV1.1(11,668 个样本) + stsb_multi_mt(5,749 个样本) + mteb/sickr - sts(9,927 个样本) + glue stsb(5,749 个样本)(总计:38,842 个样本)
- 超参数:学习率(LearningRate):3e - 5,训练轮数(epochs):800,批次大小(batchsize):128,最大令牌长度(max_token_len):256
- 输出模型:sbert - mdistilbertV2.1(大小:640MB)
- 训练时间:13 小时/1 个 GPU(24GB,使用 16.1GB)
- 评估(cosin_spearman):0.790(语料库:korsts(tune_test.tsv))
- 训练代码请参考 [这里](https://github.com/kobongsoo/BERT/blob/master/sbert/sentece - bert - sts.ipynb)
3. 蒸馏(distilation)训练
- 学生模型:sbert - mdistilbertV2.1
- 教师模型:paraphrase - multilingual - mpnet - base - v2(最大令牌长度:128)
- 语料库:news_talk_en_ko_train.tsv(英语 - 韩语对话 - 新闻并行语料库:138 万个样本)
- 超参数:学习率(LearningRate):5e - 5,训练轮数(epochs):40,批次大小(batchsize):128,最大令牌长度(max_token_len):128(与教师模型保持一致)
- 输出模型:sbert - mdistilbertV2.1 - distil
- 训练时间:17 小时/1 个 GPU(24GB,使用 9GB)
- 训练代码请参考 [这里](https://github.com/kobongsoo/BERT/blob/master/sbert/sbert - distillaton.ipynb)
4. STS 训练
=> 对 sentencebert 模型进行 STS 训练。
- 输入模型:sbert - mdistilbertV2.1 - distil
- 语料库:korsts(5,749 个样本) + kluestsV1.1(11,668 个样本) + stsb_multi_mt(5,749 个样本) + mteb/sickr - sts(9,927 个样本) + glue stsb(5,749 个样本)(总计:38,842 个样本)
- 超参数:学习率(LearningRate):3e - 5,训练轮数(epochs):1200,批次大小(batchsize):128,最大令牌长度(max_token_len):256
- 输出模型:moco - sentencedistilbertV2.1
- 训练时间:12 小时/1 个 GPU(24GB,使用 16.1GB)
- 评估(cosin_spearman):0.839(语料库:korsts(tune_test.tsv))
- 训练代码请参考 [这里](https://github.com/kobongsoo/BERT/blob/master/sbert/sentece - bert - sts.ipynb)
有关模型制作过程的详细内容,请参考 这里。
模型配置
{
"_name_or_path": "../../data11/model/sbert/sbert-mdistilbertV2.1-distil",
"activation": "gelu",
"architectures": [
"DistilBertModel"
],
"attention_dropout": 0.1,
"dim": 768,
"dropout": 0.1,
"hidden_dim": 3072,
"initializer_range": 0.02,
"max_position_embeddings": 512,
"model_type": "distilbert",
"n_heads": 12,
"n_layers": 6,
"output_past": true,
"pad_token_id": 0,
"qa_dropout": 0.1,
"seq_classif_dropout": 0.2,
"sinusoidal_pos_embds": false,
"tie_weights_": true,
"torch_dtype": "float32",
"transformers_version": "4.21.2",
"vocab_size": 152537
}
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: DistilBertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)
分词器配置
{
"cls_token": "[CLS]",
"do_basic_tokenize": true,
"do_lower_case": false,
"mask_token": "[MASK]",
"max_len": 128,
"name_or_path": "../../data11/model/sbert/sbert-mdistilbertV2.1-distil",
"never_split": null,
"pad_token": "[PAD]",
"sep_token": "[SEP]",
"special_tokens_map_file": "../../data11/model/distilbert/mdistilbertV2.1-4/special_tokens_map.json",
"strip_accents": false,
"tokenize_chinese_chars": true,
"tokenizer_class": "DistilBertTokenizer",
"unk_token": "[UNK]"
}
sentence_bert 配置
{
"max_seq_length": 256,
"do_lower_case": false
}
sentence_transformers 配置
{
"__version__": {
"sentence_transformers": "2.2.0",
"transformers": "4.21.2",
"pytorch": "1.10.1"
}
}
📄 许可证
作者:bongsoo
如果你想引用此模型,请注明作者信息。
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98
智启未来,您的人工智能解决方案智库
简体中文