许可证：cc-by-4.0
语言：

• 波兰语
  数据集：
• 维基百科
  任务标签：句子相似度
  标签：
• sentence-transformers
• 特征提取
• 句子相似度
  示例：
• 源句子："机器学习是人工智能理念发展及其实际应用方法的结果。"
  对比句：
  • "深度学习是人工智能方法实际应用及其发展的产物。"
  • "卡斯帕罗夫指控IBM公司欺诈，当时该公司拒绝让他查看深蓝早期的对弈记录。"
  • "雌性体长10-11毫米，后腿上的刷毛用于采集花粉，腹部末端的毛发呈亮橙红色。"
    示例标题："机器学习"

SHerbert - 波兰语SentenceBERT

SentenceBERT是对预训练BERT网络的改进，采用孪生和三重网络结构生成具有语义意义的句子嵌入，可通过余弦相似度进行比较。训练基于原论文《用于语义文本相似性任务的孪生BERT模型》，并略微调整了训练数据的使用方式。该模型的目标是根据给定文本的语义和主题相似性生成不同的嵌入表示。

语义文本相似性分析两段文本的相似程度。

更多关于模型构建的细节请参阅我们的博客文章。

基础训练模型为波兰语HerBERT。HerBERT是基于BERT的语言模型，详情请见论文《HerBERT：高效预训练的波兰语Transformer语言模型》。

语料库

模型训练仅使用维基百科数据。

分词器

与原版HerBERT实现一致，训练数据通过字符级字节对编码（CharBPETokenizer）切分为子词，词汇表大小为5万。分词器使用tokenizers库训练。

推荐使用快速版分词器HerbertTokenizerFast。

使用方法

from transformers import AutoTokenizer, AutoModel
from sklearn.metrics import pairwise

sbert = AutoModel.from_pretrained("Voicelab/sbert-base-cased-pl")
tokenizer = AutoTokenizer.from_pretrained("Voicelab/sbert-base-cased-pl")

s0 = "机器学习是人工智能理念发展及其实际应用方法的结果。"
s1 = "深度学习是人工智能方法实际应用及其发展的产物。"
s2 = "卡斯帕罗夫指控IBM公司欺诈，当时该公司拒绝让他查看深蓝早期的对弈记录。"

tokens = tokenizer([s0, s1, s2], 
                   padding=True, 
                   truncation=True,
                   return_tensors='pt')
x = sbert(tokens["input_ids"],
          tokens["attention_mask"]).pooler_output

# 句子s0与s1的相似度
print(pairwise.cosine_similarity(x[0], x[1])) # 结果：0.7952354

# 句子s0与s2的相似度
print(pairwise.cosine_similarity(x[0], x[2])) # 结果：0.42359722

性能对比

许可协议

CC BY 4.0

引用

使用本模型时请引用相关论文。

作者

模型由Voicelab.ai的NLP研究团队训练。
联系方式请见官网。