语言:

• 芬兰语 任务标签: 句子相似度 标签:
• 句子转换器
• 特征提取
• 句子相似度
• 转换器 小部件示例:
• 文本: "我觉得住在这里太棒了！"

芬兰语无大小写区分版Sentence BERT模型

基于FinBERT训练的芬兰语句子BERT模型。*使用区分大小写模型*从4亿句子数据集中检索最相似句子的演示可见此处。

训练细节

• 库: sentence-transformers
• FinBERT基础模型: TurkuNLP/bert-base-finnish-uncased-v1
• 数据: 来源于此链接，包含芬兰语释义语料库及自动收集的释义候选句（50万正例，500万负例）
• 池化方式: 均值池化
• 任务: 二分类预测，判断两个句子是否为释义关系（注：标签3和4视为释义，标签1和2为非释义。标签说明详情）

使用方法

与HuggingFace文档相同，可通过SentenceTransformer或HuggingFace Transformers调用

SentenceTransformer方式

from sentence_transformers import SentenceTransformer
sentences = ["这是一个示例句子。", "这是另一个句子。"]

model = SentenceTransformer('TurkuNLP/sbert-uncased-finnish-paraphrase')
embeddings = model.encode(sentences)
print(embeddings)

HuggingFace Transformers方式

from transformers import AutoTokenizer, AutoModel
import torch

# 均值池化 - 考虑注意力掩码进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型输出的第一个元素包含所有token嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 待编码句子示例
sentences = ["这是一个示例句子。", "这是另一个句子。"]

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('TurkuNLP/sbert-uncased-finnish-paraphrase')
model = AutoModel.from_pretrained('TurkuNLP/sbert-uncased-finnish-paraphrase')

# 句子token化
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算token嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行池化操作（此处为均值池化）
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入向量：")
print(sentence_embeddings)

评估结果

详细评估结果的论文正在撰写中。

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': True}) with Transformer model: BertModel
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
    )

引用与作者

论文完成前，请引用本页面。

参考文献

• J. Kanerva等. 芬兰语释义语料库. 发表于NoDaLiDa 2021, 2021.
• N. Reimers与I. Gurevych. Sentence-BERT: 基于孪生BERT网络的句子嵌入. 发表于EMNLP-IJCNLP, 页码3982–3992, 2019.
• A. Virtanen等. 多语言还不够：芬兰语BERT. arXiv预印本 arXiv:1912.07076, 2019.