pipeline_tag: 句子相似度 tags:

• 句子转换器
• 特征提取
• 句子相似度 widget: 源句子: "亚丝娜" 句子列表:
  • "火影忍者"
  • "刀剑神域"
  • "结城明日奈"
  • "アスナ"

ACGVoc2vec动漫词汇向量模型

基于sentence-transformers框架构建，采用distiluse-base-multilingual-cased-v2预训练权重，以5e-5学习率在动漫相关语句对数据集上进行微调，使用MultipleNegativesRankingLoss作为损失函数。

训练数据集

主要包含以下来源：

• Bangumi番组计划

  • 动画日文名-中文名对照
  • 动画日文名-剧情简介
  • 动画中文名-简介
  • 动画中文名-标签
  • 动画日文名-角色关系
  • 动画中文名-角色关系
  • 声优日文名-中文名对照

• pixiv

  • 标签日文名-中文名对照

• AnimeList

  • 动画日文名-英文名对照

• 维基百科

  • 动画多语言名称对照（日/中/英）
  • 多语言详情页标题与正文
  • 多语言简介对照（中/日/英）
  • 动画名-简介映射（三语种）

• 萌娘百科

  • 动画中文简介-内容关联
  • 动画条目小标题-对应内容

经过爬取、清洗和处理后获得8000万组文本对（持续增加中），以batch_size=80训练20个epoch，使模型能够适应动漫领域特征空间，生成融合领域知识的文本向量表示（表现为相关文本距离更近，例如作品与角色、同作品角色间等关联）。

使用方法

安装sentence-transformers后即可便捷使用：

pip install -U sentence-transformers

调用示例：

from sentence_transformers import SentenceTransformer
sentences = ["示例句子1", "示例句子2"]

model = SentenceTransformer('OysterQAQ/ACGVoc2vec')
embeddings = model.encode(sentences)
print(embeddings)

模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) 使用DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Dense({'in_features': 768, 'out_features': 512, 'bias': True, 'activation_function': '双曲正切函数'})
)