基础模型: 阿里巴巴NLP/gte-multilingual-base
库名称: sentence-transformers
任务标签: 句子相似度
标签:

• sentence-transformers
• 句子相似度
• 特征提取
• 训练生成
• 数据集规模:2000
• 损失函数:余弦相似度损失
• 波斯语
• 法尔西语
• GPT4翻译

示例输入:

• 源句: 工业革命如何改变社会？
  对比句:
  • 工业革命导致城市化，因为人们迁移到城市在工厂工作。
  • 工业革命导致城市化，因为人们迁移到城市在工厂工作。
  • 工业革命如何改变社会？
• 源句: 电子在化学键中扮演什么角色？
  对比句:
  • 电子在化学键中扮演什么角色？
  • 质子通过影响原子核的特性间接影响化学键形成方式。
  • 质子通过影响原子核的特性间接影响化学键形成方式。
• 源句: 人体免疫系统的主要功能是什么？
  对比句:
  • 抗体由免疫系统产生以帮助中和致病病原体。
  • 抗体由免疫系统产生以帮助中和致病病原体。
  • 人体免疫系统的主要功能是什么？
• 源句: 现实的基本本质是什么？
  对比句:
  • 现实概念包含对物理世界及其自然法则的理解。
  • 现实概念包含对物理世界及其自然法则的理解。
  • 现实的基本本质是什么？
• 源句: 立体主义运动的核心人物是谁？
  对比句:
  • 达芬奇因文艺复兴时期的贡献闻名，而非立体主义。
  • 达芬奇因文艺复兴时期的贡献闻名，而非立体主义。
  • 立体主义运动的核心人物是谁？

基于阿里巴巴NLP/gte-multilingual-base的波斯语句子转换模型

这是从阿里巴巴NLP/gte-multilingual-base微调的sentence-transformers模型。该模型将波斯语句子和段落映射到768维稠密向量空间，可用于波斯语的语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: 阿里巴巴NLP/gte-multilingual-base
• 最大序列长度: 8192个标记
• 输出维度: 768个标记
• 相似度函数: 余弦相似度
• 训练数据集: 2000组通过GPT-4从英语翻译的高质量波斯语句对
• 语言: 波斯语(法尔西语)

模型来源

• 文档: 句子转换器文档
• 代码库: GitHub上的句子转换器
• Hugging Face: Hugging Face上的句子转换器

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方法

直接使用(句子转换器)

首先安装句子转换器库:

pip install -U sentence-transformers

然后加载模型并运行推理:

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("xmanii/maux-gte-persian")
# 运行推理
sentences = [
    '立体主义运动的核心人物是谁？',
    '达芬奇因文艺复兴时期的贡献闻名，而非立体主义。',
    '立体主义运动的核心人物是谁？',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]