标签:

• 句子转换器
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小:10000
• 损失函数:余弦相似度损失 基础模型: Alibaba-NLP/gte-multilingual-base 小部件:
• 源句: 家庭结构如何影响社会发展？ 句子:
  • 生活方式选择如吸烟、不良饮食和缺乏运动可能导致各种心脏疾病。
  • 家庭结构能显著影响儿童的社会发展，通过提供不同层次的情感支持、社交机会和行为榜样。
  • 电影行业因缺乏多样性和代表性而受到批评。
• 源句: 影响通货膨胀的主要因素有哪些？ 句子:
  • 通货膨胀对政策制定者来说可能是个挑战性议题。
  • 沙漠生态系统以降雨稀少和高温为特征，为动植物创造了极具挑战性的生存条件。
  • Z分数用于标准正态分布，而t分数则在样本量小且总体标准差未知时使用。
• 源句: 抗生素如何在细胞层面发挥作用？ 句子:
  • 某些食肉植物，如捕蝇草，拥有快速动作机制来捕捉猎物。
  • 抗生素是一类药物，可由医生开具用于治疗感染。
  • 通货膨胀率可通过多种指标衡量，如消费者价格指数(CPI)和生产者价格指数(PPI)。
• 源句: J.K.罗琳的《哈利·波特》系列如何影响现代文学？ 句子:
  • J.K.罗琳以笔名罗伯特·加尔布雷思创作了其他犯罪小说。
  • 丙烯颜料常用于现代艺术，而油画颜料几个世纪以来一直用于古典艺术。
  • 深海鱼类具备生物发光、耐压身体结构和特殊摄食机制等适应性特征，以在极端环境中生存。
• 源句: 有机农业与传统农业的区别是什么？ 句子:
  • 虽然置信区间很有用，但如果未满足基本假设，可能会被错误解读。
  • 水资源保护的历史可追溯至发展灌溉系统的古代文明。
  • 农贸市场是从当地农民直接购买有机产品的热门场所。 数据集:
• xmanii/maux-gte-10k-public 管道标签: 句子相似度 库名称: sentence-transformers 指标:
• 皮尔逊余弦
• 斯皮尔曼余弦 模型索引:
• 名称: 基于Alibaba-NLP/gte-multilingual-base的SentenceTransformer 结果:
  • 任务: 类型: 语义相似度 名称: 语义相似度 数据集: 名称: 未知 类型: 未知 指标:
    • 类型: 皮尔逊余弦 值: 0.9487949766869277 名称: 皮尔逊余弦
    • 类型: 斯皮尔曼余弦 值: 0.947885967258665 名称: 斯皮尔曼余弦

基于Alibaba-NLP/gte-multilingual-base的SentenceTransformer

这是一个基于Alibaba-NLP/gte-multilingual-base模型，在maux-gte-10k-public数据集上微调的sentence-transformers模型。它将句子和段落映射到768维密集向量空间，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型: 句子转换器
• 基础模型: Alibaba-NLP/gte-multilingual-base
• 最大序列长度: 8192个标记
• 输出维度: 768维
• 相似度函数: 余弦相似度
• 训练数据集:
  • maux-gte-10k-public

模型来源

• 文档: Sentence Transformers文档
• 仓库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后可以加载此模型并运行推理。

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("xmanii/maux-gte-persian-v2")
# 运行推理
sentences = [
    '有机农业与传统农业的区别是什么？',
    '农贸市场是从当地农民直接购买有机产品的热门场所。',
    '水资源保护的历史可追溯至发展灌溉系统的古代文明。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

评估

指标

语义相似度

• 使用EmbeddingSimilarityEvaluator评估

训练详情

训练数据集

maux-gte-10k-public

• 数据集: maux-gte-10k-public at e20c689
• 大小: 10,000个训练样本
• 列: persian_question, persian_answer, 和 score
• 基于前1000个样本的近似统计:

  	persian_question	persian_answer	score
  类型	字符串	字符串	浮点数
  详情	最小: 6个词 平均: 14.7个词 最大: 32个词	最小: 13个词 平均: 29.01个词 最大: 78个词	最小: 0.02 平均: 0.52 最大: 1.0

• 样本:

  persian_question	persian_answer	score
  你能解释机器人路径规划的过程吗？	机器人可以被编程执行一系列任务，从简单的重复动作到复杂的决策过程。	0.27999999999999997
  人类能在火星上生活吗？	火星是太阳系的第四颗行星，因其红色外观常被称为红色星球。	0.16
  抽象艺术中的关键构图元素是什么？	抽象艺术的历史可追溯至20世纪初，先驱者包括瓦西里·康定斯基和皮特·蒙德里安。	0.36

• 损失函数: 带以下参数的CosineSimilarityLoss:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

训练超参数

非默认超参数

• eval_strategy: 步数
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: 是
• load_best_model_at_end: 是

训练日志