pipeline_tag: 句子相似度 tags:

• 句子转换器
• 句子相似度
• 转换器
• 地址标准化

CaoHaiNam/越南语地址嵌入模型

这是一个基于sentence-transformers的模型：能够将句子和段落映射到768维的密集向量空间，可用于地址标准化任务。

使用方法（Sentence-Transformers）

具体工作原理详见：https://github.com/CaoHaiNam/Vietnamese-Address-Standardization

训练过程

模型训练参数如下：

数据加载器：

使用torch.utils.data.dataloader.DataLoader，共8626批次，参数为：

{'batch_size': 4, 'sampler': '随机采样器', 'batch_sampler': '批次采样器'}

损失函数：

采用sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss，参数为：

{'scale': 20.0, 'similarity_fct': '余弦相似度'}

训练方法fit()的参数：

{
    "训练轮次": 10,
    "评估步长": 0,
    "评估器": "无",
    "最大梯度范数": 1,
    "优化器类型": "AdamW优化器",
    "优化器参数": {
        "学习率": 2e-05
    },
    "调度器": "线性预热",
    "每轮步数": null,
    "预热步数": 100,
    "权重衰减": 0.01
}

完整模型架构

句子转换器(
  (0): 转换器({'最大序列长度': 64, '小写转换': False}) 内含BERT模型 
  (1): 池化层({'词嵌入维度': 768, 'CLS标记池化模式': False, '均值标记池化模式': True, '最大标记池化模式': False, '均方根长度标记池化模式': False})
)

引用与作者声明