语言:

• 葡萄牙语 缩略图: 葡萄牙语法律领域专用BERT模型 标签:
• 句子转换器
• 转换器
• BERT
• PyTorch
• 句子相似度 许可证: MIT 管道标签: 句子相似度 数据集:
• stjiris/portuguese-legal-sentences-v0
• assin
• assin2
• stsb_multi_mt
• stjiris/IRIS_sts 小部件示例:
• 源句子: "律师向法官提交了证据。" 对比句子:
  • "法官阅读了证据。"
  • "法官阅读了上诉书。"
  • "法官扔了一块石头。" 模型索引:
• 名称: BERTimbau 结果:
  • 任务: 名称: 语义文本相似度(STS) 类型: STS 指标:
    • 名称: 皮尔逊相关系数 - assin数据集 类型: 皮尔逊相关系数 值: 0.7763420633772975
    • 名称: 皮尔逊相关系数 - assin2数据集 类型: 皮尔逊相关系数 值: 0.8067374216274927
    • 名称: 皮尔逊相关系数 - stsb_multi_mt葡萄牙语数据集 类型: 皮尔逊相关系数 值: 0.8388993109077857
    • 名称: 皮尔逊相关系数 - IRIS STS数据集 类型: 皮尔逊相关系数 值: 0.7931353381814285

本工作作为IRIS项目的一部分开发。

论文: 最高法院语义搜索系统

stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-v1 (法律版BERTimbau)

这是一个sentence-transformers模型：它能将句子和段落映射到1024维稠密向量空间，可用于聚类或语义搜索等任务。该模型基于BERTimbau大模型。

采用TSDAE技术训练，学习率1e-5，使用约3万份法律文书中的句子数据集进行了21.2万步训练（在我们的语义搜索系统实现中表现最佳）。

后续进行了生成式伪标签训练。

模型经过自然语言推理(NLI)数据训练，批大小16，学习率2e-5。

针对语义文本相似度任务，使用assin、assin2、stsb_multi_mt葡萄牙语版和IRIS STS数据集进行微调，学习率1e-5。

使用方法(Sentence-Transformers)

安装sentence-transformers后即可使用：

pip install -U sentence-transformers

使用示例：

from sentence_transformers import SentenceTransformer
sentences = ["这是示例句子", "这是另一个示例"]

model = SentenceTransformer('stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-v1')
embeddings = model.encode(sentences)
print(embeddings)

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 514, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 1028, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False})
)

引用与作者

贡献者

@rufimelo99

若使用本工作，请引用：

（此处保留原bibtex引用格式，内容不变）