语言:

• 葡萄牙语 缩略图: 葡萄牙语法律领域专用BERT模型 标签:
• 句子转换器
• 转换器
• BERT
• PyTorch
• 句子相似度 许可证: MIT 流水线标签: 句子相似度 数据集:
• stjiris/portuguese-legal-sentences-v0
• assin
• assin2
• stsb_multi_mt 小部件示例:
• 源句子: "律师向法官提交了证据。" 对比句子:
  • "法官阅读了证据。"
  • "法官阅读了上诉书。"
  • "法官扔了一块石头。" 模型索引:
• 名称: BERTimbau 结果:
  • 任务: 名称: 语义文本相似度(STS) 类型: STS 指标:
    • 名称: 皮尔逊相关系数 - assin数据集 类型: 皮尔逊相关系数 值: 0.8054285867337523
    • 名称: 皮尔逊相关系数 - assin2数据集 类型: 皮尔逊相关系数 值: 0.834663784004652
    • 名称: 皮尔逊相关系数 - stsb_multi_mt葡萄牙语数据集 类型: 皮尔逊相关系数 值: 0.7774871148943012
    • 名称: 皮尔逊相关系数 - IRIS sts葡萄牙语数据集 类型: 皮尔逊相关系数 值: 0.8054285867337523

本工作为IRIS项目组成部分。
论文: 最高法院语义搜索系统

stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1 (法律版BERTimbau)

这是一个sentence-transformers模型：可将句子与段落映射至1024维稠密向量空间，适用于聚类或语义搜索等任务。
该模型基于stjiris/bert-large-portuguese-cased-legal-tsdae（BERTimbau大模型的法律领域变体）。

训练采用TSDAE技术，学习率1e-5，使用约3万份法律文档中的句子进行21.2万步训练（在我们的语义搜索系统实现中表现最佳）。
模型经过生成式伪标签训练，并在自然语言推理(NLI)数据上以16的批次大小和2e-5学习率进行训练。

针对语义文本相似度任务，模型在assin、assin2、stsb_multi_mt葡萄牙语版数据集上进行了1e-5学习率的微调。

本模型应用了元数据知识蒸馏技术。代码库
该创新技术旨在通过稠密向量改进信息检索：元数据知识蒸馏

使用指南(Sentence-Transformers)

安装sentence-transformers后即可使用：

from sentence_transformers import SentenceTransformer
sentences = ["这是示例句子", "这是另一个示例"]

model = SentenceTransformer('stjiris/bert-large-portuguese-cased-legal-tsdae-gpl-nli-sts-MetaKD-v1')
embeddings = model.encode(sentences)
print(embeddings)

引用与作者

贡献者

@rufimelo99

若使用本工作，请引用：

（此处保留原bibtex引用格式内容）