语言:

• 葡萄牙语 缩略图: "葡萄牙法律领域BERT模型" 标签:
• bert
• pytorch 数据集:
• rufimelo/PortugueseLegalSentences-v0 许可证: "mit" 小部件示例:
• 文本: "律师向法官提交了[MASK]。"

法律领域BERTimbau模型

简介

Legal_BERTimbau Large是基于BERTimbau大模型微调的法律领域BERT模型。

"BERTimbau Base是一个针对巴西葡萄牙语的预训练BERT模型，在命名实体识别、句子文本相似度和文本蕴含识别三个下游NLP任务中达到了最先进的性能。该模型提供两种规格：Base版和Large版。

更多信息或请求请访问BERTimbau项目仓库。"

当训练数据与测试数据存在领域差异时，语言模型的性能会发生显著变化。为创建适应法律领域的葡萄牙语模型，原始BERTimbau模型经过微调阶段，在30,000份在线葡萄牙法律文档上进行了1轮"预训练"（学习率：1e-5）。

可用模型

使用方法

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("rufimelo/Legal-BERTimbau-large")

model = AutoModelForMaskedLM.from_pretrained("rufimelo/Legal-BERTimbau-large")

掩码语言建模预测示例

from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("rufimelo/Legal-BERTimbau-large")
model = AutoModelForMaskedLM.from_pretrained("rufimelo/Legal-BERTimbau-large")

pipe = pipeline('fill-mask', model=model, tokenizer=tokenizer)
pipe('律师向法官提交了[MASK]')
# [{'得分': 0.5034703612327576,
#'标记ID': 8190,
#'标记文本': '上诉',
#'序列': '律师向法官提交了上诉'},
#{'得分': 0.07347951829433441,
#'标记ID': 21973,
#'标记文本': '诉状',
#'序列': '律师向法官提交了诉状'},
#{'得分': 0.05165359005331993,
#'标记ID': 4299,
#'标记文本': '答辩',
#'序列': '律师向法官提交了答辩'},
#{'得分': 0.04611917585134506,
#'标记ID': 5265,
#'标记文本': '陈述',
#'序列': '律师向法官提交了陈述'},
#{'得分': 0.04068068787455559,
#'标记ID': 19737,
#'标记文本': '申辩',
#'序列': '律师向法官提交了申辩'}]

获取BERT嵌入向量

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained('rufimelo/Legal-BERTimbau-large')
input_ids = tokenizer.encode('律师向法官提交了上诉', return_tensors='pt')

with torch.no_grad():
    outs = model(input_ids)
    encoded = outs[0][0, 1:-1]
    
# 张量示例 [[ 0.0328, -0.4292, -0.6230, ..., -0.3048, -0.5674, 0.0157],
# [-0.3569, 0.3326, 0.7013, ..., -0.7778, 0.2646, 1.1310],
# [ 0.3169, 0.4333, 0.2026, ..., 1.0517, -0.1951, 0.7050],
# ...,
# [-0.3648, -0.8137, -0.4764, ..., -0.2725, -0.4879, 0.6264],
# [-0.2264, -0.1821, -0.3011, ..., -0.5428, 0.1429, 0.0509],
# [-1.4617, 0.6281, -0.0625, ..., -1.2774, -0.4491, 0.3131]]

引用

若使用本作品，请引用BERTimbau的论文：

@inproceedings{souza2020bertimbau,
  author    = {F{\'a}bio Souza and
               Rodrigo Nogueira and
               Roberto Lotufo},
  title     = {{BERT}imbau: pretrained {BERT} models for {B}razilian {P}ortuguese},
  booktitle = {9th Brazilian Conference on Intelligent Systems, {BRACIS}, Rio Grande do Sul, Brazil, October 20-23 (to appear)},
  year      = {2020}
}