language:

• 葡萄牙语 thumbnail: "葡萄牙语法律领域专用BERT模型" tags:
• bert
• pytorch datasets:
• rufimelo/葡萄牙法律语句数据集-v0 license: "mit许可协议" widget:
• text: "律师向法官提交了[MASK]。"

法律领域专用BERTimbau模型

简介

Legal_BERTimbau Large是基于BERTimbau大模型进行微调的法律领域专用BERT模型。

"BERTimbau基础版是针对巴西葡萄牙语预训练的BERT模型，在命名实体识别、句子文本相似度和文本蕴含识别三个下游NLP任务中均达到最先进性能。该模型提供基础版和大模型两种规格。

更多信息或请求请访问BERTimbau项目仓库。"

当训练数据与测试数据存在领域差异时，语言模型的性能会发生显著变化。为构建适配葡萄牙语法律领域的语言模型，我们对原始BERTimbau模型进行了微调训练，使用30,000份在线葡萄牙语法律文档进行了1个"预训练"周期的训练。

可用模型

使用方式

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("rufimelo/Legal-BERTimbau-base")

model = AutoModelForMaskedLM.from_pretrained("rufimelo/Legal-BERTimbau-base")

掩码语言建模预测示例

from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("rufimelo/Legal-BERTimbau-base")
model = AutoModelForMaskedLM.from_pretrained("rufimelo/Legal-BERTimbau-base")

pipe = pipeline('fill-mask', model=model, tokenizer=tokenizer)
pipe('律师向法官提交了[MASK]')
# [{'得分': 0.5034703612327576, 
#'标记': 8190, 
#'标记文本': '上诉状', 
#'序列': '律师向法官提交了上诉状'}, 
#{'得分': 0.07347951829433441, 
#'标记': 21973, 
#'标记文本': '诉状', 
#'序列': '律师向法官提交了诉状'}, 
#{'得分': 0.05165359005331993, 
#'标记': 4299, 
#'标记文本': '答辩状', 
#'序列': '律师向法官提交了答辩状'}, 
#{'得分': 0.04611917585134506,
#'标记': 5265, 
#'标记文本': '陈述书', 
#'序列': '律师向法官提交了陈述书'}, 
#{'得分': 0.04068068787455559, 
#'标记': 19737, '标记文本': 
#'辩护意见', 
#'序列': '律师向法官提交了辩护意见'}]

获取BERT嵌入向量

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained('rufimelo/Legal-BERTimbau-base')
input_ids = tokenizer.encode('律师向法官提交了上诉状', return_tensors='pt')

with torch.no_grad():
	outs = model(input_ids)
	encoded = outs[0][0, 1:-1]
	
#张量([[ 0.0328, -0.4292, -0.6230, ..., -0.3048, -0.5674, 0.0157], 
#[-0.3569, 0.3326, 0.7013, ..., -0.7778, 0.2646, 1.1310], 
#[ 0.3169, 0.4333, 0.2026, ..., 1.0517, -0.1951, 0.7050], 
#..., 
#[-0.3648, -0.8137, -0.4764, ..., -0.2725, -0.4879, 0.6264], 
#[-0.2264, -0.1821, -0.3011, ..., -0.5428, 0.1429, 0.0509], 
#[-1.4617, 0.6281, -0.0625, ..., -1.2774, -0.4491, 0.3131]])

引用文献

若使用本作品，请引用BERTimbau的原始文献：

@inproceedings{souza2020bertimbau,
  作者    = {F{\'a}bio Souza and
              Rodrigo Nogueira and
              Roberto Lotufo},
  标题     = {{BERT}imbau: 巴西葡萄牙语预训练{BERT}模型},
  会议名称 = {第九届巴西智能系统会议, {BRACIS}, 巴西南大河州, 10月20-23日(即将出版)},
  年份      = {2020}
}