license: openrail

LegalBert-pt 法律领域葡萄牙语模型

模型介绍

Legalbert-pt 是针对葡萄牙语法律领域的语言模型。该模型通过预训练获得领域专业化能力，可进一步微调用于特定任务。我们开发了两个版本：一个作为BERTimbau模型的补充版本，另一个则是完全从头训练的版本。基于BERTimbau的模型在困惑度指标上表现优异。在法律实体识别和诉讼文书分类任务中的实验表明，专业领域语言模型在所有任务中的表现均优于通用语言模型，这证明法律领域的专业化是提升学习算法准确性的关键因素。

关键词：语言模型，巴西法律BERT，法律领域，葡萄牙语语言模型

可用模型

训练数据

为预训练LegalBert-pt的不同版本，我们从巴西十个法院收集了总计150万份葡萄牙语法律文书，包含起诉状、诉状、裁决书和判决书四种类型。下表展示了文书的具体分布。

数据来源于巴西国家司法委员会(CNJ)的Codex系统，该系统拥有最大规模的巴西葡萄牙语法律文本库。基于与本研究团队达成的协议，CNJ提供了这些研究数据。

使用方式

from transformers import AutoTokenizer  # 或 BertTokenizer
from transformers import AutoModelForPreTraining  # 或 BertForPreTraining用于加载预训练头
from transformers import AutoModel  # 或 BertModel, 用于获取无预训练头的BERT模型
  
model = AutoModelForPreTraining.from_pretrained('raquelsilveira/legalbertpt_fp')
tokenizer = AutoTokenizer.from_pretrained('raquelsilveira/legalbertpt_fp')

引用文献

Raquel Silveira, Caio Ponte, Vitor Almeida, Vládia Pinheiro, Vasco Furtado. 2023. 《LegalBert-pt：巴西葡萄牙语法律领域预训练语言模型》. 收录于：第十二届巴西智能系统会议论文集（BRACIS 2023），2023年9月25-29日，贝洛奥里藏特，巴西. 柏林/海德堡：Springer出版社，268-282页. DOI：10.1007/978-3-031-45392-2_18