语言:

• 葡萄牙语 标签:
• 由训练器生成的数据集
• pierreguillou/lener_br_finetuning_language_model 模型索引:
• 名称: 检查点 结果:
  • 任务: 名称: 填充掩码 类型: fill-mask 数据集: 名称: pierreguillou/lener_br_finetuning_language_model 类型: pierreguillou/lener_br_finetuning_language_model 指标:
    • 名称: 损失 类型: loss 值: 1.127950 小部件:
• 文本: "实际上，如果这是可能的，那么[MASK]权力——不具备立法职能——将开始执行一项制度上不属于它的职责（作为积极的立法者），从而在一个本质上权力有限的体系中，篡夺不属于它的权限，明显违反了宪法中的权力分立原则。"

(BERT大型) 葡萄牙语法律领域的语言建模 (LeNER-Br)

bert-large-cased-pt-lenerbr 是一个葡萄牙语法律领域的语言模型，于2021年12月20日在Google Colab上通过使用MASK目标，基于模型BERTimbau large在数据集LeNER-Br语言建模上微调而成。

你也可以查看该模型的基础版本。

小部件与应用

你可以在此页面的小部件中测试这个模型。

博客文章

这个语言模型用于在葡萄牙司法领域获得一个NER模型。你可以查看微调后的NER模型：pierreguillou/ner-bert-large-cased-pt-lenerbr。

所有信息和链接都在这个博客文章中：NLP | 巴西法律领域命名实体识别(NER)的模型和Web应用 (2021年12月29日)

在生产环境中使用模型进行推理

# 安装pytorch: 查看 https://pytorch.org/
# !pip install transformers 
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("pierreguillou/bert-large-cased-pt-lenerbr")
model = AutoModelForMaskedLM.from_pretrained("pierreguillou/bert-large-cased-pt-lenerbr")

训练过程

笔记本

微调的笔记本(Finetuning_language_model_BERtimbau_LeNER_Br.ipynb)在github上。

训练结果

样本数 = 3227
训练轮数 = 5
每个设备的即时批量大小 = 2
总训练批量大小（包括并行、分布式和累积）= 8
梯度累积步数 = 4
总优化步数 = 2015

步骤	训练损失	验证损失
100   1.616700      1.366015
200   1.452000      1.312473
300   1.431100      1.253055
400   1.407500      1.264705
500   1.301900      1.243277
600   1.317800      1.233684
700   1.319100      1.211826
800   1.303800      1.190818
900   1.262800      1.171898
1000  1.235900      1.146275
1100  1.221900      1.149027
1200  1.226200      1.127950
1300  1.201700      1.172729
1400  1.198200      1.145363