语言:

• 葡萄牙语 标签:
• 训练生成 数据集:
• pierreguillou/lener_br_finetuning_language_model 模型索引:
• 名称: 检查点 结果:
  • 任务: 名称: 填充掩码 类型: fill-mask 数据集: 名称: pierreguillou/lener_br_finetuning_language_model 类型: pierreguillou/lener_br_finetuning_language_model 指标:
    • 名称: 损失 类型: loss 值: 1.352389 小部件:
• 文本: "事实上，如果这是可能的，那么[MASK]权力——不具备立法职能——将开始执行一项在制度上与其无关的职责（积极立法者的职责），从而在一个本质上权力有限的系统中，篡夺不属于其的权限，明显违反了宪法中的权力分立原则。"

(BERT基础版) 葡萄牙语法律领域的语言建模(LeNER-Br)

bert-base-cased-pt-lenerbr 是一个葡萄牙语法律领域的语言模型，于2021年12月20日在Google Colab上通过使用MASK目标，基于BERTimbau基础版模型在LeNER-Br语言建模数据集上微调而成。

你也可以查看该模型的大版本。

博客文章

该语言模型用于获取葡萄牙司法领域的NER模型。你可以在pierreguillou/ner-bert-base-cased-pt-lenerbr查看微调后的NER模型。

所有信息和链接都在此博客文章中：NLP | 巴西法律领域命名实体识别(NER)的模型和Web应用 (2021年12月29日)

小部件与应用

你可以在本页的小部件中测试该模型。

在生产环境中使用模型进行推理

# 安装pytorch: 查看 https://pytorch.org/
# !pip install transformers 
from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("pierreguillou/bert-base-cased-pt-lenerbr")
model = AutoModelForMaskedLM.from_pretrained("pierreguillou/bert-base-cased-pt-lenerbr")

训练过程

笔记本

微调的笔记本(Finetuning_language_model_BERtimbau_LeNER_Br.ipynb)在github上。

训练结果

样本数 = 3227
训练轮数 = 5
每个设备的瞬时批次大小 = 8
总训练批次大小（含并行、分布式和累积）= 8
梯度累积步数 = 1
总优化步数 = 2020

步数	训练损失	验证损失
100	 1.988700	     1.616412
200	 1.724900	     1.561100
300	 1.713400	     1.499991
400	 1.687400	     1.451414
500	 1.579700	     1.433665
600	 1.556900	     1.407338
700	 1.591400	     1.421942
800	 1.546000	     1.406395
900	 1.510100	     1.352389
1000	1.507100     	1.394799
1100	1.462200     	1.36809373471