语言:

• 英语
• 荷兰语 标签:
• bert
• 法律
• 多语言 许可证: apache-2.0 评估指标:
• F1分数

适用于荷兰语和英语的法律BERT模型

这是一个基于mBERT在法律文档上进一步训练的BERT模型。相关论文可在此下载。

数据

本模型的训练方式与EurlexBERT相同：收集了荷兰语和英语的法规、决定、指令及议会质询文件。总计使用18.4万份文档（约2.95亿词）进行训练，规模不足原始BERT训练数据的9%。
选择6万步训练轮次（而非原始BERT论文建议的10万步）因其表现更优，超过10万步未见增益。

使用方法

from transformers import AutoTokenizer, AutoModel, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained("Gerwin/legal-bert-dutch-english")
model = AutoModel.from_pretrained("Gerwin/legal-bert-dutch-english")  # PyTorch版本
model = TFAutoModel.from_pretrained("Gerwin/legal-bert-dutch-english")  # TensorFlow版本

性能对比

以下是主流BERT模型与本模型的对比测试（各模型采用相同的微调流程，详见论文）。通过优化微调策略，个别模型可能获得更高分数。表格显示加权F1分数。

法律主题分类

多类别分类（荷兰合作银行数据集）

该非公开数据集包含8000份长篇幅法律文档（2000荷兰语/6000英语），涉及30个类别。由于跨语言文档可能属于同一类别，组合架构的荷英双模型未显优势。