Legal-HeBERT

Legal-HeBERT 是一款专为希伯来语法律及立法领域设计的 BERT 模型，旨在推动希伯来语法律自然语言处理研究及工具开发。我们发布了两个版本的 Legal-HeBERT：

• 第一版：基于 HeBERT 模型微调，适用于法律与立法文件
• 第二版：采用 HeBERT 架构指南从头训练的 BERT 模型

我们持续收集法律数据、探索不同架构设计，并通过标注数据集和开发法律任务来评估和构建希伯来语法律工具。

训练数据

我们的训练数据集如下：

特别鸣谢：

• Yair Gardin 提供治理数据
• Elhanan Schwarts 收集并解析以色列法律全书
• Jonathan Schler 收集最高法院判决书

训练过程

• 词汇量：50,000 词符
• 训练轮次：4 轮（约 100 万步）
• 学习率：5e-5
• 掩码概率：15%
• 批次大小：32（每张 GPU）
• 硬件：NVIDIA GeForce RTX 2080 TI + RTX 3090（训练时长 1 周）

附加训练设置：

微调版 HeBERT：冻结前八层（参考 Lee et al. (2019)）
从头训练的 Legal-HeBERT：训练流程参照 HeBERT，并受 Chalkidis et al. (2020) 启发

使用方法

模型已发布于 Hugging Face Hub，可微调至下游任务：

# !pip install transformers==4.14.1
from transformers import AutoTokenizer, AutoModel

model_name = 'avichr/Legal-heBERT_ft'  # 微调版 HeBERT
model_name = 'avichr/Legal-heBERT'     # 从头训练的 Legal-HeBERT

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

# 使用填充掩码示例
from transformers import pipeline
fill_mask = pipeline("fill-mask", model=model_name)
fill_mask("הקורונה לקחה את [MASK] ולנו לא נשאר דבר.")

持续更新

我们仍在优化模型与数据集，本页面将随进展更新。欢迎合作！

引用格式

Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai. Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts (June 27, 2022). Available at: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4147127

@article{chriqui2021hebert,
  title={Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts},
  author={Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai},
  journal={SSRN preprint:4147127},
  year={2022}
}

联系我们

Avichay Chriqui - The Coller AI Lab
Inbal Yahav - The Coller AI Lab
Ittai Bar-Siman-Tov - BIU 法律、数据科学与数字伦理创新实验室

感谢！תודה（希伯来语感谢） شكرا（阿拉伯语感谢）