🚀 Legal-HeBERT

Legal-HeBERT是一个适用于希伯来语法律和立法领域的BERT模型，旨在推动希伯来语法律自然语言处理（NLP）研究和工具的开发。我们发布了两个版本的Legal-HeBERT。第一个版本是在HeBERT基础上针对法律和立法文件进行微调的模型；第二个版本则是依据HeBERT的架构准则从头开始训练的BERT模型。
我们持续收集法律数据、研究不同的架构设计，并进行标注数据集和法律任务，以评估和开发希伯来语法律工具。

✨ 主要特性

• 专门为希伯来语法律和立法领域设计。
• 提供微调版和从头训练版两个版本。
• 持续收集数据和优化模型，推动希伯来语法律NLP工具的发展。

📦 安装指南

# !pip install transformers==4.14.1

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

model_name = 'avichr/Legal-heBERT_ft' # 用于微调后的HeBERT模型 
model_name = 'avichr/Legal-heBERT' # 用于从头开始训练的法律HeBERT模型

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model=model_name,
)
fill_mask("הקורונה לקחה את [MASK] ולנו לא נשאר דבר.")

📚 详细文档

训练数据

我们的训练数据集如下：

我们感谢 Yair Gardin 提供治理数据，感谢 Elhanan Schwarts 收集和解析以色列法律全书，感谢 Jonathan Schler 收集最高法院判决书。

训练过程

• 词汇量大小：50,000 个词元
• 4 个训练周期（约 100 万步）
• 学习率（lr）= 5e-5
• 掩码语言模型概率（mlm_probability）= 0.15
• 批量大小 = 32（每个 GPU）
• 使用 NVIDIA GeForce RTX 2080 TI + NVIDIA GeForce RTX 3090 进行训练，耗时 1 周

额外训练设置：

• 微调 HeBERT 模型：冻结前八层（参考 Lee et al. (2019) 的建议）
• 从头开始训练的 Legal-HeBERT：训练过程与 HeBERT 类似，受 Chalkidis et al. (2020) 启发

📄 许可证

如果您使用了此模型，请按以下格式引用我们： Chriqui, Avihay, Yahav, Inbal 和 Bar-Siman-Tov, Ittai, Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts (2022 年 6 月 27 日)。可访问：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4147127

@article{chriqui2021hebert,
  title={Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts},
  author={Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai},
  journal={SSRN preprint:4147127},
  year={2022}
}

📞 联系我们

• Avichay Chriqui，Coller人工智能实验室
• Inbal yahav，Coller人工智能实验室
• Ittai Bar-Siman-Tov，巴伊兰大学法律、数据科学与数字伦理创新实验室

感谢您的支持，תודה，شكرا