language: zh pipeline_tag: fill-mask tags:

• legal license: mit

InLegalBERT模型

该模型和分词器文件来自论文《在印度法律文本上预训练Transformer模型》（Pre-training Transformers on Indian Legal Text）。

训练数据

为构建印度法律文本的预训练语料库，我们收集了来自印度最高法院和多个高等法院的大量案例文档。这些法院案例的时间跨度为1950年至2019年，涵盖民事、刑事、宪法等所有法律领域。我们的数据集总共包含约540万份印度法律文档（均为英文），原始文本语料库大小约为27GB。

训练设置

该模型以论文《LEGAL-BERT: 法学院走出的布偶们》中的LEGAL-BERT-SC模型为初始化基础。在我们的工作中，我们将该模型称为LegalBERT，而我们的重新训练模型称为InLegalBERT。我们在自己的数据上进一步训练该模型30万步，执行掩码语言建模（MLM）和下一句预测（NSP）任务。

模型概述

该模型使用与LegalBERT相同的分词器。其配置与bert-base-uncased模型相同：12个隐藏层，768维隐藏维度，12个注意力头，约1.1亿参数。

使用方法

使用该模型获取文本的嵌入/表示：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("law-ai/InLegalBERT")
text = "替换为你的文本"
encoded_input = tokenizer(text, return_tensors="pt")
model = AutoModel.from_pretrained("law-ai/InLegalBERT")
output = model(**encoded_input)
last_hidden_state = output.last_hidden_state

微调结果

我们在3个印度法律数据集上对所有预训练模型进行了微调：

• 法律条文识别（ILSI数据集）[多标签文本分类]：根据法院案件事实识别相关法律条文
• 语义分割（ISS数据集）[句子标注]：将文档分割为事实、论点等7个功能部分
• 法院判决预测（ILDC数据集）[二元文本分类]：预测法院案件的诉求是否会被接受/驳回

InLegalBERT在所有三项任务中均优于LegalBERT及我们使用的其他基线/变体。详见我们的论文。

引用

@inproceedings{paul-2022-pretraining,
  url = {https://arxiv.org/abs/2209.06049},
  author = {Paul, Shounak and Mandal, Arpan and Goyal, Pawan and Ghosh, Saptarshi},
  title = {法律领域的预训练语言模型：印度法律案例研究},
  booktitle = {第19届人工智能与法律国际会议论文集 - ICAIL 2023}
  year = {2023},
}

关于我们

我们是来自印度理工学院卡拉格普尔分校计算机科学与技术系的研究团队。我们的研究兴趣主要是法律领域的机器学习和自然语言处理应用，特别关注印度法律场景的挑战与机遇。我们目前和曾经从事的法律任务包括：

• 法律文档的命名实体识别、摘要生成
• 法律文档的语义分割
• 基于事实的法律条文识别、法院判决预测
• 法律文档匹配

我们的公开代码和数据集可在此处找到。