language: zh pipeline_tag: fill-mask license: cc-by-sa-4.0 tags:

• 法律
• 长文档 model-index:
• name: lexlms/legal-longformer-base results: [] widget:
• text: "申请人声称其丈夫在警方拘留期间遭受了相当于的待遇。"
• text: "本协议由通用汽车公司与约翰·穆雷签订。"
• text: "建立动物识别登记体系及牛肉产品标签管理制度。"
• text: "由于法院在判决前批准了，实质上代行了上诉法院职能并审理被告上诉。" datasets:
• lexlms/lex_files

法律长文本模型（基础版）

本模型是基于LexLM（基础版）RoBERTa模型的衍生版本。模型参数完全继承原始模型，同时参照Beltagy等人(2020)的方法，通过类似此脚本(https://github.com/allenai/longformer/blob/master/scripts/convert_model_to_long.ipynb)的Python程序对位置嵌入进行多次复制扩展。

模型说明

LexLM（基础版/大型版）是我们最新发布的RoBERTa法律语言模型系列，开发过程遵循以下最佳实践：

• 模型初始化采用Liu等人(2019)原始RoBERTa基础/大型检查点
• 训练包含5万BPE单元的新分词器，但对词汇重叠的标记复用原始嵌入(Pfeiffer等人,2021)
• 在LeXFiles多法域语料库上继续预训练100万步：基础版采用512样本批次和20%掩码率，大型版采用30%掩码率(Wettig等人,2022)
• 采用Conneau等人(2019)的指数平滑句子采样器，平衡各子语料库的标记比例差异，防止过拟合
• 与当前主流预训练模型一致，本系列采用混合大小写形式

文献引用

Ilias Chalkidis*, Nicolas Garneau*, Catalina E.C. Goanta, Daniel Martin Katz, Anders Søgaard. LeXFiles与LegalLAMA：推动英语跨国法律语言模型发展. 2022. 发表于第61届计算语言学协会年会论文集. 加拿大多伦多.

@inproceedings{chalkidis-garneau-etal-2023-lexlms,
    title = {{LeXFiles与LegalLAMA：推动英语跨国法律语言模型发展}},
    author = "Chalkidis*, Ilias and 
              Garneau*, Nicolas and
              Goanta, Catalina and 
              Katz, Daniel Martin and 
              Søgaard, Anders",
    booktitle = "第61届计算语言学协会年会论文集",
    month = 7月,
    year = "2023",
    address = "加拿大多伦多",
    publisher = "计算语言学协会",
    url = "https://arxiv.org/abs/2305.07507",
}