🚀 模型卡片：LEGIT-BART系列

LEGIT-BART系列模型是用于意大利法律文本处理的预训练Transformer模型。它基于BART-IT进行进一步预训练，能够处理较长的法律文本，为法律领域的自然语言处理任务提供支持。

🚀 快速开始

以下是使用LEGIT-BART-LSG-16384模型进行文本摘要生成的示例代码：

from transformers import BartForConditionalGeneration, AutoTokenizer

# 加载分词器和模型
model_name = "morenolq/LEGIT-BART-LSG-16384"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 示例输入
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=16384, truncation=True)

# 生成摘要
summary_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝 摘要:", summary)

✨ 主要特性

• 扩展上下文长度：采用Local-Sparse-Global (LSG) 注意力机制，支持长达16,384个标记的输入 📜
• 基于法律文档训练：在法规、判例法和合同等法律文档上进行训练 📑
• 未针对特定任务微调：需要进一步调整以适应特定任务

📦 可用模型

📚 详细文档

模型细节

架构

• 基础模型：morenolq/bart-it
• Transformer编解码器
• LSG注意力机制：适用于长文档处理
• 特定分词器：从头开始训练的模型使用特定的分词器，但在实验中，其性能不如继续预训练的模型。

训练数据

• 数据集：joelniklaus/Multi_Legal_Pile
• 法律文本类型：
  • 立法：包括法律、法规和修正案
  • 判例法：司法判决
  • 合同：公共法律协议

局限性与伦理考量

⚠️ 重要提示

• 未针对特定任务微调：模型在法律文本上进行了预训练，但可能需要进一步调整以适应特定的法律自然语言处理任务（如摘要生成、问答等）。
• 偏差与公平性：法律文本可能包含法律系统中存在的偏差。使用模型时应注意确保公平性和道德性。
• 法律建议：模型不能替代专业的法律建议。在处理法律事务时，请咨询合格的法律专业人士。

引用

介绍LEGIT-BART模型的论文目前正在审核中，发表后将在此更新。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}

📄 许可证

本模型采用MIT许可证。