语言:

• 意大利语 标签:
• 文本生成
• 摘要生成
• 法律人工智能
• 意大利法律 许可证: MIT 数据集:
• joelniklaus/Multi_Legal_Pile 库名称: transformers 管道标签: 文本生成 小部件:
  • 文本: " 1234: 合同视为成立当..." 基础模型:
• morenolq/bart-it

📌 模型卡片：LEGIT-BART系列

🏛️ 模型概述

LEGIT-BART模型是一系列基于Transformer的预训练模型，专为意大利法律文本处理设计。
它们基于BART-IT (morenolq/bart-it)，并在意大利法律语料库上进行了进一步预训练。

💡 主要特点：

• 采用局部-稀疏-全局注意力机制(LSG)扩展上下文长度（最高支持16,384个标记）📜
• 训练数据包含法规、判例法和合同等法律文件📑
• 未针对特定任务微调（需要进一步适配）

📂 可用模型

🛠️ 模型详情

🔹 架构

• 基础模型: morenolq/bart-it
• Transformer编码器-解码器结构
• LSG注意力机制处理长文档
• 针对从头训练模型的专用分词器（实验表明持续预训练效果更优）

🔹 训练数据

• 数据集: joelniklaus/Multi_Legal_Pile
• 使用的法律文本类型：
  • 立法文件（法律、法典、修正案）
  • 司法判例（法院判决）
  • 合同文书（公共法律协议）

🚀 使用示例

from transformers import BartForConditionalGeneration, AutoTokenizer

# 加载分词器和模型
model_name = "morenolq/LEGIT-SCRATCH-BART"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 示例输入
input_text = "<mask> 1234: 合同视为成立当..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True)

# 预训练模型填充掩码
output_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
output_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝:", output_text)

⚠️ 限制与伦理考量

• 未针对特定任务微调：这些模型仅预训练于法律文本，需针对具体法律NLP任务（如摘要生成、问答）进行适配
• 偏见与公平性：法律文本可能包含司法体系中的固有偏见，使用时需注意公平性和伦理问题
• 法律建议：本模型不能替代专业法律意见，重要法律事务请咨询执业律师

📚 参考文献

关于LEGIT-BART模型的论文正在审稿中，发表后将更新于此。

@article{benedetto2025legitbart,
	title        = {LegItBART: 意大利法律文档摘要模型},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {人工智能与法律},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}