语言:

• 西班牙语 许可证: mit 小部件示例:
• 文本: "Manuel Romero与BERTIN团队共同开发了一个能处理长文档的模型。" 标签:
• 长文档处理
• longformer
• bertin
• 西班牙语 数据集:
• 西班牙语大型语料库

西班牙语longformer-base-4096模型

Longformer是专为长文档设计的Transformer模型。

longformer-base-4096是基于RoBERTa检查点（此处为BERTIN）开发的类BERT模型，通过长文档（源自BETO的all_wikis语料）的掩码语言建模任务进行预训练。该模型支持最高4,096个token的序列长度！

Longformer创新性地结合了滑动窗口（局部）注意力与全局注意力机制。全局注意力可根据具体任务需求进行配置，使模型能学习任务特定的表示方式。

本模型依据Iz Beltagy、Matthew E. Peters和Arman Cohan的研究成果开发。

引用

如需引用本模型，请使用以下格式：

@misc{mromero2022longformer-base-4096-spanish,
  title={Manuel Romero开发的西班牙语LongFormer},
  author={Romero, Manuel},
  publisher={Hugging Face},
  journal={Hugging Face技术中心},
  howpublished={\url{https://huggingface.co/mrm8488/longformer-base-4096-spanish}},
  year={2022}
}