语言: 中文 标签:

• 长文档模型
• 跨文档语言建模 许可证: Apache-2.0 推理: 不支持

跨文档语言建模

CDLM: 跨文档语言建模模型。 Avi Caciularu, Arman Cohan, Iz Beltagy, Matthew E Peters, Arie Cattan 和 Ido Dagan。发表于EMNLP Findings 2021。论文全文

请注意，在预训练过程中我们使用了文档和句子分隔符，您可能需要在数据中添加这些符号。文档分隔符为<doc-s>和</doc-s>（词汇表中最后两个标记），句子分隔符分别为<s>和</s>。

from transformers import AutoTokenizer, AutoModel
# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained('biu-nlp/cdlm')
model = AutoModel.from_pretrained('biu-nlp/cdlm')

原始代码库位于此处。

如果您认为我们的工作有帮助，请引用以下论文：

@article{caciularu2021cross,
  title={跨文档语言建模},
  author={Caciularu, Avi and Cohan, Arman and Beltagy, Iz and Peters, Matthew E and Cattan, Arie and Dagan, Ido},
  journal={计算语言学协会发现: EMNLP 2021},
  year={2021}
}