language: da widget:

• text: 一种趋势，可能会变得和一样热门。 tags:
• roberta
• danish
• masked-lm
• pytorch license: cc-by-4.0

丹麦BERT

这是丹麦BERT，一个丹麦语言模型。请注意，直接使用时不应在掩码前添加空格！

该模型在丹麦语的ScandEval基准测试中表现最佳，属于基础规模模型。

丹麦BERT是在丹麦Gigaword语料库（Strømberg-Derczynski等人，2021）上训练的。

丹麦BERT使用fairseq框架，采用RoBERTa-base配置进行训练。模型训练批次大小为2k，使用16张V100显卡训练至收敛，共进行了50万步训练，耗时约两周。

如果您发现此模型有用，请引用：

@inproceedings{snaebjarnarson-etal-2023-transfer,
    title = "{T}ransfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese",
    author = "Snæbjarnarson, Vésteinn  and
      Simonsen, Annika  and
      Glavaš, Goran  and
      Vulić, Ivan",
    booktitle = "Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa)",
    month = "may 22--24",
    year = "2023",
    address = "Tórshavn, Faroe Islands",
    publisher = {Link{\"o}ping University Electronic Press, Sweden},
}