语言:

• 冰岛语
• 丹麦语
• 瑞典语
• 挪威语
• 法罗语

示例输入:

• 文本: "娇小的啊，我不愿变得固执"
• 文本: "现在我明白你害怕，甚至不愿拒绝将独子交给我"
• 文本: "这是上的春风，凛冽呼啸的风"
• 文本: "是的，愿上帝保佑，我的祖国"
• 文本: "中的所有动物都应是朋友"

标签:

• 罗伯塔模型
• 冰岛语
• 挪威语
• 法罗语
• 丹麦语
• 瑞典语
• 掩码语言模型
• PyTorch框架

许可证: AGPL-3.0

训练数据集:

• vesteinn/FC3
• vesteinn/IC3
• mideind/冰岛语通用爬虫语料库-IC3
• NbAiLab/NCC
• DDSC/丹麦语部分十亿词库（不含推特）

斯堪的纳维亚BERT模型

重要提示：本模型已于2022-09-27更新

模型训练数据如下表所示。批量大小为8.8k，在24张V100显卡上训练72个周期，耗时约两周。

注：早期曾发布过半成品模型，现已移除。当前为完整更新版本。

这是一个基于大量丹麦语、法罗语、冰岛语、挪威语和瑞典语文本训练的斯堪的纳维亚BERT模型。目前在ScandEval排行榜（https://scandeval.github.io/pretrained/）上位列榜首。

若使用本模型，请引用：

@inproceedings{snaebjarnarson-etal-2023-transfer,
    title = "{低资源语言的亲属语言迁移：以法罗语为例}",
    author = "斯内比亚尔纳松, 维斯坦恩 和 
      西蒙森, 安妮卡 和 
      格拉瓦什, 戈兰 和 
      武利奇, 伊万",
    booktitle = "第24届北欧计算语言学会议论文集(NoDaLiDa)",
    month = "5月22-24日",
    year = "2023",
    address = "法罗群岛托尔斯港",
    publisher = {瑞典林雪平大学出版社},
}