语言: 冰岛语 小部件:

• 文本: 今晚我请你吃吗？
• 文本: 总统非常出色。
• 文本: 这汤尝起来。 标签:
• 罗伯塔
• 冰岛语
• 掩码语言模型
• PyTorch 许可证: CC-BY-4.0

IceBERT冰岛语模型

该模型采用fairseq框架基于RoBERTa-base架构训练而成。这是我们为冰岛语开发的众多模型之一，更多技术细节请参阅下文引用的论文。训练数据如下表所示：

引用说明

本模型相关论文详见https://arxiv.org/abs/2201.05601。若使用本模型，请引用该论文。

@inproceedings{snaebjarnarson-etal-2022-warm,
    title = "优质语言模型的秘诀：热启动与清洁爬取语料库",
    author = "Sn{\ae}bjarnarson, V{\'e}steinn 等",
    booktitle = "第十三届语言资源与评估会议论文集",
    year = "2022",
    publisher = "欧洲语言资源协会",
    pages = "4356--4366",
    abstract = "我们训练了包括IceBERT在内的多个冰岛语模型，在词性标注、命名实体识别、语法错误检测和成分句法分析等下游任务中达到最先进水平。通过构建冰岛通用爬虫语料库(IC3)及其他公开数据源（总计16GB文本），证明经过适当清洗的爬取语料足以使中低资源语言获得最佳NLP效果。研究还表明，基于现有多语言模型初始化可显著提升部分下游任务性能。",
}