许可证：cc0-1.0
语言：

• 马耳他语
  标签：
• MaltBERTa
• MaCoCu

模型描述

XLMR-MaltBERTa 是一个基于马耳他语文本大规模预训练的语言模型。该模型通过在XLM-RoBERTa-large模型基础上继续训练得到，由格罗宁根大学的Rik van Noord作为MaCoCu项目的主要开发者完成。

XLMR-MaltBERTa的训练数据包含3.2GB文本（相当于4.39亿词元），以1024的批次大小训练了50,000步。模型沿用原始XLMR-large的词表，训练数据与MaltBERTa相同，但本模型采用RoBERTa架构从头开始训练。

完整训练与微调流程详见Github仓库。

使用方法

from transformers import AutoTokenizer, AutoModel, TFAutoModel  

tokenizer = AutoTokenizer.from_pretrained("RVN/XLMR-MaltBERTa")  
model = AutoModel.from_pretrained("RVN/XLMR-MaltBERTa") # PyTorch版本  
model = TFAutoModel.from_pretrained("RVN/XLMR-MaltBERTa") # Tensorflow版本  

训练数据

训练数据整合了MaCoCu、Oscar和mc4语料库中所有马耳他语文本，经过去重处理后共计3.2GB。

基准测试表现

我们在Universal Dependencies项目的UPOS/XPOS基准以及谷歌翻译版COPA数据集（详见Github仓库）上测试了模型性能。对比模型包括未包含马耳他语训练的XLMR-base/XLMR-large、马耳他语新模型BERTu/mBERTu及我们自研的MaltBERTa。微调参数设置详见Github。

UPOS/XPOS取3次运行均值，COPA取10次运行均值。UPOS/XPOS采用统一超参，COPA基于开发集优化。

致谢

研究使用Google TPU研究云(TRC)提供的Cloud TPU支持。作者受欧盟连接欧洲设施2014-2020计划（CEF Telecom）资助，项目编号INEA/CEF/ICT/A2020/2278341（MaCoCu）。

引用

若使用本模型，请引用以下论文：

@inproceedings{non-etal-2022-macocu,  
    title = "{M}a{C}o{C}u: 面向低资源语言的大规模单语与双语数据收集及整理",  
    author = "Ba{\~n}{\'o}n, Marta 等",  
    booktitle = "欧洲机器翻译协会第23届年会论文集",  
    month = "6月",  
    year = "2022",  
    address = "比利时根特",  
    publisher = "欧洲机器翻译协会",  
    url = "https://aclanthology.org/2022.eamt-1.41",  
    pages = "303--304"  
}