许可证: cc0-1.0 语言:

• 马耳他语 标签:
• MaltBERTa
• MaCoCu

模型描述

MaltBERTa 是一个基于马耳他语文本大规模预训练的语言模型。该模型采用RoBERTa架构从头开始训练，是MaCoCu项目的成果，由格罗宁根大学的Rik van Noord主导开发。

模型训练数据量为3.2GB文本（相当于4.39亿词元），训练步数为10万步，批次大小为1024。

完整训练与微调流程详见我们的GitHub仓库。

使用方式

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("RVN/MaltBERTa")
model = AutoModel.from_pretrained("RVN/MaltBERTa") # PyTorch版本
model = TFAutoModel.from_pretrained("RVN/MaltBERTa") # TensorFlow版本

训练数据

训练数据整合了MaCoCu、Oscar和mc4语料库中的所有马耳他语内容。经过去重处理后，最终使用3.2GB文本。实验表明，相较于仅采用.mt域数据，使用全量数据能获得更优性能。

基准测试表现

我们在通用依存项目的UPOS/XPOS基准以及谷歌翻译版COPA数据集（参见GitHub仓库）上评估模型性能。对比对象包括未包含马耳他语训练的XLM-R-base/large多语言模型，以及近期发布的BERTu、mBERTu等马耳他语专用模型。微调参数详见GitHub。

UPOS/XPOS取3次运行均值，COPA取10次运行均值。UPOS/XPOS采用统一超参，COPA基于开发集优化。

致谢

本研究使用Google TPU研究云(TRC)提供的Cloud TPU完成。作者团队获得欧盟连接欧洲设施2014-2020计划（CEF Telecom）资助，项目编号INEA/CEF/ICT/A2020/2278341（MaCoCu）。

引用规范

使用本模型请引用以下论文：

@inproceedings{non-etal-2022-macocu,
    title = "{M}a{C}o{C}u：面向低资源语言的大规模单双语数据采集与整理",
    author = "Ba{\~n}{\'o}n, Marta 等",
    booktitle = "第23届欧洲机器翻译协会年会论文集",
    month = "6月",
    year = "2022",
    address = "比利时根特",
    publisher = "欧洲机器翻译协会",
    url = "https://aclanthology.org/2022.eamt-1.41",
    pages = "303--304"
}