标签:

• 摘要生成

语言:

• 法语

许可证: apache-2.0

管道标签: "填充掩码"

一个基于BART的法语序列到序列预训练模型。
BARThez通过学会重构被破坏的输入句子进行预训练。预训练使用了66GB的法语原始文本语料库。
与现有的基于BERT的法语语言模型（如CamemBERT和FlauBERT）不同，BARThez特别适合生成任务（如抽象摘要），因为不仅其编码器，其解码器也经过了预训练。

除了从头开始预训练的BARThez外，我们还继续对多语言BART mBART进行预训练，这提升了其在判别和生成任务中的性能。我们称法语适配版本为mBARThez。

论文: https://arxiv.org/abs/2010.12321
GitHub: https://github.com/moussaKam/BARThez

@article{eddine2020barthez,
  title={BARThez: 一个熟练的预训练法语序列到序列模型},
  author={Eddine, Moussa Kamal and Tixier, Antoine J-P and Vazirgiannis, Michalis},
  journal={arXiv 预印本 arXiv:2010.12321},
  year={2020}
}