标签:

• 摘要生成
• BART模型

语言:

• 法语

功能演示:

• 文本示例: "巴特兹是世界最佳<掩码>。"

许可证: Apache-2.0

管道标签: "填充掩码"

这是一个基于BART架构的法语序列到序列预训练模型。
BARThez通过重建被破坏的输入句子进行预训练，使用了66GB法语原始文本语料库进行预训练。
与现有的基于BERT的法语模型（如CamemBERT和FlauBERT）不同，BARThez特别适合生成式任务（如抽象摘要），因为其不仅预训练了编码器，还预训练了解码器。

除了从头预训练的BARThez外，我们还对多语言BART模型mBART进行了持续预训练，显著提升了其在判别式和生成式任务中的性能。我们将这个法语适配版本称为mBARThez。

论文: https://arxiv.org/abs/2010.12321
GitHub仓库: https://github.com/moussaKam/BARThez

@article{eddine2020barthez,
  标题={BARThez：一个专业的法语序列到序列预训练模型},
  作者={Eddine, Moussa Kamal 和 Tixier, Antoine J-P 以及 Vazirgiannis, Michalis},
  期刊={arXiv预印本 arXiv:2010.12321},
  年份={2020}
}