license: mit language:

• vi

PhoBERT：越南语预训练语言模型

PhoBERT预训练模型是当前越南语最先进的语言模型（Pho即越南特色美食"河粉"）：

• "base"和"large"两个版本的PhoBERT是首个面向越南语的大规模公开单语预训练模型。其预训练方法基于RoBERTa，通过优化BERT预训练流程以获得更强健的性能表现。
• PhoBERT在词性标注、依存句法分析、命名实体识别和自然语言推理四项越南语下游NLP任务中，全面超越之前的单语及多语种解决方案，创下最新性能标杆。

模型整体架构及实验结果详见我们发表在EMNLP-2020 Findings的论文：

@article{phobert,
title     = {{PhoBERT：越南语预训练语言模型}},
author    = {Dat Quoc Nguyen and Anh Tuan Nguyen},
journal   = {Findings of EMNLP},
year      = {2020}
}

若使用PhoBERT促成科研成果或将其集成至其他软件，请务必引用我们的论文。

更多信息或需求请访问PhoBERT项目主页！