许可证：MIT
语言：

• 越南语

PhoBERT：越南语预训练语言模型

预训练的PhoBERT模型是当前越南语最先进的语言模型（Pho，即越南美食“Phở”）：

• “base”和“large”两个版本的PhoBERT是首个针对越南语公开的大规模单语预训练语言模型。PhoBERT的预训练方法基于RoBERTa，通过优化BERT的预训练流程以实现更鲁棒的性能。
• PhoBERT在性能上超越了之前的单语和多语种方法，在越南语四项下游NLP任务（词性标注、依存句法分析、命名实体识别和自然语言推理）中均取得了最先进的表现。

PhoBERT的整体架构和实验结果详见我们发表在EMNLP-2020 Findings的论文：

@article{phobert,  
title     = {{PhoBERT: Pre-trained language models for Vietnamese}},  
author    = {Dat Quoc Nguyen and Anh Tuan Nguyen},  
journal   = {Findings of EMNLP},  
year      = {2020}  
}  

若使用PhoBERT发表研究成果或将其集成到其他软件中，请引用上述论文。

更多信息或需求，请访问PhoBERT主页！