license: mit

BERTweet：面向英文推文的预训练语言模型

BERTweet是首个针对英文推文进行预训练的大规模公开语言模型。其训练流程基于RoBERTa预训练方法构建。用于预训练BERTweet的语料库包含8.5亿条英文推文（160亿词元~80GB），其中包含2012年1月至2019年8月期间发布的8.45亿条推文，以及与COVID-19疫情相关的500万条推文。关于BERTweet的整体架构和实验结果，请参阅我们的论文：

@inproceedings{bertweet,
title     = {{BERTweet: 面向英文推文的预训练语言模型}},
author    = {Dat Quoc Nguyen and Thanh Vu and Anh Tuan Nguyen},
booktitle = {2020年自然语言处理实证方法会议系统演示论文集},
pages     = {9--14},
year      = {2020}
}

使用时请引用我们的论文，若BERTweet对您发表研究成果或集成到其他软件中有所助益。

更多信息或需求，请访问BERTweet项目主页！