license: mit

BERTweet：面向英文推文的预训练语言模型

BERTweet是首个针对英文推文进行大规模预训练的公开语言模型。其训练流程基于RoBERTa预训练方法。用于预训练BERTweet的语料库包含8.5亿条英文推文（160亿词元~80GB），其中包含2012年1月至2019年8月期间发布的8.45亿条推文，以及500万条与COVID-19疫情相关的推文。关于BERTweet的整体架构和实验结果，请参阅我们的论文：

@inproceedings{bertweet,
title     = {{BERTweet: 面向英文推文的预训练语言模型}},
author    = {Dat Quoc Nguyen and Thanh Vu and Anh Tuan Nguyen},
booktitle = {2020年自然语言处理实证方法会议：系统演示论文集},
pages     = {9--14},
year      = {2020}
}

使用BERTweet生成发表成果或将其集成到其他软件时，请引用我们的论文。

如需了解更多信息或提出请求，请访问BERTweet主页！

主要成果