language: th

WangchanBERTa基础模型：wangchanberta-base-wiki-newmm

基于泰语维基百科语料库预训练的RoBERTa BASE模型。脚本及文档详见此仓库。

模型描述

该预训练模型架构基于RoBERTa [Liu等，2019]。

用途与限制

预训练模型可用于掩码语言建模（即预测输入文本中的掩码标记）。此外，我们还提供针对多分类/多标签文本分类及标记分类任务微调的模型。

多分类文本分类

• wisesight_sentiment

  基于社交媒体帖子和推文的4分类任务（积极、中性、消极和提问）。

• wongnai_reivews

  用户评论星级分类任务（评分范围为1至5星）

• generated_reviews_enth :（以review_star为标签）

  生成的用户评论星级分类任务（评分范围为1至5星）。

多标签文本分类

• prachathai67k

  基于prachathai.com新闻语料库的泰语主题12标签分类任务，详情参见此页面。

标记分类

• thainer

  包含13种命名实体的命名实体识别标注任务，详见此页面。

• lst20 : 命名实体识别与词性标注

  包含10种命名实体的识别标注及16种词性标注任务，详见此页面。

使用方式

WangchanBERTa模型的入门指南可在此Colab笔记本查看。

训练数据

wangchanberta-base-wiki-newmm模型基于泰语维基百科预训练。具体采用2020年8月20日的维基百科文章快照(dumps.wikimedia.org/thwiki/20200820/)，排除了列表和表格内容。

预处理规则

文本按以下规则处理：

• 将不间断空格、零宽不连字符和软连字符替换为普通空格
• 删除首段标题后出现的空括号
• 用<_>替代空格

词汇表采用PyThaiNLP词典分词器newmm生成的词级标记，总词表量达97,982个。

连续采样的句子最大长度不超过512个标记。对超过边界的句子，采用与[Liu等，2019]相同的"FULL-SENTENCES"方法，添加文档分隔符进行分割。

掩码处理中，每个序列随机选择15%的标记进行替换：其中80%替换为，10%保持原样，10%替换为随机标记。

训练/验证/测试集划分

按顺序划分：训练集944,782句，验证集24,863句，测试集24,862句。

预训练配置

使用32块V100 GPU训练31,250步，批次大小8,192（每设备16序列×16累积步数），序列长度512标记。采用Adam优化器（学习率$7e-4$，$\beta_1=0.9$，$\beta_2=0.98$，$\epsilon=1e-6$），前1,250步线性预热学习率后线性衰减。选择验证损失最低的检查点作为最佳模型。

文献引用信息

@misc{lowphansirikul2021wangchanberta,
      title={WangchanBERTa: 基于Transformer的泰语模型预训练}, 
      author={Lalita Lowphansirikul and Charin Polpanumas and Nawat Jantrakulchai and Sarana Nutanong},
      year={2021},
      eprint={2101.09635},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}