语言: 泰语

BERT-泰语版

本项目基于https://github.com/ThAIKeras/bert适配HuggingFace/Transformers库

预分词处理

必须运行原始泰语分词器，才能使分词结果与原始模型匹配。若跳过此步骤，效果将不优于mBERT或随机结果！

参考此CoLab笔记本或按以下步骤操作：

pip install pythainlp six sentencepiece python-crfsuite
git clone https://github.com/ThAIKeras/bert
# 从ThAIKeras/bert的Tokenization部分下载.vocab和.model文件

或直接下载.vocab文件与.model文件。

随后设置ThaiTokenizer类——此处稍作修改以移除TensorFlow依赖：

（此处保留原代码块，内容为泰语分词器实现）

文本预分词示例：

（此处保留原代码块，展示泰语句子分割与分词过程）

原始README内容如下：

谷歌BERT是目前最先进的文本表示预训练方法，并提供多语言模型。遗憾的是，泰语是103种语言中唯一因分词困难被排除的语言。

BERT-泰语版提供基于BERT-Base架构的泰语专用预训练模型，现可下载：

• BERT-Base, 泰语版：BERT-Base架构，泰语专用模型

本项目包含相关代码脚本及预训练模型，均为原始BERT项目的修改版本。

预处理

数据源

训练数据来自2018年11月2日的泰语维基百科最新文章 dump，使用WikiExtractor提取原始文本。

句子分割

泰语无显式句子终止符，需通过空格、句子长度及常见连词等启发式方法处理。预处理后训练语料含约200万句子、4000万词（按PyThaiNLP分词统计）。预处理文本可在此下载。

分词

采用BPEmb预训练的25000词表SentencePiece模型，并添加BERT特殊标记。相关文件可在此下载。

预训练

数据准备脚本：

（保留原命令参数说明）

模型训练脚本（Tesla K80 GPU耗时约20天）：

（保留原训练参数说明）

下游分类任务

XNLI

使用泰语翻译训练数据时需移除词间空格。处理后的XNLI泰语数据在此。测试结果对比：

Wongnai评论数据集

餐馆评论星级分类任务（1-5星），数据集见此。未经额外预处理即可达到公开测试集0.56612/私有测试集0.57057的分数。