language: ta

TaMillion 泰米尔语模型

这是基于谷歌研究团队ELECTRA框架训练的第二版泰米尔语模型。

分词与预训练协作笔记本：https://colab.research.google.com/drive/1Pwia5HJIb6Ad4Hvbx5f-IjND-vCaJzSE?usp=sharing

V1版本：GPU训练的轻量模型；190,000训练步数；

V2版本（当前）：TPU训练的基础模型，采用更大规模语料库；224,000训练步数

分类任务表现

Sudalai Rajkumar的泰米尔语NLP页面包含分类与回归任务： https://www.kaggle.com/sudalairajkumar/tamil-nlp

实践笔记：https://colab.research.google.com/drive/1_rW9HZb6G87-5DraxHvhPOzGmSMUc67_?usp=sharin

本模型在新闻分类任务上超越mBERT： （随机基准：16.7%，mBERT：53.0%，TaMillion：75.1%）

在电影评论情感分析任务上小幅领先： （均方根误差 - mBERT：0.657，TaMillion：0.626）

在《蒂鲁古拉尔》经典文本主题分类任务中达到同等准确率。

问答系统适配

虽未发现现成的泰米尔语问答数据集，但本模型可通过微调训练构建问答系统。参考印地语和孟加拉语实现案例：https://colab.research.google.com/drive/1i6fidh2tItf_-IDkljMuaIGmEU6HT2Ar

训练语料

融合以下资源： IndicCorp泰米尔语语料（11GB）https://indicnlp.ai4bharat.org/corpora/ 及2020年10月1日版本的泰米尔维基百科数据（482MB）https://ta.wikipedia.org

词表文件

随模型上传的vocab.txt文件包含完整词汇表