language: hi

印地语语言模型

基于ELECTRA基础规模设置训练

分词与训练CoLab

示例笔记本

该模型在印地语电影评论/情感分析任务上表现优于多语言BERT（使用SimpleTransformers框架）

通过ktrain + TensorFlow组合可获取更高准确率，支持调整学习率等超参数：https://colab.research.google.com/drive/1mSeeSfVSOT7e-dVhPlmSsQRvpn6xC05w?usp=sharing

MLQA数据集问答任务演示：https://colab.research.google.com/drive/1i6fidh2tItf_-IDkljMuaIGmEU6HT2Ar#scrollTo=IcFoAHgKCUiQ

较小模型（Hindi-BERT）在BBC新闻分类任务中表现更优。

语料库

包含两个文件：

• 经OSCAR去重的印地语CommonCrawl数据 https://traces1.inria.fr/oscar/
• 最新印地语维基百科（https://dumps.wikimedia.org/hiwiki/）经WikiExtractor提取的文本

附加说明：

• 加入英文维基文本或平行语料可提升跨语言任务表现

词汇表

https://drive.google.com/file/d/1-6tXrii3tVxjkbrpSJE9MOG_HhbvP66V/view?usp=sharing

附加说明：

• 使用HuggingFace Tokenizers生成；可扩展词汇表规模后重新训练，需同步调整ELECTRA的vocab_size参数

训练

按以下结构组织文件（此处数据目录命名为"trainer"）：

trainer
- vocab.txt
- pretrain_tfrecords
-- (所有.tfrecord...文件)
- models
-- 模型名称
--- checkpoint
--- graph.pbtxt
--- model.*

转换

将训练中或已完成的ELECTRA检查点转换为Transformers兼容格式：

git clone https://github.com/huggingface/transformers
python ./transformers/src/transformers/convert_electra_original_tf_checkpoint_to_pytorch.py
  --tf_checkpoint_path=./models/检查点目录
  --config_file=config.json
  --pytorch_dump_path=pytorch_model.bin
  --discriminator_or_generator=discriminator
python

from transformers import TFElectraForPreTraining
model = TFElectraForPreTraining.from_pretrained("./包含pytorch的目录", from_pt=True)
model.save_pretrained("tf")

当目录中包含同级的config.json、pytorch_model.bin、tf_model.h5、special_tokens_map.json、tokenizer_config.json和vocab.txt文件后，执行：

transformers-cli upload 目录名