语言:

• 希伯来语
  标签:
• 语言模型
  许可证: Apache-2.0
  数据集:
• OSCAR语料库
• 维基百科
• 推特数据

AlephBERT模型

希伯来语语言模型

当前最先进的希伯来语语言模型。
基于谷歌BERT架构 (Devlin等, 2018)。

使用方法

from transformers import BertModel, BertTokenizerFast

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')

# 如未进行微调 - 请关闭dropout
alephbert.eval()

训练数据

1. OSCAR语料库 (Ortiz, 2019) 希伯来语部分（10GB文本，2000万句）
2. 希伯来语维基百科数据转储（650MB文本，300万句）
3. 从推特样本流收集的希伯来语推文（7GB文本，7000万句）

训练流程

使用标准huggingface训练流程在DGX服务器（8块V100显卡）上完成训练。

由于训练数据主要来源于推文，我们决定首先仅通过掩码语言模型损失进行优化。

为优化训练时间，我们根据最大token数量将数据分为4个部分：

1. token数 < 32（7000万句）
2. 32 ≤ token数 < 64（1200万句）
3. 64 ≤ token数 < 128（1000万句）
4. 128 ≤ token数 < 512（150万句）

每个部分首先以1e-4的初始学习率训练5个epoch，接着以1e-5的初始学习率再训练5个epoch，共计10个epoch。

总训练时长为8天。