语言:

• 希伯来语
  标签:
• 语言模型
  许可证: apache-2.0
  数据集:
• oscar
• 维基百科
• 推特

AlephBERT

希伯来语语言模型

针对希伯来语的尖端语言模型。
基于谷歌的BERT架构 (Devlin et al. 2018)。

使用方法

from transformers import BertModel, BertTokenizerFast  

alephbert_tokenizer = BertTokenizerFast.from_pretrained('onlplab/alephbert-base')  
alephbert = BertModel.from_pretrained('onlplab/alephbert-base')  

# 如未进行微调 - 关闭dropout  
alephbert.eval()  

训练数据

1. OSCAR (Ortiz, 2019) 希伯来语部分（10 GB文本，2000万句）。
2. 维基百科希伯来语转储 Wikipedia（650 MB文本，300万句）。
3. 从推特样本流收集的希伯来语推文（7 GB文本，7000万句）。

训练流程

在DGX机器（8块V100 GPU）上使用标准huggingface训练流程进行训练。

由于训练数据大部分基于推文，我们决定首先仅通过掩码语言模型损失进行优化。

为优化训练时间，我们根据最大标记数将数据分为4部分：

1. 标记数 < 32（7000万句）
2. 32 <= 标记数 < 64（1200万句）
3. 64 <= 标记数 < 128（1000万句）
4. 128 <= 标记数 < 512（150万句）

每部分首先以初始学习率1e-4训练5轮，随后以初始学习率1e-5再训练5轮，总计10轮。

总训练时间为8天。