license: mit language:

• de tags:
• RoBERTa
• GottBERT
• BERT

GottBERT：纯德语语言模型

GottBERT是首个专为德语设计的RoBERTa模型，基于首版OSCAR数据集的德语部分进行预训练。该模型旨在为德语自然语言处理（NLP）任务提供增强性能，包括命名实体识别（NER）、文本分类和自然语言推理（NLI）。GottBERT开发了基础版和大模型版两个版本，专门针对德语任务优化。

• 模型类型: RoBERTa
• 语言: 德语
• 基础模型: 12层，1.25亿参数
• 大模型: 24层，3.55亿参数
• 许可协议: MIT

详情参见论文GottBERT: a pure German Language Model。

预训练细节

• 语料库: OSCAR数据集的德语部分（来自Common Crawl）。
• 数据规模:
  • 未过滤: 145GB（约4.59亿文档）
  • 过滤后: 121GB（约3.82亿文档）
• 预处理: 包括纠正编码错误（如错误的变音符号）、通过语言检测和句法过滤移除垃圾和非德语文档。

过滤指标

• 停用词比例: 检测垃圾和无意义内容。
• 标点比例: 检测异常标点模式。
• 大写词比例: 识别包含过多大写词的文档（通常是噪声内容）。

训练配置

• 框架: Fairseq
• 硬件:
  • 基础模型: 256个TPUv3 pod/128个TPUv4 pod
  • 大模型: 128个TPUv4 pod
• 训练时间:
  • 基础模型: 1.2天
  • 大模型: 5.7天
• 批大小: 8k tokens
• 学习率:
  • 基础版: 峰值LR = 0.0004
  • 大模型版: 峰值LR = 0.00015
• 训练迭代: 10万步（含1万步预热阶段）

评估与结果

GottBERT在多项下游任务中进行了评估：

• NER: CoNLL 2003, GermEval 2014
• 文本分类: GermEval 2018（粗粒度与细粒度）、10kGNAD
• NLI: XNLI的德语子集

评估指标：

• NER和文本分类: F1分数
• NLI: 准确率

说明：

• 粗体数值表示同架构（基础版/大模型）中最佳表现，下划线表示次优表现。

模型架构

• 基础模型: 12层，1.25亿参数，52k词表。
• 大模型: 24层，3.55亿参数，52k词表。

分词器

• 类型: GPT-2字节对编码（BPE）
• 词表大小: 52k子词单元
• 训练数据: 未过滤德语OSCAR语料的40GB子集。

局限性

• 过滤与未过滤数据: 过滤数据仅带来微小改进，并非所有场景都值得额外处理。
• 计算限制: TPU固定内存分配需将数据作为单流处理（不同于GPU训练可保留文档边界）。受框架限制，训练采用32位模式导致内存占用增加。

Fairseq检查点

获取fairseq检查点请访问此处。

引用

若在研究中使用了GottBERT，请引用以下论文：

@inproceedings{scheible-etal-2024-gottbert,
    title = "{G}ott{BERT}: 纯德语语言模型",
    author = "Scheible, Raphael  and
      Frei, Johann  and
      Thomczyk, Fabian  and
      He, Henry  and
      Tippmann, Patric  and
      Knaus, Jochen  and
      Jaravine, Victor  and
      Kramer, Frank  and
      Boeker, Martin",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "2024年自然语言处理实证方法会议论文集",
    month = nov,
    year = "2024",
    address = "美国佛罗里达州迈阿密",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2024.emnlp-main.1183",
    pages = "21237--21250",
}