赫伯特模型

赫伯特 是一个基于BERT架构的波兰语预训练语言模型，采用动态全词掩码的掩码语言建模（MLM）和句子结构目标（SSO）进行训练。更多技术细节请参阅论文：《赫伯特：面向波兰语的高效基于Transformer预训练语言模型》。

模型训练与实验基于2.9版本的transformers库实现。

训练语料

模型训练使用了六个波兰语语料库：

分词器

采用字符级字节对编码（CharBPETokenizer）将文本切分为5万词符的子词单元，分词器通过tokenizers库训练完成。

推荐使用HerbertTokenizerFast快速分词器版本。

使用示例

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-base-cased")
model = AutoModel.from_pretrained("allegro/herbert-base-cased")

output = model(
    **tokenizer.batch_encode_plus(
        [
            (
                "老人牵着肥胖的杂种狗蹒跚在尘土飞扬的道路中央，双脚拖曳着地面。",
                "这时一个手持酒瓶的男孩从林间窜出，看见路边的神父后立即绕道远行，穿过田野朝酒馆奔去。"
            )
        ],
    padding='longest',
    add_special_tokens=True,
    return_tensors='pt'
    )
)

许可协议

知识共享署名4.0国际许可协议（CC BY 4.0）

引用文献

若使用本模型，请引用以下论文：

@inproceedings{mroczkowski-etal-2021-herbert,
    title = "{H}er{BERT}: Efficiently Pretrained Transformer-based Language Model for {P}olish",
    author = "Mroczkowski, Robert  and
      Rybak, Piotr  and
      Wr{\\'o}blewska, Alina  and
      Gawlik, Ireneusz",
    booktitle = "Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing",
    month = apr,
    year = "2021",
    address = "Kiyv, Ukraine",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.bsnlp-1.1",
    pages = "1--10",
}

研发团队

本模型由Allegro机器学习研究团队与波兰科学院计算机科学研究所语言工程组联合研发。

联系邮箱：klejbenchmark@allegro.pl