语言: 波兰语
标签:

• herbert
  许可证: cc-by-4.0

HerBERT

HerBERT 是一个基于BERT架构的波兰语预训练语言模型，采用动态全词掩码的掩码语言建模（MLM）和句子结构目标（SSO）进行训练。更多技术细节请参阅论文：HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish。

模型训练与实验基于transformers库2.9版本实现。

训练语料

HerBERT在六个波兰语语料库上进行训练：

分词器

采用字符级字节对编码（CharBPETokenizer）将文本转换为5万词元的子词单元，分词器通过tokenizers库训练完成。

推荐使用分词器的Fast版本——HerbertTokenizerFast。

使用示例

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-large-cased")
model = AutoModel.from_pretrained("allegro/herbert-large-cased")

output = model(
    **tokenizer.batch_encode_plus(
        [
            (
                "老人牵着肥犬的绳子蹒跚走在尘土飞扬的路中央，双脚拖扫着地面。",
                "这时一个男孩攥着酒瓶从林间窜出，瞧见路旁的神父便远远绕开，横穿田野朝酒馆奔去。"
            )
        ],
    padding='longest',
    add_special_tokens=True,
    return_tensors='pt'
    )
)

许可协议

CC BY 4.0

引用文献

若使用本模型，请引用以下论文：

@inproceedings{mroczkowski-etal-2021-herbert,
    title = "{H}er{B}ERT：面向波兰语的高效基于Transformer的预训练语言模型",
    author = "罗伯特·姆罗茨科夫斯基 和
      皮奥特·雷巴克 和
      阿丽娜·弗罗布莱夫斯卡 和
      伊雷纽什·加夫利克",
    booktitle = "第八届波罗的海-斯拉夫自然语言处理研讨会论文集",
    month = 4月,
    year = "2021",
    address = "乌克兰基辅",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2021.bsnlp-1.1",
    pages = "1-10",
}

研发团队

本模型由Allegro机器学习研究团队与波兰科学院计算机科学研究所语言工程组联合训练。

联系我们：klejbenchmark@allegro.pl