标签:

• 计算机科学
• 填充掩码

CZERT

本仓库保存了论文《Czert – 捷克语类BERT语言表示模型》中经过训练的Czert-B-base-cased-long-zero-shot模型（论文链接：https://arxiv.org/abs/2103.13031）。更多信息请参阅论文。

此为未经长文档微调的Czert-B-base-cased长版本模型，其位置嵌入通过简单重复原始Czert-B模型的位置嵌入生成。分词请使用BertTokenizer，不可与AutoTokenizer共用。

可用模型

可下载仅MLM & NSP预训练的模型： CZERT-A-v1
CZERT-B-v1

后续实验发现分词器配置导出有误：CZERT-B-v1中"do_lower_case"参数误设为true，CZERT-A-v1中"strip_accents"参数误设为true。v2版本已修复： CZERT-A-v2
CZERT-B-v2

或选择微调模型：

使用指南

句子级任务

评估任务：

• 情感分类
• 语义文本相似度

文档级任务

评估任务：

• 多标签文档分类

词元级任务

评估任务：

• 命名实体识别
• 形态标注
• 语义角色标注

下游任务微调结果

（性能对比表格保持原格式，此处仅展示部分关键数据）

情感分类

语义文本相似度

（表格显示CZERT-B在STA-CNA任务上以84.345±0.028领先）

多标签文档分类

（CZERT-B在AUROC(98.00±0.04)和F1(85.06±0.11)上均最优）

形态标注

（CZERT-B以99.300±0.009的F1得分领先）

语义角色标注

（CZERT-B在span F1(81.861±0.102)和syntax F1(91.462±0.062)上最优）

命名实体识别

（CZERT-B在BSNLP 2019任务中以86.729±0.344领先）

许可协议

本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议（CC BY-NC-SA 4.0）。

引用方式

请引用Arxiv论文：

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}