标签:

• cs
• 填充掩码

CZERT

本仓库保存了论文《Czert – 捷克语类似BERT的语言表示模型》Czert – Czech BERT-like Model for Language Representation中训练好的Czert-B模型。更多信息请参阅论文。

可用模型

您可以下载仅MLM & NSP预训练模型： CZERT-A-v1 CZERT-B-v1

经过额外实验后，我们发现分词器配置导出有误。在CZERT-B-v1中，分词器参数"do_lower_case"被错误设置为true；在CZERT-A-v1中，"strip_accents"参数被错误设置为true。

这两个问题已在v2版本修复： CZERT-A-v2 CZERT-B-v2

或选择以下微调模型：

如何使用CZERT？

句子级任务

我们在两个句子级任务上评估模型：

• 情感分类
• 语义文本相似度

文档级任务

我们在一个文档级任务上评估模型：

• 多标签文档分类

词元级任务

我们在三个词元级任务上评估模型：

• 命名实体识别
• 形态标注
• 语义角色标注

下游任务微调结果

情感分类

情感分类任务的平均F1分数。更多信息见论文。

语义文本相似度

预训练模型在语义文本相似度任务上的Pearson相关系数对比。更多信息见论文。

多标签文档分类

多标签文档分类任务的F1和AUROC分数对比。更多信息见论文。

形态标注

形态标注任务的F1分数对比。更多信息见论文。

语义角色标注

语义角色标注结果——dep列使用CoNLL 2009评估脚本计算标记F1，其他列使用与NER评估相同的跨度F1分数。更多信息见论文。

命名实体识别

命名实体识别任务的F1分数对比。更多信息见论文。

许可

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议授权。http://creativecommons.org/licenses/by-nc-sa/4.0/

如何引用CZERT？

目前请引用Arxiv论文：

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}