ParsBERT：基于Transformer的波斯语理解模型

ParsBERT是基于谷歌BERT架构的单语种语言模型，其配置与BERT-Base相同。

相关论文：arXiv:2005.12515

所有下游任务模型均为小写形式，并采用全词掩码训练（即将推出，敬请期待）。

波斯语命名实体识别（NER）[ARMAN、PEYMA、ARMAN+PEYMA]

本任务旨在从文本中提取命名实体（如人名），并标注适当的NER类别（如地点、机构等）。所用数据集采用IOB标注格式——非实体词标记为"O"，实体首词标记为"B"，同一实体的后续词标记为"I"。"B"和"I"标签后接连字符（或下划线）及实体类别。因此NER任务实质是对原始文本进行多类别词元分类。波斯语NER主要使用ARMAN和PEYMA两个数据集，ParsBERT为这两个数据集及其组合版本均提供了支持。

PEYMA数据集

包含7,145个句子，共计302,530个词元，其中41,148个词元被标注为7类：

1. 机构
2. 货币
3. 地点
4. 日期
5. 时间
6. 人名
7. 百分比

下载地址
点击获取数据集

ARMAN数据集

包含7,682个句子，250,015个词元标注为6类：

1. 机构
2. 地点
3. 设施
4. 事件
5. 产品
6. 人名

下载地址
GitHub仓库获取

性能对比

下表展示了ParsBERT与其他模型的F1分数对比：

使用指南

笔记本文件	说明	链接
Pipeline使用教程	通过transformers快速调用SOTA模型

引用规范

若研究中使用ParsBERT，请引用：

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

致谢

特别感谢Tensorflow研究云计划(TFRC)提供的算力支持，以及Hooshvare研究组在数据收集和网络文本抓取方面的协助。

核心贡献者

• Mehrdad Farahani：领英、推特、GitHub
• Mohammad Gharachorloo：领英、推特、GitHub
• Marzieh Farahani：领英、推特、GitHub
• Mohammad Manthouri：领英、推特、GitHub
• Hooshvare团队：官网、领英、推特、GitHub、Instagram

特别鸣谢Sara Tabrizi设计的精美海报：领英、Behance、Instagram

版本发布

v0.1（2019年5月29日）

首次发布ParsBERT NER模型！