language: fa license: apache-2.0

ParsBERT (v2.0)

基于Transformer的波斯语理解模型

我们重构了词汇表并在新波斯语语料库上微调了ParsBERT v1.1版本，旨在拓展ParsBERT在其他领域的应用功能！ 关于历史及当前模型的最新信息，请关注ParsBERT代码库。

波斯语命名实体识别 [ARMAN, PEYMA]

本任务旨在从文本中提取命名实体（如人名）并标注相应的NER类别（如地点、机构等）。所用数据集采用IOB标注格式：非实体标记为"O"，实体首词标记为"B"，同一实体的后续词标记为"I"。"B"和"I"后接连字符（或下划线）及实体类别。因此NER任务是一个多类别词元分类问题，需对输入原始文本进行词元标注。波斯语NER主要使用ARMAN和PEYMA两个数据集。

ARMAN数据集

ARMAN包含7,682个句子，标注了250,015个词元，涵盖六大类别：

1. 组织机构
2. 地点
3. 设施
4. 事件
5. 产品
6. 人物

下载地址 可从此处获取数据集

性能表现

下表对比了ParsBERT与其他模型架构的F1分数：

使用指南 :hugs:

教程文档	说明
Pipeline使用教程	通过transformers库高效使用SOTA模型处理下游任务

引用格式

发表论文时请按以下格式引用：

@article{ParsBERT,
    title={ParsBERT: 基于Transformer的波斯语理解模型},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

问题反馈？

请在ParsBERT Issues代码库提交Github工单。