🚀 ParsBERT (v2.0)

ParsBERT (v2.0) 是一个基于 Transformer 的波斯语理解模型。我们重构了词汇表，并在新的波斯语语料库上对 ParsBERT v1.1 进行了微调，以便为在其他领域使用 ParsBERT 提供更多功能。

请关注 ParsBERT 仓库，以获取有关先前和当前模型的最新信息。

🚀 快速开始

本项目主要围绕 ParsBERT (v2.0) 模型展开，该模型在波斯语理解任务上有出色表现。下面将详细介绍其在波斯语命名实体识别（NER）任务中的应用。

✨ 主要特性

波斯语命名实体识别 [ARMAN, PEYMA]

此任务旨在从文本中提取命名实体，如人名、地名、组织机构名等，并使用合适的 NER 类别进行标注，例如地点、组织等。用于此任务的数据集包含以 IOB 格式标注的句子。在这种格式中，不属于实体的标记被标记为 ”O”，”B” 标记对应实体的第一个词，”I” 标记对应同一实体的其余词。”B” 和 ”I” 标记后面都跟着一个连字符（或下划线），然后是实体类别。因此，NER 任务是一个多类别标记分类问题，在输入原始文本时对标记进行标注。波斯语 NER 主要使用两个数据集：ARMAN 和 PEYMA。

PEYMA

PEYMA 数据集包含 7145 个句子，总共 302530 个标记，其中 41148 个标记被标记为七个不同的类别：

1. 组织
2. 货币
3. 地点
4. 日期
5. 时间
6. 人物
7. 百分比

下载地址 你可以从 这里 下载该数据集。

模型效果

以下表格总结了 ParsBERT 与其他模型和架构相比所获得的 F1 分数：

💻 使用示例

笔记本	描述
如何使用 Pipelines	通过 transformers 以简单高效的方式在下游任务中使用最先进的模型

📚 详细文档

BibTeX 引用和引用信息

如果您在出版物中使用本模型，请按以下格式引用：

@article{ParsBERT,
    title={ParsBERT: Transformer-based Model for Persian Language Understanding},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

📄 许可证

本项目采用 Apache - 2.0 许可证。

❓ 常见问题

如果您有任何问题，请在 ParsBERT 问题 仓库中发布 GitHub 问题。