language: fa license: apache-2.0

ALBERT波斯语版

面向波斯语的自监督语言表征学习轻量级BERT模型

你可以叫它"小伯特"

ALBERT-Persian是波斯语领域首次尝试ALBERT模型的实践。该模型基于谷歌ALBERT基础版2.0架构，采用与ParsBERT相同的训练方式，使用超过390万份文档、7300万句子和13亿词汇量的多领域语料（涵盖科学、小说、新闻等文体）进行训练。

关于历代模型的最新信息，请关注ALBERT-Persian代码库。

波斯语命名实体识别[ARMAN, PEYMA]

本任务旨在从文本中提取命名实体（如人名）并使用适当NER标签（如地点、机构等）进行标注。所用数据集采用IOB标注格式：非实体标记为"O"，实体首词标记为"B"，同一实体后续词标记为"I"，B/I标签后接连字符（或下划线）和实体类别。NER任务实质上是为原始文本中的词元进行多类别分类。波斯语NER主要使用ARMAN和PEYMA两个数据集。

ARMAN数据集

该数据集包含7,682个句子，标注了250,015个词元，涵盖六类实体：

1. 组织机构
2. 地理位置
3. 设施建筑
4. 事件活动
5. 产品物品
6. 人物姓名

下载地址 可从此处获取数据集

性能表现

下表对比了各模型架构的F1得分：

引用格式

请按以下方式引用：

@misc{ALBERTPersian,
  author = {Mehrdad Farahani},
  title = {ALBERT-Persian: 波斯语自监督语言表征学习轻量级BERT模型},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub代码库},
  howpublished = {\url{https://github.com/m3hrdadfi/albert-persian}},
}

@article{ParsBERT,
    title={ParsBERT: 基于Transformer的波斯语理解模型},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

问题反馈？

请在ALBERT-Persian代码库提交Issue。