language: fa license: apache-2.0

波斯语ALBERT模型

面向波斯语的自监督语言表征学习轻量级BERT模型

你可以称它为"迷你BERT"

ALBERT-Persian是首个针对波斯语的ALBERT模型尝试。该模型基于谷歌ALBERT基础版2.0架构，在超过390万份文档、7300万句子和13亿单词的多样化波斯语语料（涵盖科学、小说、新闻等多领域文本）上训练而成，训练方式与我们开发ParsBERT时采用的方法一致。

关于历代模型的最新动态，请关注ALBERT-Persian代码库。

波斯语命名实体识别[ARMAN, PEYMA]

本任务旨在从文本中提取命名实体（如人名）并标注对应的实体类别（如地点、机构等）。所用数据集采用IOB标注格式：非实体词标记为"O"；实体首词标记为"B-类别"；实体后续词标记为"I-类别"。因此NER任务实质上是多类别词元分类问题。波斯语NER主要使用ARMAN和PEYMA两个数据集。

PEYMA数据集

PEYMA包含7,145个句子共计302,530个词元，其中41,148个词元被标注为以下七类：

1. 组织机构
2. 货币金额
3. 地理名称
4. 日期
5. 时间
6. 人物
7. 百分比

下载地址
可通过此链接获取数据集

性能对比

下表展示了本模型与其他架构的F1分数对比：

引用格式

学术引用请采用以下格式：

@misc{ALBERTPersian,
  author = {Mehrdad Farahani},
  title = {ALBERT-Persian：面向波斯语的自监督语言表征学习轻量级BERT模型},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub代码库},
  howpublished = {\url{https://github.com/m3hrdadfi/albert-persian}},
}

@article{ParsBERT,
    title={ParsBERT：基于Transformer的波斯语理解模型},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

问题反馈？

请在ALBERT-Persian代码库提交GitHub issue。