语言:

• 阿萨姆语
• 孟加拉语
• 古吉拉特语
• 印地语
• 卡纳达语
• 马拉雅拉姆语
• 马拉地语
• 奥里亚语
• 旁遮普语
• 泰米尔语
• 泰卢固语 许可证: MIT 数据集:
• Samanantar 标签:
• 命名实体识别
• Pytorch
• 变压器模型
• 多语言
• 自然语言处理
• 印度语言处理

IndicNER

IndicNER是一个专门为识别印度语言句子中的命名实体而训练的模型。该模型基于上述11种印度语言的海量句子进行了精细调优，并在人工标注测试集及多个公开可用的印度NER数据集上进行了基准测试。 IndicNER涵盖的11种语言包括：阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语、泰卢固语。

训练语料

本模型基于从现有Samanantar语料库中挖掘的数据集进行训练。我们以bert-base-multilingual-uncased模型为起点，针对前述NER数据集进行了微调。

下载

请从本Huggingface仓库下载。

2022年12月20日更新：我们发布了记录IndicNER和Naamapadam的新论文。论文中报告了另一个不同模型，我们将很快在此仓库更新该模型。

使用方式

您可以通过此Colab笔记本查看IndicNER的使用示例，或基于Naampadam数据集对预训练模型进行微调以构建自己的NER模型。

引用

若使用IndicNER，请引用以下文章：

@misc{mhaske2022naamapadam,
  doi = {10.48550/ARXIV.2212.10168},
  url = {https://arxiv.org/abs/2212.10168},
  author = {Mhaske, Arnav and Kedia, Harshit and Doddapaneni, Sumanth and Khapra, Mitesh M. and Kumar, Pratyush and Murthy, Rudra and Kunchukuttan, Anoop},
  title = {Naamapadam: A Large-Scale Named Entity Annotated Data for Indic Languages}
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

我们期待了解：

• 您如何使用这些资源
• 您对资源的任何反馈

许可证

IndicNER代码（及模型）依据MIT许可证发布。

贡献者

• Arnav Mhaske _{(AI4Bharat, IITM)}
• Harshit Kedia _{(AI4Bharat, IITM)}
• Sumanth Doddapaneni _{(AI4Bharat, IITM)}
• Mitesh M. Khapra _{(AI4Bharat, IITM)}
• Pratyush Kumar _{(AI4Bharat, 微软, IITM)}
• Rudra Murthy _{(AI4Bharat, IBM)}
• Anoop Kunchukuttan _{(AI4Bharat, 微软, IITM)}

本成果是AI4Bharat计划志愿者协作的成果。

联系方式

• Anoop Kunchukuttan (anoop.kunchukuttan@gmail.com)
• Rudra Murthy V (rmurthyv@in.ibm.com)