🚀 泰比安（Tebyan）

基于全新数据集构建的大型阿拉伯语命名实体识别（NER）模型，可提取多达9种不同类型的实体

模型信息

模型展示

版本：1.3

最后更新：2021年12月3日

✨ 主要特性

Marefa-NER 是一个大型阿拉伯语命名实体识别（NER）模型，它基于全新的数据集构建，旨在提取多达9种不同类型的实体：

人物、地点、组织、国籍、职业、产品、事件、时间、艺术作品

这是一个全新的文本部分分类知识模型，特别是在模型训练所使用的数据方面。该模型还旨在对多达9种不同类型的文本部分进行分类：

人物 - 地点 - 组织 - 国籍 - 职业 - 产品 - 事件 - 时间 - 艺术作品

🚀 快速开始

📦 安装指南

安装以下Python包：

$ pip3 install transformers==4.8.0 nltk==3.5 protobuf==3.15.3 torch==1.9.0 

⚠️ 重要提示

如果你使用的是 Google Colab，请在安装包后重启运行时。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

import numpy as np
import nltk
nltk.download('punkt')
from nltk.tokenize import word_tokenize

custom_labels = ["O", "B-job", "I-job", "B-nationality", "B-person", "I-person", "B-location","B-time", "I-time", "B-event", "I-event", "B-organization", "I-organization", "I-location", "I-nationality", "B-product", "I-product", "B-artwork", "I-artwork"]

def _extract_ner(text: str, model: AutoModelForTokenClassification,
                 tokenizer: AutoTokenizer, start_token: str="▁"):
    tokenized_sentence = tokenizer([text], padding=True, truncation=True, return_tensors="pt")
    tokenized_sentences = tokenized_sentence['input_ids'].numpy()

    with torch.no_grad():
        output = model(**tokenized_sentence)

    last_hidden_states = output[0].numpy()
    label_indices = np.argmax(last_hidden_states[0], axis=1)
    tokens = tokenizer.convert_ids_to_tokens(tokenized_sentences[0])
    special_tags = set(tokenizer.special_tokens_map.values())

    grouped_tokens = []
    for token, label_idx in zip(tokens, label_indices):
        if token not in special_tags:
            if not token.startswith(start_token) and len(token.replace(start_token,"").strip()) > 0:
                grouped_tokens[-1]["token"] += token
            else:
                grouped_tokens.append({"token": token, "label": custom_labels[label_idx]})

    # extract entities
    ents = []
    prev_label = "O"
    for token in grouped_tokens:
        label = token["label"].replace("I-","").replace("B-","")
        if token["label"] != "O":
            
            if label != prev_label:
                ents.append({"token": [token["token"]], "label": label})
            else:
                ents[-1]["token"].append(token["token"])
            
        prev_label = label
    
    # group tokens
    ents = [{"token": "".join(rec["token"]).replace(start_token," ").strip(), "label": rec["label"]}  for rec in ents ]

    return ents

model_cp = "marefa-nlp/marefa-ner"

tokenizer = AutoTokenizer.from_pretrained(model_cp)
model = AutoModelForTokenClassification.from_pretrained(model_cp, num_labels=len(custom_labels))

samples = [
    "تلقى تعليمه في الكتاب ثم انضم الى الأزهر عام 1873م. تعلم على يد السيد جمال الدين الأفغاني والشيخ محمد عبده",
    "بعد عودته إلى القاهرة، التحق نجيب الريحاني فرقة جورج أبيض، الذي كان قد ضمَّ - قُبيل ذلك - فرقته إلى فرقة سلامة حجازي . و منها ذاع صيته",
    "في استاد القاهرة، قام حفل افتتاح بطولة كأس الأمم الأفريقية بحضور رئيس الجمهورية و رئيس الاتحاد الدولي لكرة القدم",
    "من فضلك أرسل هذا البريد الى صديقي جلال الدين في تمام الساعة الخامسة صباحا في يوم الثلاثاء القادم",
    "امبارح اتفرجت على مباراة مانشستر يونايتد مع ريال مدريد في غياب الدون كرستيانو رونالدو",
    "لا تنسى تصحيني الساعة سبعة, و ضيف في الجدول اني احضر مباراة نادي النصر غدا",
]

# [optional]
samples = [ " ".join(word_tokenize(sample.strip())) for sample in samples if sample.strip() != "" ]

for sample in samples:
    ents = _extract_ner(text=sample, model=model, tokenizer=tokenizer, start_token="▁")

    print(sample)
    for ent in ents:
        print("\t",ent["token"],"==>",ent["label"])
    print("========\n")

输出示例

تلقى تعليمه في الكتاب ثم انضم الى الأزهر عام 1873م . تعلم على يد السيد جمال الدين الأفغاني والشيخ محمد عبده
	 الأزهر ==> organization
	 عام 1873م ==> time
	 السيد جمال الدين الأفغاني ==> person
	 محمد عبده ==> person
========

بعد عودته إلى القاهرة، التحق نجيب الريحاني فرقة جورج أبيض، الذي كان قد ضمَّ - قُبيل ذلك - فرقته إلى فرقة سلامة حجازي . و منها ذاع صيته
	 القاهرة، ==> location
	 نجيب الريحاني ==> person
	 فرقة جورج أبيض، ==> organization
	 فرقة سلامة حجازي ==> organization
========

في استاد القاهرة، قام حفل افتتاح بطولة كأس الأمم الأفريقية بحضور رئيس الجمهورية و رئيس الاتحاد الدولي لكرة القدم
	 استاد القاهرة، ==> location
	 بطولة كأس الأمم الأفريقية ==> event
	 رئيس الجمهورية ==> job
	 رئيس ==> job
	 الاتحاد الدولي لكرة القدم ==> organization
========

من فضلك أرسل هذا البريد الى صديقي جلال الدين في تمام الساعة الخامسة صباحا في يوم الثلاثاء القادم
	 جلال الدين ==> person
	 الساعة الخامسة صباحا ==> time
	 يوم الثلاثاء القادم ==> time
========

امبارح اتفرجت على مباراة مانشستر يونايتد مع ريال مدريد في غياب الدون كرستيانو رونالدو
	 مانشستر يونايتد ==> organization
	 ريال مدريد ==> organization
	 كرستيانو رونالدو ==> person
========

لا تنسى تصحيني الساعة سبعة , و ضيف في الجدول اني احضر مباراة نادي النصر غدا
	 الساعة سبعة ==> time
	 نادي النصر ==> organization
	 غدا ==> time
========

模型微调

你可以查看这个 笔记本 来对NER模型进行微调。

模型评估

我们在包含1959个句子的测试集上对模型进行了测试，结果如下表所示：

📄 致谢

该模型训练所使用的数据由一群志愿者准备，他们花费了大量时间对数据进行挖掘和审核。

• 赛义德·阿卜杜勒·哈菲兹 - 监督
• 娜尔敏·穆罕默德·阿提亚
• 萨拉赫·基拉拉
• 艾哈迈德·阿里·阿卜杜勒拉赫
• 奥马尔·本·阿卜杜勒·阿齐兹·苏莱曼
• 穆罕默德·易卜拉欣·贾迈勒
• 阿卜杜勒拉赫曼·萨拉马·哈利夫
• 易卜拉欣·卡迈勒·穆罕默德·苏莱曼
• 哈桑·穆斯塔法·哈桑
• 艾哈迈德·法赫里·赛义德
• 奥斯曼·曼杜
• 阿卜杜勒·谢里夫
• 阿米拉·穆罕默德·马哈茂德
• 哈桑·赛义德·哈桑
• 阿卜杜勒·阿齐兹·阿里·巴格达迪
• 瓦西克·阿卜杜勒·马利克·舒伊塔尔
• 阿姆鲁·拉马丹·阿克拉·哈夫纳维
• 哈桑·丁·艾哈迈德·赛义德
• 奥斯马·艾哈迈德·穆罕默德·穆罕默德
• 哈蒂姆·穆罕默德·穆夫提
• 阿卜杜拉·德尔迪尔
• 阿德哈姆·巴格达迪
• 艾哈迈德·萨布里
• 阿卜杜勒·瓦哈卜·穆罕默德·穆罕默德
• 艾哈迈德·穆罕默德·奥兹