datasets:

• wikiann language:
• ar pipeline_tag: token-classification

模型名称：BERT-base_NER-ar

模型描述：

BERT-base_NER-ar 是一个针对阿拉伯语命名实体识别（NER）任务进行微调的BERT多语言基础模型。该基础模型在多种语言上进行了预训练，并专门使用“wikiann”数据集对NER任务进行了微调。此模型区分字母大小写，例如能区分“english”和“English”。

数据集

该模型在wikiann数据集上进行了微调，这是一个多语言命名实体识别数据集。它包含标注了三种命名实体类型的维基百科文章：LOC（地点）、PER（人物）和ORG（组织）。标注采用IOB2格式。该数据集支持原始WikiANN语料库中282种语言中的176种。

支持的任务和排行榜

该模型主要支持的任务是阿拉伯语的命名实体识别（NER）。此外，它还可用于探索多语言模型的零样本跨语言能力，从而支持多种语言的NER任务。

使用场景

• 阿拉伯语命名实体识别：BERT-base_NER-ar可用于从阿拉伯语文本中提取命名实体（如人名、地名和组织名）。这对于阿拉伯语应用中的信息检索、文本摘要和内容分析非常有价值。

• 多语言NER：该模型的多语言能力使其能够对“wikiann”数据集支持的其他语言执行NER任务，使其在跨语言NER任务中具有多功能性。

局限性

• 语言限制：虽然该模型支持多种语言，但并非在所有语言中表现均等。性能可能因特定语言的训练数据质量和数量而异。

• 微调数据：模型的性能依赖于微调数据（本例中为“wikiann”数据集）的质量和代表性。如果数据集有限或存在偏差，可能会影响模型的性能。

使用方法：

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch 
# 加载微调后的模型
model = AutoModelForTokenClassification.from_pretrained("ayoubkirouane/BERT-base_NER-ar")
tokenizer = AutoTokenizer.from_pretrained("ayoubkirouane/BERT-base_NER-ar")

# 对输入文本进行分词
text = "عاصمة فلسطين هي القدس الشريف."
tokens = tokenizer.tokenize(tokenizer.decode(tokenizer.encode(text)))

# 将分词转换为输入ID
input_ids = tokenizer.convert_tokens_to_ids(tokens)

# 执行NER推理
with torch.no_grad():
    outputs = model(torch.tensor([input_ids]))

# 获取每个分词的预测标签
predicted_labels = outputs[0].argmax(dim=2).cpu().numpy()[0]

# 将标签ID映射为可读标签
predicted_labels = [model.config.id2label[label_id] for label_id in predicted_labels]

# 打印分词及其关联标签
for token, label in zip(tokens, predicted_labels):
    print(f"Token: {token}, Label: {label}")