许可证: cc-by-4.0 语言:

• 哈萨克语 评估指标:
• 序列标注评估 任务标签: 标记分类 标签:
• 命名实体识别
• NER 示例:
• 文本: >- 哈萨克斯坦共和国——位于东欧与中亚地区的国家。 标题: 示例1
• 文本: 阿赫梅特·拜图尔森吾勒——首位构建哈萨克语音系体系的学者。 标题: 示例2
• 文本: >- 哈萨克斯坦与欧盟之间的商品贸易额去年增长38%，达到400亿美元。双方有意进一步深化伙伴关系。具体而言，哈萨克斯坦准备向欧洲扩大价值超20亿美元的175种商品出口。 标题: 示例3 数据集:
• yeshpanovrustem/ner-kazakh

哈萨克语命名实体识别模型

• 本模型灵感源自LREC 2022会议论文《KazNERD：哈萨克语命名实体识别数据集》
• 模型在ner_kazakh数据集上训练3个周期
• 论文原始代码库见https://github.com/IS2AI/KazNERD

使用方法

可通过Transformers的NER管道使用本模型：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("yeshpanovrustem/xlm-roberta-large-ner-kazakh")
model = AutoModelForTokenClassification.from_pretrained("yeshpanovrustem/xlm-roberta-large-ner-kazakh")

# 聚合策略设为"none"
nlp = pipeline("ner", model=model, tokenizer=tokenizer, aggregation_strategy="none")
example = "哈萨克斯坦共和国——位于东欧与中亚地区的国家。"

ner_results = nlp(example)
for result in ner_results:
    print(result)

# 输出示例:
# {'entity': 'B-GPE', 'score': 0.9995646, 'index': 1, 'word': '▁哈萨克斯坦', 'start': 0, 'end': 9}
# {'entity': 'I-GPE', 'score': 0.9994935, 'index': 2, 'word': '▁共和国', 'start': 10, 'end': 22}

# 聚合策略设为"simple"
nlp = pipeline("ner", model=model, tokenizer=tokenizer, aggregation_strategy="simple")
example = "哈萨克斯坦共和国——位于东欧与中亚地区的国家。"

ner_results = nlp(example)
for result in ner_results:
    print(result)

# 输出示例:
# {'entity_group': 'GPE', 'score': 0.999529, 'word': '哈萨克斯坦共和国', 'start': 0, 'end': 22}

验证集与测试集评估结果

验证集各类别性能表现

（后续表格内容保持相同格式翻译，此处省略完整呈现）

测试集各类别性能表现

（后续表格内容保持相同格式翻译，此处省略完整呈现）