许可协议: mit
语言:

• 俄语
  基础模型:
• google-bert/bert-base-multilingual-cased
  任务标签: token-classification
  库名称: transformers

俄语命名实体识别模型

模型描述

该模型是基于bert-base-multilingual-cased微调的俄语文本命名实体识别(NER)模型，采用BIOLU标注格式，可识别人名、地点、机构等多种实体类型。

用途与限制

本模型专为俄语文本中的命名实体识别设计，适用于信息抽取、内容分析及下游NLP任务的文本预处理。

使用方法

基础调用示例：

from transformers import pipeline

ner_pipe = pipeline("ner", model="Gherman/bert-base-NER-Russian")

text = "Меня зовут Сергей Иванович из Москвы."
results = ner_pipe(text)

for result in results:
    print(f"词语: {result['word']}, 实体: {result['entity']}, 置信度: {result['score']:.4f}")

局限性

• 模型性能受文本领域和风格影响
• 对训练数据未见的生僻或复杂实体识别效果有限
• 可能继承训练数据中的潜在偏见

训练数据

基于AlexKly的Detailed-NER-Dataset-RU训练，该数据集质量优异。

标注体系

采用BIOLU标注格式：

• B: 实体起始词
• I: 实体内部词
• O: 非实体词
• L: 实体结尾词
• U: 单词语义单元

数据集包含以下实体类型：

地点(LOC)标签：

• 国家(COUNTRY)
• 地区(REGION)
• 城市(CITY)
• 区县(DISTRICT)
• 街道(STREET)
• 建筑(HOUSE)

人物(PER)标签：

• 姓氏(LAST_NAME)
• 名字(FIRST_NAME)
• 父称(MIDDLE_NAME)

例如："B-CITY"表示城市名的起始词，"U-COUNTRY"表示单字国家名。

训练过程

基于Hugging Face Transformers库对bert-base-multilingual-cased进行微调。

超参数配置

• 学习率: 2e-5
• 训练批大小: 16
• 评估批大小: 16
• 随机种子: 42
• 优化器: 带权重衰减修正的Adam
• 学习率调度: 线性衰减
• 训练轮次: 10

框架版本

• Transformers 4.28.1
• Pytorch 1.13.0
• Datasets 2.12.0
• Tokenizers 0.13.3

评估结果

在验证集上达到以下指标：
• 精确率: 0.987843
• 召回率: 0.988498
• F1值: 0.988170

伦理声明

本模型仅限俄语文本分析用途，使用者应警惕预测结果中的潜在偏见，在可能影响个人或群体的应用场景中需审慎使用。