标签:

• flair
• 标记分类
• 序列标注模型 语言:
• 英语
• 德语
• 荷兰语
• 西班牙语 数据集:
• conll2003 小部件:
• 文本: "George Washington ging nach Washington"

Flair中的四语言命名实体识别（英语、德语、荷兰语和西班牙语）

这是一个快速的4类命名实体识别（NER）模型，适用于4种CoNLL-03语言，随Flair一起发布。对于法语等相关语言也有一定的适用性。

F1分数：91.51（CoNLL-03英语），85.72（CoNLL-03德语修订版），86.22（CoNLL-03荷兰语），85.78（CoNLL-03西班牙语）

预测4种标签：

基于Flair嵌入和LSTM-CRF。

演示：如何在Flair中使用

要求：Flair (pip install flair)

from flair.data import Sentence
from flair.models import SequenceTagger

# 加载标注器
tagger = SequenceTagger.load("flair/ner-multi-fast")

# 用四种语言中的任意一种创建示例句子
sentence = Sentence("George Washington ging nach Washington")

# 预测NER标签
tagger.predict(sentence)

# 打印句子
print(sentence)

# 打印预测的NER范围
print('找到以下NER标签：')
# 遍历实体并打印
for entity in sentence.get_spans('ner'):
    print(entity)

这将产生以下输出：

范围 [1,2]: "George Washington"   [− 标签: PER (0.9977)]
范围 [5]: "Washington"   [− 标签: LOC (0.9895)]

因此，在句子“George Washington ging nach Washington”中找到了实体“George Washington”（标记为人）和“Washington”（标记为地点）。

训练：训练此模型的脚本

使用以下Flair脚本来训练此模型：

from flair.data import Corpus
from flair.datasets import CONLL_03, CONLL_03_GERMAN, CONLL_03_DUTCH, CONLL_03_SPANISH
from flair.embeddings import WordEmbeddings, StackedEmbeddings, FlairEmbeddings

# 1. 获取多语言语料库
corpus: Corpus = MultiCorpus([
    CONLL_03(),         # 英语语料库
    CONLL_03_GERMAN(),  # 德语语料库
    CONLL_03_DUTCH(),   # 荷兰语语料库
    CONLL_03_SPANISH(), # 西班牙语语料库
    ])

# 2. 我们要预测什么标签？
tag_type = 'ner'

# 3. 从语料库中创建标签字典
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)

# 4. 初始化我们使用的每个嵌入
embedding_types = [

    # GloVe嵌入
    WordEmbeddings('glove'),

    # FastText嵌入
    WordEmbeddings('de'),

    # 上下文字符串嵌入，前向
    FlairEmbeddings('multi-forward-fast'),

    # 上下文字符串嵌入，后向
    FlairEmbeddings('multi-backward-fast'),
]

# 嵌入栈由Flair和GloVe嵌入组成
embeddings = StackedEmbeddings(embeddings=embedding_types)

# 5. 初始化序列标注器
from flair.models import SequenceTagger

tagger = SequenceTagger(hidden_size=256,
                        embeddings=embeddings,
                        tag_dictionary=tag_dictionary,
                        tag_type=tag_type)

# 6. 初始化训练器
from flair.trainers import ModelTrainer

trainer = ModelTrainer(tagger, corpus)

# 7. 运行训练
trainer.train('resources/taggers/ner-multi-fast',
              train_with_dev=True,
              max_epochs=150)