语言: 法语
数据集:

• Jean-Baptiste/wikiner_fr
  示例输入:
• 文本: "Je m'appelle jean-baptiste et je vis à montréal"
• 文本: "george washington est allé à washington"
  许可证: MIT

camembert-ner：基于camemBERT微调的NER任务模型

简介

[camembert-ner] 是一个基于camemBERT在wikiner-fr数据集上微调的命名实体识别（NER）模型。
该模型在wikiner-fr数据集（约170,634句）上训练，并在邮件/聊天数据上验证，表现优于其他同类模型，尤其在处理非大写字母开头的实体时效果更佳。

训练数据

训练数据分类如下：

如何使用HuggingFace运行camembert-ner

加载模型及子词分词器：

from transformers import AutoTokenizer, AutoModelForTokenClassification  

tokenizer = AutoTokenizer.from_pretrained("Jean-Baptiste/camembert-ner")  
model = AutoModelForTokenClassification.from_pretrained("Jean-Baptiste/camembert-ner")  

处理文本示例（来自维基百科）：

from transformers import pipeline  

nlp = pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy="simple")  
nlp("Apple est créée le 1er avril 1976 dans le garage de la maison d'enfance de Steve Jobs à Los Altos en Californie par Steve Jobs, Steve Wozniak et Ronald Wayne14, puis constituée sous forme de société le 3 janvier 1977 à l'origine sous le nom d'Apple Computer, mais pour ses 30 ans et pour refléter la diversification de ses produits, le mot « computer » est retiré le 9 janvier 2015.")  

[{'entity_group': 'ORG',  
  'score': 0.9472818374633789,  
  'word': 'Apple',  
  'start': 0,  
  'end': 5},  
 ...（其余实体识别结果）]  

模型性能（指标：seqeval）

整体表现

按实体分类

延伸阅读
关于如何利用此模型结果训练LSTM进行邮件签名检测的短文：
点击查看