语言:

• 英语 标签:
• 命名实体识别
• 美国国家生物技术信息中心
• 疾病
• 生物医学文献数据库
• 生物信息学 许可证: Apache-2.0 数据集:
• NCBI疾病数据集
• BC5CDR数据集 微件示例:
• 文本: "肝细胞核因子4α（HNF4α）通过不同启动子调控产生两种亚型，其中一种具有肿瘤抑制功能。本文作者发现，在肝细胞癌中诱导该替代亚型会通过抑制BMAL1来抑制生物钟，而重新引入BMAL1可阻止肝癌肿瘤生长。"

基因及基因产物命名实体识别模型

本模型基于NCBI疾病数据集和BC5CDR数据集训练，并采用PubMed预训练的RoBERTa模型进行预训练

所有标签及对应的标记类别:

{"label2id": {
    "O": 0,
    "Disease":1,
  }
 }

注意：我们移除了数据标签中的'B-','I-'等前缀标记🗡

推荐使用模板

from transformers import pipeline
预训练模型 = "raynardj/ner-disease-ncbi-bionlp-bc5cdr-pubmed"
ner = pipeline(task="ner",model=预训练模型, tokenizer=预训练模型)
ner("待识别文本", aggregation_strategy="first")

以下是优化输出连贯性的代码⭐️

import pandas as pd
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(预训练模型)
def 清洗输出(输出结果):
    results = []
    current = []
    last_idx = 0
    # 按位置分组
    for output in 输出结果:
        if output["index"]-1==last_idx:
            current.append(output)
        else:
            results.append(current)
            current = [output, ]
        last_idx = output["index"]
    if len(current)>0:
        results.append(current)
    
    # 将标记转换为字符串
    strings = []
    for c in results:
        tokens = []
        starts = []
        ends = []
        for o in c:
            tokens.append(o['word'])
            starts.append(o['start'])
            ends.append(o['end'])
        new_str = tokenizer.convert_tokens_to_string(tokens)
        if new_str!='':
            strings.append(dict(
                word=new_str,
                start = min(starts),
                end = max(ends),
                entity = c[0]['entity']
            ))
    return strings
def 实体表格(pipeline, **pipeline参数):
    if "aggregation_strategy" not in pipeline参数:
        pipeline参数["aggregation_strategy"] = "first"
    def 创建表格(文本):
        return pd.DataFrame(
            清洗输出(
                pipeline(文本, **pipeline参数)
            )
        )
    return 创建表格
# 返回数据框格式结果
实体表格(ner)(您的待分析文本)

查看我们其他命名实体识别模型:

• 基因及基因产物
• 化学物质
• 疾病