许可证：MIT
基础模型：microsoft/deberta-v3-base
标签：

• 训练生成
• 医疗
  模型索引：
• 名称：deberta-med-ner-2
  结果：[]
  示例展示：
• 文本：63岁女性，有CAD病史，就诊于急诊室
  标题：示例1
• 文本：63岁女性，诊断为CAD
  标题：示例2
• 文本：48岁女性，主诉阴道出血及异常巴氏涂片。经诊断为宫颈非角化性鳞状细胞癌后，接受了根治性子宫切除术及输卵管卵巢切除术，病理显示癌细胞已扩散至盆腔淋巴结及宫旁组织。病理检查还发现肿瘤广泛累及子宫下段。
  标题：示例3
  管道标签：令牌分类

deberta-med-ner-2

该模型是基于DeBERTa在PubMED数据集上微调的版本。

模型描述

这是一个针对医学命名实体识别（NER）任务的模型，基于BERT架构微调，能够识别41种医学实体。

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：8
• 评估批次大小：16
• 随机种子：42
• 梯度累积步数：2
• 总训练批次大小：16
• 优化器：Adam，参数betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：余弦
• 学习率预热比例：0.1
• 训练轮数：30
• 混合精度训练：原生AMP

使用方法

最简单的方式是通过Hugging Face的推理API，第二种方式是利用transformers库提供的pipeline对象。

# 使用pipeline作为高级辅助工具  
from transformers import pipeline  
pipe = pipeline("token-classification", model="Clinical-AI-Apollo/Medical-NER", aggregation_strategy='simple')  
result = pipe('45岁女性，诊断为CAD')  

# 直接加载模型  
from transformers import AutoTokenizer, AutoModelForTokenClassification  

tokenizer = AutoTokenizer.from_pretrained("Clinical-AI-Apollo/Medical-NER")  
model = AutoModelForTokenClassification.from_pretrained("Clinical-AI-Apollo/Medical-NER")  

作者

作者：Saketh Mattupalli

框架版本

• Transformers 4.37.0
• Pytorch 2.1.2
• Datasets 2.1.0
• Tokenizers 0.15.1