该模型库展示了"TinySapBERT"——一个基于官方SapBERT代码与训练方案（Liu等人，NAACL 2021）训练的微型生物医学实体表示模型（语言模型）。我们以微型语言模型TinyPubMedBERT为初始起点，采用SapBERT框架进行训练。

注：TinyPubMedBERT是蒸馏版的PubMedBERT（Gu等人，2021），随KAZU（高丽大学与阿斯利康联合）框架开源发布。

• 详情请访问KAZU框架或参阅我们的论文《面向企业的生物医学命名实体识别：基于蒸馏BERN2与KAZU框架》（EMNLP 2022产业应用赛道）
• KAZU框架演示请访问 http://kazu.korea.ac.kr

引用信息

Richard Jackson（阿斯利康）与WonJin Yoon（高丽大学）为共同第一作者。
请使用以下简化格式引用，或查看完整引用信息

@inproceedings{YoonAndJackson2022BiomedicalNER,
  title="Biomedical {NER} for the Enterprise with Distillated {BERN}2 and the Kazu Framework",
  author="Yoon, Wonjin and Jackson, Richard and Ford, Elliot and Poroshin, Vladimir and Kang, Jaewoo",
  booktitle="Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: Industry Track",
  month = dec,
  year = "2022",    
  address = "Abu Dhabi, UAE",
  publisher = "Association for Computational Linguistics",
  url = "https://aclanthology.org/2022.emnlp-industry.63",
  pages = "619--626",
}

本模型使用了SapBERT论文资源，感谢作者公开相关资源！

Liu, Fangyu, et al. "Self-Alignment Pretraining for Biomedical Entity Representations." 
Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2021.

联系方式

如需获取本仓库代码或模型（KAZU的NER模块）使用帮助，请联系WonJin Yoon（wonjin.info (at) gmail.com）或提交GitHub issue。