许可证: mit 数据集:

• pubmed 语言:
• en 库名称: transformers 流水线标签: text-generation 标签:
• medical 小部件:
• 文本: COVID-19是 推理: 参数: 最大新令牌数: 50

BioGPT

预训练语言模型在生物医学领域受到越来越多的关注，这得益于其在通用自然语言领域的巨大成功。在通用语言领域的两个主要预训练语言模型分支中，即BERT（及其变体）和GPT（及其变体），前者已在生物医学领域得到广泛研究，如BioBERT和PubMedBERT。虽然它们在各种判别性下游生物医学任务上取得了巨大成功，但生成能力的缺乏限制了它们的应用范围。在本文中，我们提出了BioGPT，这是一个在大规模生物医学文献上预训练的领域特定生成式Transformer语言模型。我们在六个生物医学自然语言处理任务上评估了BioGPT，并证明我们的模型在大多数任务上优于之前的模型。特别是，我们在BC5CDR、KD-DTI和DDI端到端关系提取任务上分别获得了44.98%、38.42%和40.76%的F1分数，在PubMedQA上获得了78.2%的准确率，创造了新纪录。我们在文本生成的案例研究进一步证明了BioGPT在生物医学文献上为生物医学术语生成流畅描述的优势。

引用

如果您在研究中发现BioGPT有用，请引用以下论文：

@article{10.1093/bib/bbac409,
    作者 = {Luo, Renqian and Sun, Liai and Xia, Yingce and Qin, Tao and Zhang, Sheng and Poon, Hoifung and Liu, Tie-Yan},
    标题 = "{BioGPT: 用于生物医学文本生成和挖掘的生成式预训练Transformer}",
    期刊 = {Briefings in Bioinformatics},
    卷 = {23},
    期号 = {6},
    年份 = {2022},
    月份 = {09},
    摘要 = "{预训练语言模型在生物医学领域受到越来越多的关注，这得益于其在通用自然语言领域的巨大成功。在通用语言领域的两个主要预训练语言模型分支中，即BERT（及其变体）和GPT（及其变体），前者已在生物医学领域得到广泛研究，如BioBERT和PubMedBERT。虽然它们在各种判别性下游生物医学任务上取得了巨大成功，但生成能力的缺乏限制了它们的应用范围。在本文中，我们提出了BioGPT，这是一个在大规模生物医学文献上预训练的领域特定生成式Transformer语言模型。我们在六个生物医学自然语言处理任务上评估了BioGPT，并证明我们的模型在大多数任务上优于之前的模型。特别是，我们在BC5CDR、KD-DTI和DDI端到端关系提取任务上分别获得了44.98%、38.42%和40.76%的F1分数，在PubMedQA上获得了78.2%的准确率，创造了新纪录。我们在文本生成的案例研究进一步证明了BioGPT在生物医学文献上为生物医学术语生成流畅描述的优势。}",
    issn = {1477-4054},
    doi = {10.1093/bib/bbac409},
    url = {https://doi.org/10.1093/bib/bbac409},
    备注 = {bbac409},
    eprint = {https://academic.oup.com/bib/article-pdf/23/6/bbac409/47144271/bbac409.pdf},
}