许可协议: mit
数据集:

• pubmed_qa
  语言:
• en
  评估指标:
• accuracy
  库名称: transformers
  流水线标签: text-generation
  标签:
• medical
  小部件示例:
• 文本: "问题：能否在人类母乳中检测到'高风险'人乳头瘤病毒（HPVs）？背景：我们采用聚合酶链反应技术，对21名HPV阳性母亲和11名HPV阴性母亲提供的母乳样本进行了HPV感染检测。在32份研究样本中，均未检测到'高风险'HPV 16、18、31、33、35、39、45、51、52、56、58或58型DNA。答案：这项初步病例对照研究表明，人类母乳中不存在黏膜'高风险'HPV类型。"
  推理参数:
  max_new_tokens: 250
  do_sample: False

BioGPT

预训练语言模型在生物医学领域日益受到关注，这得益于其在通用自然语言领域取得的巨大成功。在通用语言领域中，预训练语言模型主要分为BERT（及其变体）和GPT（及其变体）两大分支。前者已在生物医学领域得到广泛研究，例如BioBERT和PubMedBERT。尽管这些模型在各种判别式下游生物医学任务中取得了显著成功，但生成能力的缺乏限制了它们的应用范围。本文提出BioGPT，这是一个基于大规模生物医学文献预训练的领域特异性生成式Transformer语言模型。我们在六个生物医学自然语言处理任务上评估BioGPT，结果表明我们的模型在多数任务上优于先前模型。特别是在BC5CDR、KD-DTI和DDI端到端关系抽取任务上分别获得44.98%、38.42%和40.76%的F1分数，在PubMedQA上达到78.2%的准确率，创造了新纪录。我们在文本生成的案例研究进一步证明了BioGPT在生物医学文献中生成流畅术语描述的优势。

引用

如果您在研究中发现BioGPT有用，请引用以下论文：

@article{10.1093/bib/bbac409,  
    author = {Luo, Renqian and Sun, Liai and Xia, Yingce and Qin, Tao and Zhang, Sheng and Poon, Hoifung and Liu, Tie-Yan},  
    title = "{BioGPT: 用于生物医学文本生成与挖掘的生成式预训练Transformer}",  
    journal = {Briefings in Bioinformatics},  
    volume = {23},  
    number = {6},  
    year = {2022},  
    month = {09},  
    abstract = "{预训练语言模型在生物医学领域日益受到关注，这得益于其在通用自然语言领域取得的巨大成功。在通用语言领域中，预训练语言模型主要分为BERT（及其变体）和GPT（及其变体）两大分支。前者已在生物医学领域得到广泛研究，例如BioBERT和PubMedBERT。尽管这些模型在各种判别式下游生物医学任务中取得了显著成功，但生成能力的缺乏限制了它们的应用范围。本文提出BioGPT，这是一个基于大规模生物医学文献预训练的领域特异性生成式Transformer语言模型。我们在六个生物医学自然语言处理任务上评估BioGPT，结果表明我们的模型在多数任务上优于先前模型。特别是在BC5CDR、KD-DTI和DDI端到端关系抽取任务上分别获得44.98%、38.42%和40.76%的F1分数，在PubMedQA上达到78.2%的准确率，创造了新纪录。我们在文本生成的案例研究进一步证明了BioGPT在生物医学文献中生成流畅术语描述的优势。}",  
    issn = {1477-4054},  
    doi = {10.1093/bib/bbac409},  
    url = {https://doi.org/10.1093/bib/bbac409},  
    note = {bbac409},  
    eprint = {https://academic.oup.com/bib/article-pdf/23/6/bbac409/47144271/bbac409.pdf},  
}