语言: "葡萄牙语" 小部件示例:

• 文本: "患者接受了"
• 文本: "心脏病学证明"
• 文本: "患者抵达医院"
• 文本: "科学家发现"
• 文本: "生物活性水平"
• 文本: "DNA与RNA"

缩略图: "https://raw.githubusercontent.com/HAILab-PUCPR/gpt2-bio-pt/main/img/logo-gpt2-bio-pt.png"

GPT2-BioPT - 葡萄牙语生物医学文本生成语言模型

简介

GPT2-BioPT（葡萄牙语生物医学GPT-2小型版）是基于OpenAI GPT-2模型的葡萄牙语语言模型，通过GPorTuguese-2结合生物医学文献训练而成。

我们采用迁移学习与微调技术，使用110MB训练数据（对应16,209,373个标记和729,654个句子）进行训练。

GPT-2说明

注：信息复制自Model: gpt2 >> GPT-2

该模型是通过因果语言建模（CLM）目标在英语语料上预训练的模型。首次发布于此页面（2019年2月14日），相关论文见此处。

免责声明：发布GPT-2的团队撰写了模型卡片。Hugging Face团队为补充信息并给出具体偏差示例编写了本卡片内容。

模型描述

注：信息复制自Model: gpt2 >> 模型描述

GPT-2是基于海量英文语料通过自监督方式预训练的transformers模型。其通过自动生成输入和标签的机制，仅对原始文本进行预训练（因此可利用大量公开数据），本质是训练模型预测句子中的下一个词。

具体而言，输入是定长连续文本序列，目标则是右移一个标记（词或词片段）的相同序列。模型内部通过掩码机制确保对第i个标记的预测仅使用1至i的输入，而不涉及后续标记。

该模型通过学习英语语言的内部表征，可提取对下游任务有用的特征。但其最擅长的是基于提示生成文本这一预训练目标。

如何使用HuggingFace运行GPT2-BioPT

from transformers import pipeline

chef = pipeline('text-generation', model="pucpr/gpt2-bio-pt", tokenizer="pucpr/gpt2-bio-pt", config={'max_length':800})

result = chef('患者抵达医院')[0]['generated_text']
print(result)

输出示例：

患者抵达医院三个月后接受手术，未出现严重并发症。在损伤数量较多的组别中，盆腔检查与无并发症显著相关。研究发现骨折发生率较高(...)

引用文献

@INPROCEEDINGS{9474713,
  author={施耐德, 艾丽莎·露美·鲁贝尔 and 德索萨, 若昂·维托·安德里奥利 and 古米尔, 约汉·博内斯基 and 莫罗, 克劳迪娅 and 帕拉伊索, 埃默森·卡布拉埃拉},
  booktitle={2021年第34届IEEE国际计算机医疗系统研讨会(CBMS)}, 
  title={面向葡萄牙语生物医学文本的GPT-2语言模型}, 
  year={2021},
  volume={},
  number={},
  pages={474-479},
  doi={10.1109/CBMS52027.2021.00056}}

问题咨询？

请在GPT2-Bio-Pt代码库提交GitHub issue。