语言:

• 英文 标签:
• 生物自然语言处理
• 社交媒体

BioRedditBERT模型

模型描述

BioRedditBERT是基于BioBERT（BioBERT-Base v1.0 + PubMed 200K + PMC 270K版本）初始化，并在健康相关Reddit帖子上进一步预训练的BERT模型。详情请参阅我们的论文《COMETA：社交媒体医疗实体链接语料库》（EMNLP 2020会议论文，arXiv编号：2010.03295）。

训练数据

我们爬取了68个健康主题子版块（如r/AskDocs、r/health等）自2015年初至2018年底的所有讨论帖，共收集超过80万条讨论。通过删除已移除的帖子、机器人或版主的评论等进行清洗后，最终获得包含约3亿词符、78万词汇量的训练语料库。

训练过程

采用原始google-research/bert代码库的预训练脚本，模型初始化权重为BioBERT-Base v1.0 + PubMed 200K + PMC 270K。在两块GeForce GTX 1080Ti（11GB显存）GPU上，使用批量大小64、最大序列长度64、学习率2e-5训练10万步，其余超参数保持默认值。

评估结果

为验证社交媒体领域继续预训练的效果，我们在社交媒体医疗实体链接数据集AskAPatient（Limsopatham和Collier 2016年发表）上进行测试。采用10折交叉验证流程（未微调），使用[CLS]作为实体指称的表征（经测试优于词符平均结果）：

BibTeX引用信息

@inproceedings{basaldella-2020-cometa,
    title = "{COMETA}: 社交媒体医疗实体链接语料库",
    author = "Basaldella, Marco 和 Liu, Fangyu, 以及 Shareghi, Ehsan, 与 Collier, Nigel",
    booktitle = "2020年自然语言处理实证方法会议论文集",
    month = "11月",
    year = "2020",
    publisher = "计算语言学协会"
}