🚀 科学挑战与研究方向识别模型

本项目提供了一种全新的资源，旨在助力科学家和医学专业人士从科学文献中发掘挑战与潜在研究方向。该资源聚焦于与新冠疫情及相关历史研究有关的广泛文献语料库。从宏观层面来看，“挑战”和“研究方向”的定义如下：

• 挑战：提及问题、困难、缺陷、局限、失败、缺乏清晰度或知识空白的句子。

• 研究方向：提及进一步研究的建议或需求、假设、推测、表明某一问题值得探索的迹象或提示的句子。

• 本模型在我们的论文 A Search Engine for Discovery of Scientific Challenges and Directions 中有详细描述（尽管自论文发表以来我们对基础设施进行了升级，结果会有细微差异）。

• 我们的数据集可在 此处 找到。

• 如果您在项目中使用了我们的数据集或模型，请引用我们的论文。具体 BibTeX 格式见 引用信息。

• 如有任何问题，欢迎 联系我们。

• 此外，您还可以查看 我们的搜索引擎，这是一个实际应用示例。

🚀 快速开始

本模型可用于在科学文献中识别挑战和潜在研究方向，适用于新冠疫情及相关历史研究的广泛语料库。

✨ 主要特性

• 多标签文本分类：能够对文本进行多标签分类，识别其中的挑战和研究方向。
• 基于专业语料训练：在与新冠疫情及相关历史研究有关的广泛文献语料库上进行训练。

📦 安装指南

文档未提及安装步骤，如需使用可参考相关代码库或联系作者。

💻 使用示例

文档未提供代码示例，可参考项目 仓库 中的 Inference_Notebook.ipynb 进行推理。

📚 详细文档

模型描述

本模型是 PubMedBERT 在 scientific-challenges-and-directions-dataset 上的微调版本，用于多标签文本分类。

训练和评估数据

科学挑战与研究方向模型基于一个包含 2894 个句子及其上下文的数据集进行训练。这些句子来自 CORD - 19 语料库中的 1786 篇全文论文，并由具有生物医学和生物自然语言处理背景的专家标注员进行挑战和方向分类标注。有关数据的训练/测试/分割的详细信息，请参阅我们 论文 的第 3.1 节。

示例笔记本

我们在 仓库 中提供了一个使用该模型进行推理的示例笔记本，可查看 Inference_Notebook.ipynb，同时也包含了训练笔记本。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e - 05
• 训练批次大小：8
• 评估批次大小：4
• 随机种子：4
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：500
• 训练轮数：30

训练结果

该模型在测试集上取得了以下结果：

• 挑战的精确率：0.768719
• 挑战的召回率：0.780405
• 挑战的 F1 值：0.774518
• 研究方向的精确率：0.758112
• 研究方向的召回率：0.774096
• 研究方向的 F1 值：0.766021
• 两个标签的微观平均精确率：0.764894
• 两个标签的微观平均召回率：0.778139
• 两个标签的微观平均 F1 值：0.771459

框架版本

• Transformers 4.15.0
• Pytorch 1.10.0 + cu111
• Datasets 1.17.0
• Tokenizers 0.10.3

📄 许可证

文档未提及许可证信息。

🔧 技术细节

本模型基于 PubMedBERT 进行微调，在特定的科学挑战与研究方向数据集上进行训练，通过多标签文本分类的方式识别文本中的挑战和研究方向。训练过程中使用了一系列超参数和优化器，以达到较好的性能。

📄 引用信息

如果使用我们的数据集和模型，请引用以下文献：

@misc{lahav2021search,
      title={A Search Engine for Discovery of Scientific Challenges and Directions}, 
      author={Dan Lahav and Jon Saad Falcon and Bailey Kuehl and Sophie Johnson and Sravanthi Parasa and Noam Shomron and Duen Horng Chau and Diyi Yang and Eric Horvitz and Daniel S. Weld and Tom Hope},
      year={2021},
      eprint={2108.13751},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📧 联系我们

如有任何问题，请随时与我们联系。

邮箱：lahav@mail.tau.ac.il，tomh@allenai.org。