🚀 BioBERT-NLI

BioBERT-NLI 是基于 BioBERT [1] 微调得到的模型。它使用了 sentence-transformers 库，在 SNLI 和 MultiNLI 数据集上进行训练，以生成通用的句子嵌入 [2]。

🚀 快速开始

BioBERT-NLI 模型利用原始的 BERT 词块词汇表，采用平均池化策略和softmax损失进行训练。

✨ 主要特性

• 模型基础：基于 HuggingFace 的 AutoModel 中的 monologg/biobert_v1.1_pubmed 模型。
• 训练时长：在 Kaggle Notebooks 提供的 NVIDIA Tesla P100 GPU 上训练约 6 小时。

📚 详细文档

参数设置

性能评估

在 STS 数据集 的测试部分使用 Spearman 等级相关性评估模型性能，并与通过相同流程得到的通用 BERT 基础模型的性能进行比较，以验证其相似性。

使用示例

在 Covid Papers Browser 仓库中提供了基于相似度的科学论文检索的使用示例。

📄 许可证

文档中未提及相关内容，故跳过该章节。

📚 参考文献

[1] J. Lee 等人，BioBERT: a pre-trained biomedical language representation model for biomedical text mining

[2] A. Conneau 等人，Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

[3] N. Reimers 和 I. Gurevych，Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks