🚀 biobert-large-cased-v1.1-squad 模型卡片

biobert-large-cased-v1.1-squad 是一个用于问答任务的模型，由韩国大学的数据挖掘与信息系统实验室（DMIS-lab）开发。该模型基于特定的训练数据和流程，在问答领域具有一定的应用价值。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

model = AutoModelForQuestionAnswering.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

✨ 主要特性

• 问答功能：该模型可用于问答任务。

📚 详细文档

模型详情

• 开发者：DMIS-lab（韩国大学数据挖掘与信息系统实验室）
• 共享者：DMIS-lab（韩国大学数据挖掘与信息系统实验室）
• 模型类型：问答
• 父模型：gpt-neo-2.7B
• 更多信息资源：
  • GitHub 仓库
  • 相关论文

使用场景

直接使用

该模型可用于问答任务。

超出适用范围的使用

该模型不应被用于故意为人们创造敌对或排斥性的环境。

偏差、风险和局限性

大量研究已经探讨了语言模型的偏差和公平性问题（例如，参见 Sheng 等人 (2021) 和 Bender 等人 (2021)）。该模型生成的预测可能包含针对受保护类别、身份特征以及敏感、社会和职业群体的令人不安和有害的刻板印象。

建议

用户（包括直接用户和下游用户）应该了解该模型的风险、偏差和局限性。关于进一步的建议，还需要更多信息。

训练详情

训练数据

模型创建者在 相关论文 中指出：

我们使用在英文维基百科和 BooksCorpus 上预训练 100 万步的 BERTBASE 模型。BioBERT v1.0（+ PubMed + PMC）是在 PubMed 和 PMC 语料库上训练 47 万步的 BioBERT 版本。当同时使用 PubMed 和 PMC 语料库时，我们发现 PubMed 和 PMC 分别进行 20 万步和 27 万步的预训练是最优的。我们还使用了 BioBERT v1.0 的消融版本，它们分别在 PubMed 上预训练 20 万步（BioBERT v1.0（+ PubMed））和在 PMC 上预训练 27 万步（BioBERT v1.0（+ PMC））。

训练过程

预处理

模型创建者在 相关论文 中指出：

我们使用 Naver Smart Machine Learning（NSML）（Sung 等人，2017）对 BioBERT 进行预训练，该工具用于需要在多个 GPU 上运行的大规模实验。

速度、规模、时间

模型创建者在 相关论文 中指出：

最大序列长度固定为 512，小批量大小设置为 192，每次迭代处理 98304 个单词。

评估

测试数据、因素和指标

目前关于测试数据、因素和指标的信息均有待补充。

结果

目前关于评估结果的信息有待补充。

模型检查

目前关于模型检查的信息有待补充。

环境影响

可以使用 Lacoste 等人 (2019) 中提出的 机器学习影响计算器 来估算碳排放。

• 硬件类型：
  • 训练：八块 NVIDIA V100（32GB）GPU 用于训练。
  • 微调：使用单块 NVIDIA Titan Xp（12GB）GPU 在每个任务上对 BioBERT 进行微调。
• 目前关于使用时长、云服务提供商、计算区域和碳排放的信息有待补充。

技术规格（可选）

目前关于模型架构和目标、计算基础设施（包括硬件和软件）的信息有待补充。

引用

BibTeX：

@misc{mesh-transformer-jax,
 @article{lee2019biobert,
  title={BioBERT: a pre-trained biomedical language representation model for biomedical text mining},
  author={Lee, Jinhyuk and Yoon, Wonjin and Kim, Sungdong and Kim, Donghyeon and Kim, Sunkyu and So, Chan Ho and Kang, Jaewoo},
  journal={arXiv preprint arXiv:1901.08746},
  year={2019}
}

更多信息（可选）

如果在使用 BioBERT 时遇到问题或需要帮助，请提交 GitHub 问题。如需与 BioBERT 相关的沟通，请联系 Jinhyuk Lee（lee.jnhk (at) gmail.com）或 Wonjin Yoon（wonjin.info (at) gmail.com）。

模型卡片作者（可选）

DMIS-lab（韩国大学数据挖掘与信息系统实验室）与 Ezi Ozoani 和 Hugging Face 团队合作完成。

模型卡片联系方式

目前关于模型卡片联系方式的信息有待补充。