标签:

• 问答系统
• BERT模型

BioBERT大型问答模型卡片 v1.1

模型详情

模型描述

待补充更多信息

• 开发团队: 韩国大学数据挖掘与信息系统实验室(DMIS-lab)

• 发布方[可选]: 韩国大学数据挖掘与信息系统实验室(DMIS-lab)

• 模型类型: 问答系统

• 支持语言(NLP): 待补充

• 许可协议: 待补充

• 基础模型: GPT-Neo-2.7B

• 更多资源:

  • GitHub代码库
  • 相关论文

使用场景

直接使用

本模型适用于问答任务场景

下游应用[可选]

待补充信息

非适用场景

禁止使用本模型故意制造敌对或排斥性环境。

偏见、风险与限制

语言模型存在的偏见与公平性问题已有多项研究(参见Sheng等人(2021)和Bender等人(2021))。模型可能生成涉及受保护群体、身份特征及敏感社会职业的歧视性内容。

使用建议

建议用户(包括直接使用者和下游开发者)充分了解模型的潜在风险与局限性。具体建议待补充。

训练详情

训练数据

研究团队在相关论文中说明：

我们基于BERTBASE模型（已在英文维基百科和BooksCorpus语料上预训练100万步）进行开发。BioBERT v1.0(+PubMed+PMC)版本在PubMed和PMC语料上分别进行了20万步和27万步优化训练。

训练流程

数据预处理

论文中指出：

使用Naver智能机器学习平台(NSML)进行预训练，该平台支持多GPU大规模实验

训练效率

论文中提及：

固定最大序列长度为512，批次大小设为192，即每次迭代处理98,304个单词。

评估

测试数据与指标

测试数据

待补充

评估维度

待补充

评估指标

待补充

评估结果

待补充

模型分析

待补充

环境影响

碳排放量可参考Lacoste等人(2019)提出的机器学习碳足迹计算器进行估算。

• 硬件配置:
  • 训练阶段: 8块NVIDIA V100(32GB)显卡
  • 微调阶段: 单块NVIDIA Titan Xp(12GB)显卡
• 训练时长: 待补充
• 云服务商: 待补充
• 计算区域: 待补充
• 碳排放量: 待补充

技术规格[可选]

模型架构

待补充

计算基础设施

待补充

硬件配置

待补充

软件环境

待补充

引用

BibTeX格式:

@article{lee2019biobert,
  title={BioBERT: 面向生物医学文本挖掘的预训练语言表示模型},
  author={李振赫, 尹元振, 金成德, 金东贤, 金宣奎, 苏灿浩, 姜宰旭},
  journal={arXiv预印本 arXiv:1901.08746},
  year={2019}
}

术语表[可选]

待补充

扩展信息[可选]

使用问题请提交GitHub工单。联系邮箱：李振赫(lee.jnhk@gmail.com)或尹元振(wonjin.info@gmail.com)。

模型卡片作者[可选]

韩国大学DMIS实验室与Ezi Ozoani及Hugging Face团队合作编写

联系方式

待补充

快速开始

以下代码演示模型加载方式：

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

model = AutoModelForQuestionAnswering.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")