基础模型:

• google-bert/bert-base-uncased 数据集:
• gayanin/pubmed-gastro-maskfilling 语言:
• en 库名称: transformers 许可证: apache-2.0 管道标签: fill-mask 标签:
• 数学

medBERT-base

此仓库包含一个基于BERT的模型——medBERT-base，该模型在gayanin/pubmed-gastro-maskfilling数据集上进行了微调，用于**掩码语言建模（MLM）**任务。该模型训练用于预测医学和胃肠病学文本中的掩码标记。本项目的目标是提升模型在自然语言上下文中理解和生成医学相关信息的能力。

模型架构

• 基础模型: bert-base-uncased
• 任务: 医学文本的掩码语言建模（MLM）
• 分词器: BERT的WordPiece分词器

使用方法

加载预训练模型

您可以使用Hugging Face的transformers库加载预训练的medBERT-base模型：

from transformers import BertTokenizer, BertForMaskedLM
import torch

tokenizer = BertTokenizer.from_pretrained('suayptalha/medBERT-base')
model = BertForMaskedLM.from_pretrained('suayptalha/medBERT-base').to("cuda")

input_text = "新辅助化疗的反应最能预测胃癌根治性切除术后的生存[MASK]。"
inputs = tokenizer(input_text, return_tensors='pt').to("cuda")

outputs = model(**inputs)

masked_index = (inputs['input_ids'][0] == tokenizer.mask_token_id).nonzero(as_tuple=True)[0].item()

top_k = 5
logits = outputs.logits[0, masked_index]
top_k_ids = torch.topk(logits, k=top_k).indices.tolist()
top_k_tokens = tokenizer.convert_ids_to_tokens(top_k_ids)

print("前5个预测结果:")
for i, token in enumerate(top_k_tokens):
    print(f"{i + 1}: {token}")

前5个预测结果: 1: 来自 2: 的 3: 后 4: 通过 5: 经过

微调模型

要在您自己的医学数据集上微调medBERT-base模型，请按照以下步骤操作：

1. 准备您的数据集（例如医学文本或胃肠病学相关信息）为文本格式。
2. 对数据集进行分词并应用掩码。
3. 使用提供的训练循环训练模型。

训练代码如下：

https://github.com/suayptalha/medBERT-base/blob/main/medBERT-base.ipynb

训练详情

超参数

• 批量大小: 16
• 学习率: 5e-5
• 训练轮数: 1
• 最大序列长度: 512个标记

数据集

• 数据集名称: gayanin/pubmed-gastro-maskfilling
• 任务: 医学文本的掩码语言建模（MLM）

致谢

• gayanin/pubmed-gastro-maskfilling数据集可在Hugging Face数据集中心获取，提供了丰富的医学和胃肠病学相关信息用于训练。
• 本模型使用了Hugging Face的transformers库，这是一个用于NLP模型的最先进库。

支持: