🚀 科学问答模型

本项目基于预训练模型进行微调，构建了一个适用于科学领域的问答模型。该模型在特定数据集上进行训练，能够有效处理科学文献相关的问答任务，为科学研究和知识探索提供了有力支持。

🚀 快速开始

本模型基于预训练模型 allenai/scibert_scivocab_uncased，在 SQuAD V2 数据集上进行微调。微调使用了 run_squad.py 脚本。

📦 安装指南

训练环境

在 4 块 NVIDIA GeForce RTX 2080 Ti 11Gb GPU 上进行训练。

训练命令

BASE_MODEL=allenai/scibert_scivocab_uncased
python run_squad.py \
  --version_2_with_negative \
  --model_type albert \
  --model_name_or_path $BASE_MODEL \
  --output_dir $OUTPUT_MODEL \
  --do_eval \
  --do_lower_case \
  --train_file $SQUAD_DIR/train-v2.0.json \
  --predict_file $SQUAD_DIR/dev-v2.0.json \
  --per_gpu_train_batch_size 18 \
  --per_gpu_eval_batch_size 64 \
  --learning_rate 3e-5 \
  --num_train_epochs 3.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --save_steps 2000 \
  --threads 24 \
  --warmup_steps 550 \
  --gradient_accumulation_steps 1 \
  --fp16 \
  --logging_steps 50 \
  --do_train

📚 详细文档

评估结果

在开发集上进行评估，未进行最佳阈值搜索。

💻 使用示例

基础用法

可参考 huggingface 文档。在 SQuAD V2 上训练的模型可以判断段落是否包含答案：

start_scores, end_scores = model(input_ids) 
span_scores = start_scores.softmax(dim=1).log()[:,:,None] + end_scores.softmax(dim=1).log()[:,None,:]
ignore_score = span_scores[:,0,0] #no answer scores