🚀 airesearch/wangchanberta-base-att-spm-uncased

airesearch/wangchanberta-base-att-spm-uncased 这个模型使用了 iapp_wiki_qa_squad、thaiqa_squad 和 nsc_qa 的训练集进行微调。其中，移除了与验证集和测试集余弦相似度超过 0.8 的示例，并且后两个数据集的上下文被修剪至约 300 个 newmm 词。使用 iapp_wiki_qa_squad 的验证集和测试集在 wandb 上进行了基准测试。

该模型使用 thai2transformers 进行训练。

🚀 快速开始

运行命令

export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16

💻 使用示例

基础用法

# 定义模型名称
export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
# 运行训练脚本
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16

高级用法

# 可以根据实际需求调整其他参数，例如修改学习率、批次大小等
export MODEL_NAME=airesearch/wangchanberta-base-att-spm-uncased
python train_question_answering_lm_finetuning.py \
  --model_name $MODEL_NAME \
  --dataset_name chimera_qa \
  --output_dir $MODEL_NAME-finetune-chimera_qa-model \
  --log_dir $MODEL_NAME-finetune-chimera_qa-log \
  --lowercase \
  --pad_on_right \
  --fp16 \
  --learning_rate 1e-5 \
  --per_device_train_batch_size 16

补充信息

问题与上下文示例