language: th
tags:

• gpt2-base-thai
  license: mit
  datasets:
• oscar
  widget:
• text: "สวัสดีตอนเช้า"

GPT-2 泰语基础版

GPT-2 泰语基础版是基于OpenAI GPT-2架构的因果语言模型。该模型在OSCAR数据集（具体为unshuffled_deduplicated_th子集）上从头训练，最终评估损失值为1.708，评估困惑度为5.516。

本模型使用HuggingFace的Flax框架训练，属于HuggingFace组织的JAX/Flax社区周项目。所有训练均在Google Cloud团队赞助的TPUv3-8虚拟机上完成。

训练使用的完整脚本可在文件与版本页签查看，训练指标通过Tensorboard日志记录。

模型信息

评估结果

模型经过3轮训练周期，最终结果如下：

使用方式

作为因果语言模型

from transformers import pipeline  

pretrained_name = "flax-community/gpt2-base-thai"  

nlp = pipeline(  
    "text-generation",  
    model=pretrained_name,  
    tokenizer=pretrained_name  
)  

nlp("สวัสดีตอนเช้า")  

在PyTorch中提取特征

from transformers import GPT2Model, GPT2TokenizerFast  

pretrained_name = "flax-community/gpt2-base-thai"  
model = GPT2Model.from_pretrained(pretrained_name)  
tokenizer = GPT2TokenizerFast.from_pretrained(pretrained_name)  

prompt = "สวัสดีตอนเช้า"  
encoded_input = tokenizer(prompt, return_tensors='pt')  
output = model(**encoded_input)  

开发团队

• Sakares Saengkaew (@sakares)
• Wilson Wongso (@w11wo)