语言: 泰米尔语
数据集:

• oscar
• IndicNLP
  示例输入:
• 文本: 'ஒரு ஊரிலே ஒரு காக்கைக்கு'

GPT2-泰米尔语模型

本仓库是HuggingFace举办的Flax/Jax社区周活动项目成果，旨在为泰米尔语构建基于GPT-2架构的预训练语言模型。

环境配置

运行以下命令完成环境搭建：

pip install -r requirements.txt  

模型说明

采用因果语言建模（CLM）目标预训练的泰米尔语GPT-2模型。

训练数据

模型训练使用以下数据集：

• oscar泰米尔语数据集
• IndicNLP泰米尔语数据集

应用场景与限制

基础模型可用于语句续写任务，但更推荐在下游任务上微调后使用。可通过模型中心查找相关任务的微调版本。

预训练流程

执行以下步骤进行模型训练：

1. 设置模型存储路径（用于保存配置、分词器等）

>>> export MODEL_DIR=<模型目录>  

2. 生成配置文件

>>> python src/create_config.py  

3. 训练分词器

>>> python src/train_tokenizer.py  

4. 启动Flax模型训练

>>> python scripts/train_gpt2-oscar-tamil.sh  

使用指南

可通过pipeline直接进行文本生成：

1. 将Flax模型转换为PyTorch格式

python src/convert_flax_to_pytorch.py  

2. 使用以下代码生成文本

>>> from transformers import AutoTokenizer, AutoModelWithLMHead, pipeline  
>>> model_name = 'abinayam/gpt-2-tamil'  
>>> model = AutoModelWithLMHead.from_pretrained(model_name)  
>>> tokenizer = AutoTokenizer.from_pretrained(model_name)  
>>> set_seed(42)  
>>> input_text = "ஒரு ஊரிலே ஒரு காக்கைக்கு"  
>>> max_len = 300  
>>> no_seq = 5  
>>> generator = pipeline('text-generation', model=model, tokenizer=tokenizer)  
>>> sequence = generator(input_text, max_length=max_len, num_return_sequences=no_seq)