GPT-Neo 小型葡萄牙语模型

模型描述

这是基于EletheurAI的GPT-Neo 125M模型进行葡萄牙语微调的版本。

训练数据

模型训练数据来自PTWiki数据库精选的227,382条文本。完整数据可在此获取：https://archive.org/details/ptwiki-dump-20210520

训练过程

所有文本均通过GPT2分词器处理，添加了起始符和结束符进行分隔，并采用GPT-Neo支持的最大序列长度。使用Hugging Face库中Trainer Class的默认指标进行微调。

学习率：2e-4

训练轮数：1

开发目标

本项目纯属教育用途，旨在提供该模型的葡萄牙语版本。

使用方法

from transformers import AutoTokenizer, AutoModelForCausalLM
  
tokenizer = AutoTokenizer.from_pretrained("HeyLucasLeao/gpt-neo-small-portuguese")

model = AutoModelForCausalLM.from_pretrained("HeyLucasLeao/gpt-neo-small-portuguese")

text = 'eu amo o brasil.'

generated = tokenizer(f'<|startoftext|> {text}',   
                      return_tensors='pt').input_ids.cuda()
                      
# 文本生成
sample_outputs = model.generate(generated, 
                 # 采用采样而非贪婪解码
                 do_sample=True, 
                 # 仅保留概率最高的3个token
                 top_k=3, 
                 # 最大序列长度
                 max_length=200, 
                 # 仅保留累计概率达95%的最可能token
                 top_p=0.95, 
                 # 控制生成随机性
                 temperature=1.9,
                 # 生成序列数量                
                 num_return_sequences=3)

# 解码并输出生成结果
for i, sample_output in enumerate(sample_outputs):
    print(">> 生成文本 {}\\\\
\\\\
{}".format(i+1, tokenizer.decode(sample_output.tolist())))

# >> 生成文本
#将`pad_token_id`设置为`eos_token_id`:50256以进行开放式生成
#>> 生成文本 1

#<|startoftext|> 我爱巴西。该术语被某些作者用来指代巴西政治权力的形成。自1960年代起，该术语开始用于描述巴西的政治形态。从1970年代中期到2000年代初，该术语被应用于描述国家的政治行政体系，被部分作者用作"右翼政治"的表达方式。历史背景 "政治行政"一词最早于1891年被某个团体使用...
#>> 生成文本 2

#<|startoftext|> 我爱巴西。与世界上大多数被称为"巴西人"的人不同，他们是被称为"国家明珠"的人群，拥有超过一个世纪的职业生涯。"金色明珠"一词用于指代生活在巴西的人群，他们被称为"国家明珠"，是"城市"的象征，生活在纽约市，居住在一个大多数人被称为"城市居民"的国度。历史...
#>> 生成文本 3

#<|startoftext|> 我爱巴西。这个表达特指使用某种乐器来指代音乐品质，这是对个人音乐品质的一种表达。"爱"(英语：amo)这个词可以在任何渴望被爱或感受爱意超过单纯愿望的场景中使用。通常，"爱意"(源自英语amo)既可以指代某个人，也可以指代弦乐器或某种...