GPT2星座运势生成器

模型描述

本模型基于从Horoscopes.com爬取的星座运势数据集，对GPT2进行微调。可根据指定的运势类别生成星座运势内容。

用途与限制

使用方法

可通过HuggingFace的pipeline接口直接调用：

from transformers import AutoTokenizer, AutoModelWithLMHead  

tokenizer = AutoTokenizer.from_pretrained("shahp7575/gpt2-horoscopes")  
model = AutoModelWithLMHead.from_pretrained("shahp7575/gpt2-horoscopes")  

生成示例

输入文本格式 - <|category|> {类别名称} <|horoscope|>

支持的类别 - general（综合）, career（事业）, love（爱情）, wellness（健康）, birthday（生日）

示例代码：

prompt = <|category|> career <|horoscope|>  
prompt_encoded = torch.tensor(tokenizer.encode(prompt)).unsqueeze(0)  
sample_outputs = model.generate(prompt,   
                                do_sample=True,     
                                top_k=40,   
                                max_length = 300,  
                                top_p=0.95,  
                                temperature=0.95,  
                                num_return_sequences=1)  

也可参考此生成脚本。

训练数据

数据集从Horoscopes.com爬取，包含5个类别约1.2万条运势文本。完整数据集可在Kaggle获取。

训练过程

模型基于GPT2检查点，针对5种运势类别进行微调。为让模型区分不同类别，训练数据中使用特殊标记<|category|>分隔类别信息。

训练参数：

• 训练轮次 = 5
• 学习率 = 5e-4
• 预热步数 = 1e2
• 精度参数 = 1e-8
• 序列长度 = 300

评估结果

损失值：2.77

局限性

本模型仅针对分类运势文本微调，生成内容不代表真实星座运势，仅供教育学习用途。

参考文献

• Rey Farhan的GPT2微调笔记
• Jonathan Bgn - 用GPT-2构建口号生成器