开源协议: mit
数据集:

• lennart-finke/SimpleStories
  语言:
• en
  标签:
• 小型语言模型
• 故事生成
• 文本生成
• 高效自然语言处理
• 蒸馏模型

SimpleStories 模型家族

SimpleStories 是一个为可解释性研究设计的微型模型家族，基于 SimpleStories 数据集训练而成。

使用方法

import torch  
from transformers import AutoTokenizer, LlamaForCausalLM  

MODEL_SIZE = "30M"  
model_path = "SimpleStories/SimpleStories-{}".format(MODEL_SIZE)  

tokenizer = AutoTokenizer.from_pretrained(model_path)  
model = LlamaForCausalLM.from_pretrained(model_path)  
model.to("cuda")  
model.eval()  

prompt = "好奇的猫咪盯着"  

inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)  
input_ids = inputs.input_ids.to("cuda")  

eos_token_id = 1  

with torch.no_grad():  
    output_ids = model.generate(  
        input_ids=input_ids,  
        max_new_tokens=400,  
        temperature=0.7,  
        do_sample=True,  
        eos_token_id=eos_token_id  
)  

output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)  
print(f"\n生成文本:\n{output_text}")  

模型变体

性能对比

模型生成质量评估指标：

分词器

我们采用自定义WordPiece分词器，词表大小仅为4096。通过对数据集进行形态学分析和覆盖增益分析，我们在不损失生成质量的前提下构建了这个小巧的分词器。

数据集

SimpleStories数据集是由前沿语言模型生成的短篇故事集合，具有以下特点：

• 包含高层次概念标注：主题、话题、风格等
• 通过种子故事生成实现更高的语义和句法多样性
• 由2024年先进模型生成
• 预计算多项NLP指标便于筛选
• 英语数据集保证纯ASCII字符

阅读数据集论文请访问 arXiv。

训练

训练和评估脚本可通过 https://github.com/danbraunai/simple_stories_train 获取