🚀 Tinystories-gpt-0.1-3m-GGUF

本项目提供了来自 segestic 的 Tinystories-gpt-0.1-3m 模型的量化 GGUF 模型文件。该项目旨在利用 Hugging Face 的 Transformers 库，在消费级 GPU 上基于 GPT2 架构重新创建 TinyStories 模型，而非原论文中使用的 GPT-Neo 架构。最终输出的模型大小为 15MB，拥有 300 万个参数。

🚀 快速开始

模型信息

原模型说明

我们尝试使用 Hugging Face 的 Transformers 库，在消费级 GPU 上使用 GPT2 架构重新创建 TinyStories 模型，而非原论文（https://arxiv.org/abs/2305.07759）中最初使用的 GPT-Neo 架构。输出的模型大小为 15MB，有 300 万个参数。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("segestic/Tinystories-gpt-0.1-3m")

model = AutoModelForCausalLM.from_pretrained("segestic/Tinystories-gpt-0.1-3m")

prompt = "Once upon a time there was"

input_ids = tokenizer.encode(prompt, return_tensors="pt")
# 生成完成文本
output = model.generate(input_ids, max_length = 1000, num_beams=1)
# 解码完成文本
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
# 打印生成的文本
print(output_text)

高级用法

# 使用管道作为高级辅助工具
from transformers import pipeline
# 创建管道
pipe = pipeline("text-generation", model="segestic/Tinystories-gpt-0.1-3m")
# 输入提示
prompt = "where is the little girl"
# 生成完成文本
output = pipe(prompt, max_length=1000, num_beams=1)
# 解码完成文本
generated_text = output[0]['generated_text']
# 打印生成的文本
print(generated_text)