许可证: mit 数据集:

• HuggingFaceFW/fineweb 管道标签: 文本生成

Tiny-LLM微型大语言模型

这是一个仅包含1000万参数的微型大语言模型，可能是目前最小的功能性LLM之一。

预训练过程

Tiny-LLM在Fineweb数据集的320亿token上进行训练，上下文长度为1024个token。

快速开始

您可以通过Hugging Face的transformers库轻松加载使用这些模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


MODEL_NAME = "arnir0/Tiny-LLM"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)

def generate_text(prompt, model, tokenizer, max_length=512, temperature=1, top_k=50, top_p=0.95):
    inputs = tokenizer.encode(prompt, return_tensors="pt")

    outputs = model.generate(
        inputs,
        max_length=max_length,
        temperature=temperature,
        top_k=top_k,
        top_p=top_p,
        do_sample=True
    )


    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return generated_text

def main():
    # 定义您的提示词
    prompt = "根据所有已知的航空定律，蜜蜂根本不可能飞得起来。"

    generated_text = generate_text(prompt, model, tokenizer)

    print(generated_text)

if __name__ == "__main__":
    main()