library_name: transformers license: apache-2.0 language:

• 英文
• 葡萄牙语 datasets:
• allenai/c4
• allenai/dolma
• eduagarcia/CrawlPT_dedup
• Skylion007/openwebtext
• HuggingFaceTB/smollm-corpus
• NeuML/wikipedia-20250123
• TucanoBR/wikipedia-PT pipeline_tag: 文本生成 tags:
• llama-factory

Minueza-2-96M 微型语言模型

概述

Minueza-2-96M是基于Llama架构的紧凑型语言模型。该模型从零开始训练，使用英语和葡萄牙语数据集，支持4096个token的上下文长度，在训练过程中处理了1850亿个token。尽管仅有9600万参数，这个轻量级基础模型可作为后续特定应用微调的基石。

受限于模型尺寸，其推理能力、事实性知识和通用性能较之大模型存在明显不足，可能产生错误、无关或不合逻辑的输出。由于训练数据来自互联网文本，模型可能包含偏见并生成不当内容。

使用指南

pip install transformers==4.50.0 torch==2.6.0

from transformers import pipeline, TextStreamer
import torch

prompt = "本书讲述的故事"

generate_text = pipeline(
    "text-generation",
    model="Felladrin/Minueza-2-96M",
    device=torch.device("cuda" if torch.cuda.is_available() else "cpu"),
)

generate_text(
    prompt,
    streamer=TextStreamer(generate_text.tokenizer, skip_special_tokens=True),
    do_sample=True,
    max_new_tokens=512,
    temperature=0.8,
    top_p=0.95,
    top_k=0,
    min_p=0.05,
    repetition_penalty=1.1,
)

设计用途

本模型专为以下场景设计：

• 通过Wllama和Transformers.js在移动端浏览器运行
• 在无GPU设备上高效运行
• 作为ChatML格式微调的基座模型

架构参数

采用Llama架构的Transformer模型，训练上下文窗口为4096token。

预训练超参数配置：

许可协议

本模型采用Apache 2.0许可证。