库名称：transformers 许可证：apache-2.0 数据集：

• HuggingFaceTB/smollm-corpus 语言：
• en 流水线标签：文本生成 标签：
• pt
• doge

Doge 320M

Doge采用动态掩码注意力机制进行序列转换，并可使用多层感知器或跨域专家混合进行状态转换。动态掩码注意力机制允许Transformer在训练时使用自注意力机制，在推理时使用状态空间机制，而跨域专家混合可直接继承多层感知器的权重进行进一步训练。该模型由SmallDoge社区训练，详细算法和模型架构将在即将发布的论文中介绍，所有训练细节和代码可在small-doge仓库中找到。

使用方法

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-320M")
>>> model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-320M", trust_remote_code=True)
>>> inputs = tokenizer("嘿，最近怎么样？", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

模型详情

我们在Smollm-Corpus上进行了预训练来构建Doge模型。如果想继续预训练该模型，可以在此处找到未收敛的检查点here。这些模型尚未针对指令进行微调，指令模型在此处here。

预训练:

评估:

训练过程:

环境:

• 镜像：nvcr.io/nvidia/pytorch:24.12-py3
• 硬件：1x NVIDIA RTX 4090
• 软件：Transformers

引用

@misc{smalldoges,
  title={SmallDoges: 动态超快速小型语言模型家族}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}