library_name: transformers
license: apache-2.0
datasets:

• wubingheng/Doge_PT_chinese
  language:
• zh
  pipeline_tag: text-generation
  tags:
• pt
• doge

Doge 20M 中文版

Doge模型采用动态掩码注意力机制进行序列转换，可选择多层感知机或跨域专家混合进行状态转换。动态掩码注意力使Transformer能在训练时使用自注意力机制，在推理时切换至状态空间机制；跨域专家混合可直接继承多层感知机的权重进行后续训练。本模型由SmallDoge社区训练，完整算法与模型架构详见即将发布的论文，所有训练细节及代码均开源在small-doge仓库。

使用方式

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("wubingheng/Doge-20M-Chinese")
>>> model = AutoModelForCausalLM.from_pretrained("wubingheng/Doge-20M-Chinese", trust_remote_code=True)
>>> inputs = tokenizer("你好", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

模型详情

训练环境:

• 镜像: nvcr.io/nvidia/pytorch:24.12-py3
• 硬件: 1×NVIDIA RTX 4090
• 软件: Transformers

引用规范

@misc{smalldoges,
  title={SmallDoges: 动态超高速小型语言模型家族}, 
  author={史靖泽, 吴逸凡, 吴秉衡, 罗雨郁},
  year={2025},
  month={3月},
  url={https://github.com/SmallDoges/small-doge}
}