Doge模型采用动态掩码注意力机制进行序列转换，可选择多层感知机或跨域专家混合进行状态转换。

Doge 320M 指导版是一个基于动态掩码注意力的轻量级语言模型，采用监督微调(SFT)和直接偏好优化(DPO)训练，适用于问答和对话任务。

盆景是一个拥有5亿参数的小型三值权重语言模型，采用Llama架构和Mistral分词器，训练使用的标记数不到50亿。

Doge 160M 是一个采用动态掩码注意力机制的小型语言模型，由 SmallDoge 社区训练，支持文本生成任务。

Doge 20M 是一个基于动态掩码注意力机制的小型语言模型，支持指令跟随和问答任务。

Simple Stories是一个基于TinyStories数据集训练的小型文本生成模型系列，专注于生成儿童故事。

CharGPT-96M 是一个采用字符级分词的小型语言模型，适用于各种实验场景，尤其是当BPE（子词）分词导致任务表现不佳时。

TinyStories-1M 是一个基于 TinyStories 数据集训练的小型语言模型，专门设计用于生成适合儿童阅读的简单故事。

该模型是基于Microsoft的MiniLM-L12-H384-uncased在IMDB数据集上微调的版本，主要用于情感分析任务。