库名称: transformers 许可证: apache-2.0 数据集:

• HuggingFaceTB/smoltalk
• HuggingFaceH4/ultrafeedback_binarized 基础模型:
• SmallDoge/Doge-120M-MoE 语言:
• en 管道标签: question-answering 标签:
• trl
• sft
• dpo
• doge

Doge 120M MoE指令模型

Doge模型采用动态掩码注意力机制进行序列转换，并可使用多层感知机或跨域专家混合进行状态转换。动态掩码注意力使Transformer能在训练时使用自注意力机制，在推理时使用状态空间机制，而跨域专家混合能直接继承多层感知机的权重进行进一步训练。本模型由SmallDoge社区训练，详细算法和模型架构将在即将发布的论文中阐述，所有训练细节和代码均可在small-doge代码库中获取。

使用方法

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-120M-MoE-Instruct")
model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-120M-MoE-Instruct", trust_remote_code=True)

generation_config = GenerationConfig(
      max_new_tokens=100, 
      use_cache=True, 
      do_sample=True, 
      temperature=0.8, 
      top_p=0.9,
      repetition_penalty=1.0
)
steamer = TextStreamer(
      tokenizer=tokenizer, 
      skip_prompt=True
)

prompt = "Hi, how are you doing today?"
conversation = [
      {"role": "user", "content": prompt}
]
inputs = tokenizer.apply_chat_template(
    conversation=conversation,
    tokenize=True,
    return_tensors="pt",
)

outputs = model.generate(
    inputs, 
    tokenizer=tokenizer,
    generation_config=generation_config, 
    streamer=steamer
)

模型详情

我们首先在SmolTalk上进行监督微调(SFT)，然后在UltraFeedback二值化数据集上进行直接偏好优化(DPO)来构建Doge-Instruct模型。

监督微调(SFT):

直接偏好优化(DPO):

评估结果:

训练过程:

监督微调(SFT):

直接偏好优化(DPO):

训练环境:

• 镜像: nvcr.io/nvidia/pytorch:24.12-py3
• 硬件: 1×NVIDIA RTX 4090
• 软件: Transformers, TRL

引用

@misc{smalldoges,
  title={SmallDoges: 动态超快速小型语言模型家族}, 
  author={史靖泽 and 吴一凡 and 吴炳衡 and 罗雨雨},
  year={2025},
  month={三月},
  url={https://github.com/SmallDoges/small-doge}
}