library_name: transformers
license: apache-2.0
datasets:

• monology/pile-uncopyrighted
• MiniLLM/pile-diff_samp-qwen_1.8B-qwen_104M-r0.5
  language:
• en
  metrics:
• accuracy
  pipeline_tag: text-generation

MinPLM-Qwen-200M

论文 | 代码

MiniPLM-Qwen-200M 是一个基于Qwen架构的2亿参数模型，采用MiniPLM知识蒸馏框架从零开始预训练，并以官方Qwen1.5-1.8B作为教师模型。

我们同时开源了通过MiniPLM差异采样优化的预训练语料库以确保可复现性。

性能评估

MiniPLM模型在相同计算量下表现更优，且在不同模型规模上均展现良好扩展性：

基线模型

• 常规预训练
• VanillaKD

引用

@article{miniplm,  
    title={MiniPLM: 预训练语言模型的知识蒸馏},  
    author={顾宇贤 and 周浩 and 孟凡东 and 周杰 and 黄民烈},  
    journal={arXiv预印本 arXiv:2410.17215},  
    year={2024}  
}