INDUS-Small是基于RoBERTa的纯编码器Transformer模型INDUS的蒸馏版本，专为NASA科学任务理事会(SMD)应用领域适配，针对NASA SMD相关的科学期刊和文章进行了微调。

mMiniLM-L12xH384 XLM-R 是一个轻量化的多语言预训练模型，基于 MiniLMv2 架构，通过关系蒸馏技术压缩了传统 XLM-RoBERTa 模型。

MiniLM是一种小型高效的预训练语言模型，通过深度自注意力蒸馏技术压缩而成，适用于语言理解与生成任务。