许可证：apache-2.0
支持语言：

• 英文
• 中文
  库名称：transformers
  任务标签：对话式生成

MindLLM模型卡片

模型详情

模型描述

MindLLM 1.3B是由北京市海量语言信息处理与云计算应用工程技术研究中心与北京理工大学东南信息技术研究院联合开发的13亿参数Transformer模型。

该模型基于Pile、悟道、CBook等双语数据集及自主采集的安全教育类网页数据训练而成。在常识推理、语言理解和逻辑能力测试中，其表现超越部分130亿参数以下的模型。

本模型采用指令微调对话格式训练，但未经过人类反馈强化学习（RLHF）。开源目标是向研究社区提供一个无限制的小规模模型，以探索关键安全挑战及垂直领域应用。

• 开发团队：北京市海量语言信息处理与云计算应用工程技术研究中心 & 北京理工大学东南信息技术研究院
• 模型类型：预训练因果语言模型
• 支持语言：中文 & 英文
• 许可证：apache-2.0
• 训练方式：从零开始训练

模型来源

• 论文：https://arxiv.org/abs/2310.15777

引用格式：

@article{mindllm,  
  title={MindLLM: 轻量化大语言模型的从零预训练、评估与领域应用},  
  author={杨毅哲, 孙华山, 李家威, 刘润恒, 李英豪, 刘宇航, 黄鹤燕, 高扬},  
  journal={arXiv preprint arXiv:2310.15777},  
  year={2023}  
}  

使用场景

直接使用

模型支持通过pipeline进行文本生成（每次运行产生不同结果）：

from transformers import AutoTokenizer, AutoModelForCausalLM, TextGenerationPipeline  
tokenizer = AutoTokenizer.from_pretrained('mindllm_path')  
model = AutoModelForCausalLM.from_pretrained('mindllm_path').to(device)  
generator = TextGenerationPipeline(model=model, tokenizer=tokenizer, device=device)  
context = "<user>\n电动车相比汽油车有哪些优势？\n<assistant>\n"  
outputs = generator(context, max_new_tokens=1024, do_sample=True)  

对话模板规范

需遵循特定格式（建议对输入执行strip()避免多余空格）：

1. 单轮对话

# 输入  
<|endoftext|><user>\n电动车优势？\n<assistant>\n  
# 输出  
电动车优势包括：\n1. 零排放\n2. 低维护成本...  

2. 多轮对话

# 输入  
<|endoftext|><user>\n你叫什么？\n<assistant>\n我是MindLLM<|endoftext|><user>\n你对AI助手的看法？\n<assistant>\n  
# 输出  
AI助手是双刃剑，需平衡便利性与隐私保护...  

部署资源消耗

训练详情

训练数据

训练语料包含2410亿英文token和820亿中文token，来源包括：

• 英文：Pile数据集
• 中文：悟道、CBooks及精选网页爬取数据

预处理流程：

1. 特殊标签清洗
2. LSH去重
3. 广告/低质内容过滤
4. 数据配比工艺优化

训练过程

采用两阶段训练策略：

1. 基于交叉熵损失的自回归预训练
2. 400万条中文指令数据微调（支持多轮中文对话）

完整技术细节详见论文

（注：保留所有Markdown格式及代码块结构，技术术语如Transformer/RLHS等保持原样，对话示例中的换行符\n等特殊符号按原文呈现）