---

许可证: agpl-3.0
数据集:

• fnlp/moss-002-sft-data
  语言:
• 英文
• 中文
  标签:
• moss
• 大语言模型

---

MOSS

目录

• 开源清单
  • 模型
  • 数据
  • 工程方案
• 简介
• 与MOSS对话
  • GPU需求
  • 安装指南
  • 体验MOSS
• 微调MOSS
  • 环境要求
  • 开始训练
• 相关链接
• 未来计划
• 许可证

---

:spiral_notepad: 开源清单

模型

• moss-moon-003-base: MOSS-003的基础语言模型，基于CodeGen初始化，并在1000亿中文字符和200亿英文字符上继续预训练。该模型在预训练阶段处理了7000亿token，总计消耗约6.67×10²²次浮点运算。
• moss-moon-003-sft: 基于约110万轮多轮对话数据进行监督微调，微调后的模型能遵循多轮对话指令并拒绝不当请求。
• moss-moon-003-sft-plugin: 在110万轮对话数据基础上，额外使用30万轮插件增强数据微调，使模型具备使用搜索引擎、文生图、计算器和方程求解器等工具的能力。
• moss-moon-003-sft-int4: moss-moon-003-sft的4位量化版本，推理需12GB显存。
• moss-moon-003-sft-int8: 8位量化版本，需24GB显存。
• moss-moon-003-sft-plugin-int4: 插件版的4位量化版本，需12GB显存。
• moss-moon-003-sft-plugin-int8: 插件版8位量化版本，需24GB显存。
• moss-moon-003-pm: 基于moss-moon-003-sft生成的偏好数据训练的偏好模型，即将开源。
• moss-moon-003: 使用偏好模型优化的最终版MOSS-003，事实性和安全性更优，即将开源。
• moss-moon-003-plugin: 插件增强的最终版，工具使用能力更强，即将开源。

数据

• moss-002-sft-data: 用于训练MOSS-002的116万轮中英文对话数据，由text-davinci-003生成，涵盖帮助性、诚实性和无害性。
• moss-003-sft-data: 用于训练moss-moon-003-sft的110万轮对话数据，通过早期部署的API收集用户提示后由gpt-3.5-turbo生成，意图分布更贴近真实场景。
• moss-003-sft-plugin-data: 30万轮插件增强对话数据，涵盖四种插件使用场景，部分已开源。
• moss-003-pm-data: 用于训练偏好模型的18万轮对话数据，即将公开。

工程方案

• MOSS Vortex - 模型推理与部署方案
• MOSS WebSearchTool - 网络搜索插件实现
• MOSS前端 - Flutter开发的前端界面
• MOSS后端 - Go语言实现的后端服务

:fountain_pen: 简介

MOSS是一个支持插件增强的开源对话语言模型。moss-moon系列模型参数量160亿，支持单卡A100（FP16精度）或双卡3090推理，INT-4/8量化后可在单卡3090上运行。基础模型在7000亿中英文及代码token上预训练，经多轮插件对话数据微调后，最终通过偏好感知训练优化。

局限性：受模型规模和自回归特性影响，MOSS可能生成包含错误、误导或偏见的内容，使用前请仔细核查。

应用示例：

数学计算

文生图插件

中文能力

代码生成

安全性

:robot: 与MOSS对话

GPU需求

下表展示了批大小为1时推理所需的最小显存（当前量化版本不支持模型并行）：

精度	加载模型	完成单轮对话（预估）	达到最大序列长度（2048）
FP16	31GB	42GB	81GB
Int8	16GB	24GB	46GB
Int4	7.8GB	12GB	26GB

安装指南

1. 克隆仓库：

git clone https://github.com/OpenLMLab/MOSS.git  
cd MOSS  

2. 创建conda环境：

conda create --name moss python=3.8  
conda activate moss  

3. 安装依赖：

pip install -r requirements.txt  

4. （可选）4/8位量化支持：

pip install triton  

注意：当前triton仅支持Linux/WSL系统。

体验MOSS

单卡推理

以下示例展示如何在单卡A800或CPU上运行FP16精度的moss-moon-003-sft：

>>> from transformers import AutoTokenizer, AutoModelForCausalLM  
>>> tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-moon-003-sft", trust_remote_code=True)  
>>> model = AutoModelForCausalLM.from_pretrained("fnlp/moss-moon-003-sft", trust_remote_code=True).half().cuda()  
>>> meta_instruction = "你是一个名为MOSS的AI助手..." # 完整指令见原文档  
>>> query = meta_instruction + "<|Human|>: 你好<eoh>\n<|MOSS|>:"  
>>> inputs = tokenizer(query, return_tensors="pt").to('cuda')  
>>> outputs = model.generate(**inputs, max_new_tokens=256)  
>>> print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))  

多卡推理

在≥2张3090显卡上运行的代码示例：

>>> from accelerate import init_empty_weights, load_checkpoint_and_dispatch  
>>> with init_empty_weights():  
...     model = AutoModelForCausalLM.from_config(config, torch_dtype=torch.float16)  
>>> model = load_checkpoint_and_dispatch(model, checkpoint_dir, device_map="auto")  

量化模型

使用4位量化模型示例（需安装triton）：

>>> model = AutoModelForCausalLM.from_pretrained("fnlp/moss-moon-003-sft-int4", trust_remote_code=True).half().cuda()  

插件增强

启用网络搜索插件的完整交互流程：

1. 首次推理生成插件调用指令
2. 执行插件获取结果
3. 将结果输入模型生成最终回复

>>> # 首次生成插件命令  
>>> query = meta_instruction + "<|Human|>: 黑暗荣耀的主演<eoh>\n<|MOSS|>:"  
>>> outputs = model.generate(**inputs, stopping_criteria=StopWordsCriteria(["<eoc>"]))  
>>> print("生成的搜索命令:", extract_search_command(outputs))  

>>> # 执行搜索后拼接结果  
>>> new_query = f"{outputs}<|Results|>:\nSearch(...)\n<eor><|MOSS|>:"  
>>> final_output = model.generate(**tokenizer(new_query, return_tensors="pt").to('cuda'))  
>>> print("最终回复:", tokenizer.decode(final_output[0][inputs.input_ids.shape[1]:]))  

网页演示

Streamlit版

streamlit run moss_web_demo_streamlit.py --server.port 8888  

Gradio版

python moss_web_demo_gradio.py  

命令行交互

运行CLI演示程序：

python moss_cli_demo.py  

输入clear清空对话历史，输入stop退出程序。

:fire: 微调MOSS

环境要求

accelerate==0.17.1  
torch==1.13.1+cu117  
transformers==4.25.1  

开始训练

1. 按指定格式准备数据
2. 配置accelerate配置文件
3. 启动训练脚本：

accelerate launch --config_file ./configs/sft.yaml finetune_moss.py \  
    --model_name_or_path fnlp/moss-moon-003-base \  
    --data_dir ./sft_data \  
    --output_dir ./ckpts/moss-moon-003-sft  

注意：基础模型的EOS标记为<|endoftext|>，微调时需指定为<eom>。

:link: 相关链接

• 视频对话MOSS - 用MOSS分析视频内容！
• ModelWhale平台 - 部署MOSS的计算平台

欢迎提交Pull Request补充其他基于MOSS的开源项目。

:construction: 未来计划

• 推理能力：通过扩大模型规模和数学专项训练提升推理能力
• 真实性&安全性：减少幻觉输出，增强安全防护
• 多模态：赋予模型视觉和听觉理解能力
• 个性化：使模型能在交互中持续学习，最终形成个性化AI

:page_with_curl: 许可证

代码采用Apache 2.0许可，数据使用CC BY-NC 4.0许可，模型权重遵循GNU AGPL 3.0。商业用途需签署授权表格并发送至robot@fudan.edu.cn申请授权。

:heart: 致谢

• CodeGen: 基础模型初始化
• Mosec: 模型部署与流式响应
• 上海AI实验室: GPU算力支持
• GPTQ: 量化技术实现