许可证：bigscience-openrail-m
语言：

• 英语
• 中文
• 日语

标签：

• 监督微调（SFT）

任务类型：文本生成

示例输入：

• 文本：<|prompter|>什么是梗，这个词背后的历史是什么？</s><|assistant|>
• 文本：<|prompter|>地球总人口是多少</s><|assistant|>
• 文本：<|prompter|>写一个关于AI未来发展前景的故事</s><|assistant|>

数据集：

• OpenAssistant/oasst1
• databricks/databricks-dolly-15k
• anon8231489123/ShareGPT_Vicuna_unfiltered
• LIUM/tedlium
• theblackcat102/joke_explaination

Bloom-3B监督微调模型

本模型基于Bloom-zh的30亿参数版本，通过2023年4月12日前在https://open-assistant.io/人类反馈网页应用收集的助手对话人类示范数据进行微调。监督微调序列长度为5120。

模型详情

• 开发团队：Open-Assistant贡献者与iKala
• 模型类型：基于Transformer的语言模型
• 支持语言：英语、中文、日语
• 基础模型：ckip-joint/bloom-3b-zh
• 代码库：Open-Assistant/model/model_training
• 许可证：联发科研究许可证（链接）及RAIL许可证v1.0（链接），非商用

提示格式

使用两种特殊标记区分用户与助手对话轮次：
<|prompter|>表示用户输入开始，<|assistant|>表示助手回复开始。每轮对话以</s>标记结束。

输入示例：

<|prompter|>什么是梗，这个词背后的历史是什么？</s><|assistant|>

输入以<|assistant|>标记结尾，提示模型开始生成助手回复。

基准测试

开发详情

• 基础模型：ckip-joint/bloom-3b-zh
• 训练轮次：1个周期（6000步）
• 硬件配置：NVIDIA RTX A6000 × 4

训练命令：
deepspeed trainer_sft.py --configs defaults bloom-zh-3b datasets --num_train_epochs 2 --deepspeed

数据配置：

datasets:  
  - wmt2019_zh-en:  
      max_val_set: 1000  
      max_train_set: 20000  
  - ted_trans_en-ja:  
      max_val_set: 1000  
      max_train_set: 20000  
  - ted_trans_zh-ja:  
      max_val_set: 1000  
      max_train_set: 20000  
  - ikala:  
      input_file_path: export_conversation_v4.4.jsonl  
      val_split: 0.05  
  - dolly15k:  
      val_split: 0.05  
  - oasst_export:  
      lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk,zh,ja,th,ko"  
      input_file_path: 2023-04-12_oasst_release_ready_synth.jsonl.gz  
      val_split: 0.05  
  - joke  
  - gsm8k  
  - webgpt  

注：包含内部数据集ikala，复现时需移除该数据集

bloom-zh-3b配置：

bloom-zh-3b:  
  dtype: fp16  
  log_dir: "bloom-zh_3b"  
  learning_rate: 8e-6  
  model_name: ckip-joint/bloom-3b-zh  
  output_dir: bloom_model_v4_3b  
  weight_decay: 0.0  
  max_length: 5120  
  warmup_steps: 2000  
  gradient_checkpointing: true  
  gradient_accumulation_steps: 32  
  per_device_train_batch_size: 1  
  per_device_eval_batch_size: 1  
  eval_steps: 500  
  save_steps: 1000  
  num_train_epochs: 8  
  save_total_limit: 2  
  deepspeed_config: configs/zero3_config_sft.json  

Zero优化配置：

{
  "fp16": {  
    "enabled": "auto",  
    "loss_scale": 0,  
    "loss_scale_window": 1000,  
    "initial_scale_power": 16,  
    "hysteresis": 2,  
    "min_loss_scale": 1  
  },  
  "bf16": {  
    "enabled": "auto"  
  },  
  "optimizer": {  
    "type": "AdamW",  
    "params": {  
      "lr": "auto",  
      "betas": "auto",  
      "eps": "auto",  
      "weight_decay": "auto"  
    }  
  },  
  "scheduler": {  
    "type": "WarmupDecayLR",  
    "params": {  
      "warmup_min_lr": "auto",  
      "warmup_max_lr": "auto",  
      "warmup_num_steps": "auto",  
      "warmup_type": "linear",  
      "total_num_steps": "auto"  
    }  
  },  
  "zero_optimization": {  
    "stage": 3,  
    "overlap_comm": true,  
    "contiguous_gradients": true,  
    "sub_group_size": 1e9,  
    "reduce_bucket_size": "auto",  
    "stage3_prefetch_bucket_size": "auto",  
    "stage3_param_persistence_threshold": "auto",  
    "stage3_max_live_parameters": 1e9,  
    "stage3_max_reuse_distance": 1e9,  
    "stage3_gather_16bit_weights_on_model_save": true  
  },  
  "gradient_accumulation_steps": "auto",  
  "gradient_clipping": "auto",  
  "steps_per_print": 2000,  
  "train_batch_size": "auto",  
  "train_micro_batch_size_per_gpu": "auto",  
  "wall_clock_breakdown": false  
}