许可证：llama2
数据集：

• OpenAssistant/oasst1
• shahules786/orca-best
  语言：
• 英语

Open-Assistant CodeLlama 13B SFT v10

本模型是基于Meta的CodeLlama 13B大语言模型进行Open-Assistant微调的版本。

注意：由于采用了新的RoPE Theta值（1e6替代1e4），为确保结果正确，加载此模型时必须使用trust_remote_code=True参数，或使用Huggingface transformers库的最新主分支（直至4.33版本发布）。

模型详情

• 基础模型：codellama/CodeLlama-7b-hf（通过epfLLM/Megatron-LLM微调）
• 模型类型：仅解码器的因果Transformer语言模型
• 语言：英语
• 训练日志：6123步，批量大小64，详见W&B记录
• 演示：250个随机提示的续写样本（无系统消息）
• 许可证：LLAMA 2社区许可协议
• 联系：Open-Assistant Discord

提示模板

根据用户反馈（参见调查），我们将提示模板从自定义的prompter/assistant标记改为OpenAI的chatml标准格式，以提升与聊天应用的前端兼容性。

对话模板示例：

<|im_start|>system  
{系统消息}<|im_end|>  
<|im_start|>user  
{用户提示}<|im_end|>  
<|im_start|>assistant  

输入可包含多轮对话，例如：

<|im_start|>user  
{提示1}<|im_end|>  
<|im_start|>assistant  
{回复1}<|im_end|>  
<|im_start|>user  
{提示2}<|im_end|>  
<|im_start|>assistant  
(...)  

训练时部分采用了orca系统消息。推理时建议使用官方Llama2系统消息：

<|im_start|>system  
你是一个乐于助人、尊重他人且诚实的助手。始终以最有益的方式回答，同时确保安全性。回答不应包含任何有害、不道德、种族歧视、性别歧视、毒性、危险或非法内容。请确保回应具有社会公正性和积极性。  

若问题无意义或事实不清，请解释原因而非提供错误答案。若不知答案，请勿传播虚假信息。  
<|im_end|>  

致谢

• 感谢Meta AI训练并开源CodeLLama模型
• EPFL的机器学习与优化实验室和自然语言处理实验室提供分布式训练支持
• 微调使用开源epfLLM/Megatron-LLM训练器
• rombodawg整理LosslessMegaCodeTrainingV2_1m_Evol_Uncensored数据集
• ehartford创建并发布ehartford/dolphin数据集
• shahules786通过聚类去重生成orca-best和bestofmegacode数据集
• andreaskoepf协调训练工作

伦理考量与限制

当前测试仅覆盖英语场景，无法涵盖所有可能性。与其他大语言模型类似，本模型可能偶尔产生不准确、偏见或其他不当回应。开发者应在部署前进行针对性的安全测试和调优。详见Meta的负责任使用指南。

配置详情

数据混合的预分词工具位于Open-Assistant代码库的model/pretokenizer目录。

预分词配置

orca_megacode_oasst_best:  
  数据集:  
    - orca-chat:  
        验证集比例: 0.01  
        最大验证集: 1000  
    - bestofmegacode:  
        验证集比例: 0.01  
        最大验证集: 1000  
    - oasst_export:  
        语言: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"  
        输入文件路径: 2023-08-25_oasst_ready.jsonl.gz  
        top_k: 1  
        验证集比例: 0.025  
  输出目录: "output/orca_megacode_oasst_best"  
  文件名前缀: "orca_megacode_oasst_best"  
  最小助手标记数: 1