标签:

• 训练生成 小部件:
• 文本: "如何编写一个Python函数来生成第n个斐波那契数？"
• 文本: "如何使用shell命令获取当前日期？请解释其工作原理。" 模型索引:
• 名称: starchat-beta 结果: [] 许可证: bigcode-openrail-m

StarChat-β 模型卡

StarChat是一系列旨在作为实用编程助手的语言模型。StarChat-β是该系列的第二款模型，是基于StarCoderPlus微调的版本，训练数据采用了openassistant-guanaco数据集的"去审查"变体。我们发现移除OpenAssistant数据集内置的对齐机制提升了模型在开放LLM排行榜的表现，并增强了其在编程任务中的实用性。但需注意，该模型在被诱导时可能生成问题内容，仅限用于教育研究目的。

模型详情

模型描述

• 模型类型: 基于"去审查"版openassistant-guanaco数据集微调的160亿参数GPT类模型
• 支持语言: 主要英语及80+编程语言
• 许可证: BigCode Open RAIL-M v1
• 基础模型: bigcode/starcoderplus

模型来源

• 代码库: https://github.com/bigcode-project/starcoder
• 演示版: https://huggingface.co/spaces/HuggingFaceH4/starchat-playground

使用场景与限制

该模型基于包含35+种语言对话的OpenAssistant/oasst1数据集变体微调，支持对话功能，可通过我们的演示平台测试编程能力。

使用🤗 Transformers库运行示例：

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceH4/starchat-beta", torch_dtype=torch.bfloat16, device_map="auto")

prompt_template = "<|system|>\n<|end|>\n<|user|>\n{query}<|end|>\n<|assistant|>"
prompt = prompt_template.format(query="Python如何对列表排序？")
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.2, top_k=50, top_p=0.95, eos_token_id=49155)
# 输出示例：可使用sort()方法原地排序，例如：\n\n```\nnumbers = [3,1,4]\nnumbers.sort()\nprint(numbers)\n```

偏差、风险与限制

该模型未经过RLHF等人性化对齐训练，可能生成问题内容（尤其在受诱导时）。基于代码数据训练的模型会继承GitHub社区的人口统计偏差（详见StarCoder数据集）。

需注意：

• 可能生成语法正确但语义错误的代码
• 可能产生无法编译或存在安全漏洞的代码
• 可能生成虚假URL（需谨慎验证）
• 基础模型StarCoderPlus的性别偏见、毒性倾向等评估详见其技术报告

训练数据

基于WizardLM相同清洗方法处理的openassistant-guanaco去审查版数据集。

训练参数

• 学习率: 2e-05
• 训练批次: 4（单卡）/256（总）
• 优化器: Adam (β1=0.9, β2=0.999)
• 训练周期: 6
• 热身比例: 3%

训练结果

框架版本

• Transformers 4.28.1
• PyTorch 2.0.1+cu118
• Datasets 2.12.0
• Tokenizers 0.13.3

引用

@article{Tunstall2023starchat-alpha,
  author = {Tunstall, Lewis 等},
  title = {用StarCoder构建编程助手},
  journal = {Hugging Face博客},
  year = {2023},
  url = {https://huggingface.co/blog/starchat},
}