pipeline_tag: 文本生成 inference: true widget:

• text: 'def print_hello_world():' example_title: Hello world group: Python license: bigcode-openrail-m datasets:
• bigcode/the-stack-dedup metrics:
• code_eval library_name: transformers tags:
• 代码 model-index:
• name: Tiny-StarCoder-Py results:
  • task: type: 文本生成 dataset: type: openai_humaneval name: HumanEval metrics:
    • name: pass@1 type: pass@1 value: 7.84% verified: false

TinyStarCoderPy

这是一个拥有1.64亿参数的模型，其架构与StarCoder相同（8k上下文长度，MQA和FIM）。它是在StarCoderData的Python数据上训练的，训练了约6个epoch，总计1000亿个token。

使用

预期用途

该模型在GitHub代码上进行训练，旨在协助完成一些任务，如辅助生成。对于纯代码补全，建议使用我们的150亿参数模型StarCoder或StarCoderBase。

生成

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/tiny_starcoder_py"
device = "cuda" # 使用GPU或"cpu"使用CPU

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

中间填充

中间填充使用特殊token来标识输入和输出的前缀/中间/后缀部分：

input_text = "<fim_prefix>def print_one_two_three():\n    print('one')\n    <fim_suffix>\n    print('three')<fim_middle>"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

训练

模型

• 架构: 采用多查询注意力和中间填充目标的GPT-2模型
• 预训练步骤: 50k
• 预训练token数: 1000亿
• 精度: bfloat16

硬件

• GPU: 32块Tesla A100
• 训练时间: 18小时

软件

• 编排: Megatron-LM
• 神经网络: PyTorch
• BP16（如适用）: apex

许可证

该模型采用BigCode OpenRAIL-M v1许可证协议授权。完整协议可在此处查看。