标签:

• 代码
• starcoder2 库名称: transformers 管道标签: 文本生成 许可证: bigcode-openrail-m

starcoder2-instruct

我们对starcoder2-3b模型进行了微调，额外使用了7亿个高质量的代码相关标记，训练了3个周期。我们采用了DeepSpeed ZeRO 3和Flash Attention 2来加速训练过程。该模型在HumanEval-Python测试中达到了65.9 pass@1的成绩。此模型遵循Alpaca指令格式运行（不包括系统提示）。

使用方法

以下是一些使用我们模型的示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
PROMPT = """### 指令
{instruction}
### 响应
"""
instruction = <在此输入您的代码指令>
prompt = PROMPT.format(instruction=instruction)
tokenizer = AutoTokenizer.from_pretrained("TechxGenus/starcoder2-3b-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "TechxGenus/starcoder2-3b-instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
inputs = tokenizer.encode(prompt, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=2048)
print(tokenizer.decode(outputs[0]))

使用文本生成管道：

from transformers import pipeline
import torch
PROMPT = """### 指令
{instruction}
### 响应
"""
instruction = <在此输入您的代码指令>
prompt = PROMPT.format(instruction=instruction)
generator = pipeline(
    model="TechxGenus/starcoder2-3b-instruct",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=2048)
print(result[0]["generated_text"])

注意事项

该模型有时可能会出错，产生误导性内容，或难以处理与编码无关的任务。它仅经过非常有限的测试。在实际部署前，应进行额外的安全性测试。