🚀 StarCoder2

StarCoder2-3B是一个拥有30亿参数的模型，它基于17种编程语言的数据进行训练，能够生成代码片段，但生成的代码不一定能按预期工作。

🚀 快速开始

安装依赖

首先，确保从源代码安装transformers：

pip install git+https://github.com/huggingface/transformers.git

运行模型

在CPU/GPU/多GPU上运行模型

• 使用全精度

# pip install git+https://github.com/huggingface/transformers.git # TODO: merge PR to main
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/starcoder2-3b"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# for multiple GPUs install accelerate and do `model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto")`
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 12624.81 MB

• 使用torch.bfloat16

# pip install accelerate
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

checkpoint = "bigcode/starcoder2-3b"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

# for fp16 use `torch_dtype=torch.float16` instead
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 6312.41 MB

通过bitsandbytes进行量化版本

• 使用8位精度（int8）

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

# to use 4bit use `load_in_4bit=True` instead
quantization_config = BitsAndBytesConfig(load_in_8bit=True)

checkpoint = "bigcode/starcoder2-3b"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, quantization_config=quantization_config)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
# load_in_8bit
Memory footprint: 3434.07 MB
# load_in_4bit
>>> print(f"Memory footprint: {model.get_memory_footprint() / 1e6:.2f} MB")
Memory footprint: 1994.90 MB

✨ 主要特性

• 训练数据丰富：基于来自 The Stack v2 的17种编程语言数据进行训练，排除了选择退出请求的数据。
• 先进技术应用：使用 Grouped Query Attention、16384个标记的上下文窗口 以及 4096个标记的滑动窗口注意力，并采用 Fill-in-the-Middle目标 进行训练。

📦 安装指南

确保从源代码安装transformers：

pip install git+https://github.com/huggingface/transformers.git

📚 详细文档

模型概述

StarCoder2-3B模型是一个拥有30亿参数的模型，在17种编程语言上进行训练。

• 项目网站：bigcode-project.org
• 论文：Link
• 联系方式：contact@bigcode-project.org
• 支持语言：17种编程语言

预期用途

该模型在GitHub代码以及其他选定的数据源（如Arxiv和Wikipedia）上进行训练。因此，它不是一个指令模型，像“编写一个计算平方根的函数”这样的命令效果不佳。

归因及其他要求

该模型的预训练数据集仅过滤了许可宽松的许可证和无许可证的代码。然而，模型可以逐字生成数据集中的源代码。代码的许可证可能要求归因和/或其他特定要求，必须予以遵守。我们提供了一个 搜索索引，可让您搜索预训练数据，以确定生成的代码来源，并对您的代码进行适当的归因。

局限性

该模型在600多种编程语言的源代码上进行训练。源代码中主要语言是英语，尽管也存在其他语言。因此，该模型能够在提供一些上下文的情况下生成代码片段，但生成的代码不一定能按预期工作。它可能效率低下、包含错误或漏洞。有关模型局限性的深入讨论，请参阅 论文。

训练

模型

• 架构：具有分组查询和滑动窗口注意力以及Fill-in-the-Middle目标的Transformer解码器
• 预训练步骤：120万步
• 预训练标记：3万亿以上
• 精度：bfloat16

硬件

• GPU：160个A100

软件

• 框架：TODO
• 神经网络：PyTorch

🔧 技术细节

评估指标

📄 许可证

该模型遵循BigCode OpenRAIL-M v1许可协议。您可以在 此处 找到完整协议。

📚 引用

@misc{lozhkov2024starcoder,
      title={StarCoder 2 and The Stack v2: The Next Generation}, 
      author={Anton Lozhkov and Raymond Li and Loubna Ben Allal and Federico Cassano and Joel Lamy-Poirier and Nouamane Tazi and Ao Tang and Dmytro Pykhtar and Jiawei Liu and Yuxiang Wei and Tianyang Liu and Max Tian and Denis Kocetkov and Arthur Zucker and Younes Belkada and Zijian Wang and Qian Liu and Dmitry Abulkhanov and Indraneil Paul and Zhuang Li and Wen-Ding Li and Megan Risdal and Jia Li and Jian Zhu and Terry Yue Zhuo and Evgenii Zheltonozhskii and Nii Osae Osae Dade and Wenhao Yu and Lucas Krauß and Naman Jain and Yixuan Su and Xuanli He and Manan Dey and Edoardo Abati and Yekun Chai and Niklas Muennighoff and Xiangru Tang and Muhtasham Oblokulov and Christopher Akiki and Marc Marone and Chenghao Mou and Mayank Mishra and Alex Gu and Binyuan Hui and Tri Dao and Armel Zebaze and Olivier Dehaene and Nicolas Patry and Canwen Xu and Julian McAuley and Han Hu and Torsten Scholak and Sebastien Paquet and Jennifer Robinson and Carolyn Jane Anderson and Nicolas Chapados and Mostofa Patwary and Nima Tajbakhsh and Yacine Jernite and Carlos Muñoz Ferrandis and Lingming Zhang and Sean Hughes and Thomas Wolf and Arjun Guha and Leandro von Werra and Harm de Vries},
      year={2024},
      eprint={2402.19173},
      archivePrefix={arXiv},
      primaryClass={cs.SE}
}

模型 bigcode/starcoder2-3b 的量化。 使用 llm-quantizer 管道创建。