StarCoder2-15B是一个150亿参数的代码生成模型，基于600多种编程语言训练，支持16K上下文窗口和滑动窗口注意力机制。

StarCoderBase-1B是一个10亿参数的代码生成模型，基于80多种编程语言训练，支持填充中间生成和多查询注意力机制。

StarCoder-3B是一个拥有30亿参数的代码生成模型，基于80多种编程语言训练而成，支持填充中间内容和代码补全。

StarCoderBase是一个155亿参数的大规模代码生成模型，基于80多种编程语言训练而成，支持代码补全和生成任务。

PolyCoder是一个拥有27亿参数的大语言模型，专门用于代码生成和理解任务。

PolyCoder是一个拥有1.6亿参数的大语言模型，专门针对代码生成和理解任务进行训练。