StarCoderBase是一个155亿参数的大规模代码生成模型，基于80多种编程语言训练而成，支持代码补全和生成任务。
下载量 3,216
发布时间 : 5/3/2023
模型介绍
内容详情
替代品
模型简介
StarCoderBase是基于The Stack数据集中80多种编程语言训练的大型代码生成模型，采用多查询注意力机制和8192标记的上下文窗口，专注于代码生成和补全任务。
模型特点
大规模多语言支持
支持80多种编程语言的代码生成和理解
长上下文处理
8192标记的上下文窗口，适合处理长代码片段
中间填充能力
支持在代码中间进行填充补全，而不仅限于从左到右生成
高效推理
采用多查询注意力机制提升推理效率
模型能力
代码自动补全
函数生成
代码片段生成
多语言代码转换
代码解释
使用案例
开发辅助
代码补全
在IDE中提供智能代码补全建议
提高开发效率30%以上
代码生成
根据函数签名自动生成实现代码
HumanEval基准pass@1达到30.4%
教育
编程学习
为学生生成示例代码和练习
pipeline_tag: 文本生成 inference: true widget:
-
text: 'def print_hello_world():' example_title: Hello world group: Python license: bigcode-openrail-m datasets:
-
bigcode/the-stack-dedup metrics:
-
代码评估 library_name: transformers tags:
-
代码 model-index:
-
name: StarCoderBase results:
- task:
type: 文本生成
dataset:
type: openai_humaneval
name: HumanEval
metrics:
- name: pass@1 type: pass@1 value: 0.304 verified: false
- task:
type: 文本生成
dataset:
type: mbpp
name: MBPP
metrics:
- name: pass@1 type: pass@1 value: 0.49 verified: false
- task:
type: 文本生成
dataset:
type: ds1000
name: DS-1000 (总体完成度)
metrics:
- name: pass@1 type: pass@1 value: 0.238 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (C++)
metrics:
- name: pass@1 type: pass@1 value: 0.3056 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (C#)
metrics:
- name: pass@1 type: pass@1 value: 0.2056 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (D)
metrics:
- name: pass@1 type: pass@1 value: 0.1001 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Go)
metrics:
- name: pass@1 type: pass@1 value: 0.2147 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Java)
metrics:
- name: pass@1 type: pass@1 value: 0.2853 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Julia)
metrics:
- name: pass@1 type: pass@1 value: 0.2109 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (JavaScript)
metrics:
- name: pass@1 type: pass@1 value: 0.317 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Lua)
metrics:
- name: pass@1 type: pass@1 value: 0.2661 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (PHP)
metrics:
- name: pass@1 type: pass@1 value: 0.2675 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Perl)
metrics:
- name: pass@1 type: pass@1 value: 0.1632 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Python)
metrics:
- name: pass@1 type: pass@1 value: 0.3035 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (R)
metrics:
- name: pass@1 type: pass@1 value: 0.1018 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Ruby)
metrics:
- name: pass@1 type: pass@1 value: 0.1725 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Racket)
metrics:
- name: pass@1 type: pass@1 value: 0.1177 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Rust)
metrics:
- name: pass@1 type: pass@1 value: 0.2446 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Scala)
metrics:
- name: pass@1 type: pass@1 value: 0.2879 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Bash)
metrics:
- name: pass@1 type: pass@1 value: 0.1102 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (Swift)
metrics:
- name: pass@1 type: pass@1 value: 0.1674 verified: false
- task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (TypeScript)
metrics:
- name: pass@1 type: pass@1 value: 0.3215 verified: false extra_gated_prompt: >-
模型许可协议
请在接受前阅读BigCode的OpenRAIL-M许可协议。
- task:
type: 文本生成
dataset:
type: openai_humaneval
name: HumanEval
metrics:
extra_gated_fields: 我接受上述许可协议，并将遵守使用限制和共享要求使用该模型: checkbox
StarCoderBase
在StarCoder Playground上试用该模型。
目录
模型概述
StarCoderBase模型是拥有155亿参数的模型，基于The Stack (v1.2)中的80多种编程语言训练而成，并排除了退出请求。该模型采用多查询注意力机制，8192个标记的上下文窗口，并通过中间填充目标在1万亿标记上进行了训练。
- 代码库: bigcode/Megatron-LM
- 项目网站: bigcode-project.org
- 论文: 💫StarCoder: 愿源代码与你同在!
- 联系人: contact@bigcode-project.org
- 语言: 80+ 编程语言
使用
预期用途
该模型基于GitHub代码训练。因此，它_不是_一个指令模型，像"编写一个计算平方根的函数"这样的命令效果不佳。但通过使用技术助手提示，你可以将其转变为一名得力的技术助手。
欢迎在社区标签页分享你的生成内容!
生成
# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "bigcode/starcoderbase"
device = "cuda" # 用于GPU或"cpu"用于CPU
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True).to(device)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))
中间填充
中间填充使用特殊标记来标识输入和输出的前缀/中间/后缀部分:
input_text = "<fim_prefix>def print_hello_world():\n <fim_suffix>\n print('Hello world!')<fim_middle>"
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))
归属及其他要求
模型的预训练数据集仅筛选了宽松许可证的内容。尽管如此，模型仍可能从数据集中逐字生成源代码。代码的许可证可能要求归属和/或其他特定要求，必须予以遵守。我们提供了一个搜索索引，让你可以搜索预训练数据，识别生成代码的来源，并为你的代码应用适当的归属。
限制
该模型已在80多种编程语言的源代码上进行训练。源代码中主要使用英语，但也包含其他语言。因此，模型能够在提供一定上下文的情况下生成代码片段，但不能保证生成的代码按预期工作。它可能效率低下、包含错误或漏洞。详见论文中对模型限制的深入讨论。
训练
模型
- 架构: 采用多查询注意力和中间填充目标的GPT-2模型
- 预训练步数: 25万
- 预训练标记: 1万亿
- 精度: bfloat16
硬件
- GPU: 512块Tesla A100
- 训练时间: 24天
软件
- 编排: Megatron-LM
- 神经网络: PyTorch
- BP16 (如适用): apex
许可
该模型采用BigCode OpenRAIL-M v1许可协议授权。完整协议可在此处查看。
引用
@article{li2023starcoder,
title={StarCoder: 愿源代码与你同在!},
author={Raymond Li and Loubna Ben Allal and Yangtian Zi and Niklas Muennighoff and Denis Kocetkov and Chenghao Mou and Marc Marone and Christopher Akiki and Jia Li and Jenny Chim and Qian Liu and Evgenii Zheltonozhskii and Terry Yue Zhuo and Thomas Wang and Olivier Dehaene and Mishig Davaadorj and Joel Lamy-Poirier and João Monteiro and Oleh Shliazhko and Nicolas Gontier and Nicholas Meade and Armel Zebaze and Ming-Ho Yee and Logesh Kumar Umapathi and Jian Zhu and Benjamin Lipkin and Muhtasham Oblokulov and Zhiruo Wang and Rudra Murthy and Jason Stillerman and Siva Sankalp Patel and Dmitry Abulkhanov and Marco Zocca and Manan Dey and Zhihan Zhang and Nour Fahmy and Urvashi BhattacharyyaPhi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型
支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型
英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型
英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型
英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型
英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型
英语
O
facebook
6.3M
198
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型
Transformers
Transformers 支持多种语言
L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型
支持多种语言
T
google-t5
5.4M
702
Xlm Roberta Large
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型
支持多种语言
X
FacebookAI
5.3M
431
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers
Transformers 支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers
Transformers 英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。
简体中文