许可证: MIT
基础模型:

• ByteDance-Seed/Seed-Coder-8B-Base
  任务标签: 文本生成
  库名称: transformers

Seed-Coder-8B-Instruct

简介

我们很高兴推出Seed-Coder，这是一个强大、透明且参数高效的8B规模开源代码模型家族，包含基础版、指令版和推理版。Seed-Coder通过以下亮点推动开源代码模型的演进：

• 以模型为中心：Seed-Coder主要利用大语言模型而非人工规则进行代码数据过滤，最小化预训练数据构建中的人工干预。
• 透明性：我们公开分享了以模型为中心的数据流水线细节，包括GitHub数据、提交数据和代码相关网络数据的处理方法。
• 强大性能：Seed-Coder在各类编程任务中实现了同尺寸开源模型的领先性能。

本仓库包含Seed-Coder-8B-Instruct模型，具有以下特性：

• 类型：因果语言模型
• 训练阶段：预训练 & 后训练
• 数据来源：公开数据集、合成数据
• 上下文长度：32,768

模型下载

环境要求

需安装最新版transformers和accelerate：

pip install -U transformers accelerate  

快速开始

以下示例展示如何使用Hugging Face的pipeline API加载模型并生成代码：

from transformers import AutoTokenizer, AutoModelForCausalLM  
import torch  

model_id = "ByteDance-Seed/Seed-Coder-8B-Instruct"  

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)  
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)  

messages = [  
    {"role": "user", "content": "编写一个快速排序算法。"},  
]  

input_ids = tokenizer.apply_chat_template(  
    messages,  
    tokenize=True,  
    return_tensors="pt",  
    add_generation_prompt=True,    
).to(model.device)  

outputs = model.generate(input_ids, max_new_tokens=512)  
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)  
print(response)  

评估

Seed-Coder-8B-Instruct在代码生成、代码推理、代码编辑和软件工程等广泛任务中进行了评估，在~8B开源模型中达到领先水平。

详细基准测试结果请参阅我们的📑 技术报告。

许可证

本项目采用MIT许可证，详见LICENSE文件。