库名称: transformers 流水线标签: 文本生成 许可证: mit 基础模型:

• ByteDance-Seed/Seed-Coder-8B-Base

Seed-Coder-8B-推理版

简介

我们隆重推出Seed-Coder系列——一个强大、透明且参数高效的8B规模开源代码模型家族，包含基础版、指令版和推理版三种变体。Seed-Coder通过以下亮点推动开源代码模型的演进：

• 模型中心化: 主要利用大语言模型而非人工规则进行代码数据过滤，极大减少了预训练数据构建中的人力投入
• 透明度高: 公开分享了模型中心化数据管道的完整细节，包括GitHub数据、提交数据和网络代码数据的处理方法
• 性能强劲: 在同类规模的开源模型中，Seed-Coder在各类编程任务上均达到最先进的性能表现

本仓库包含Seed-Coder-8B-推理版模型，具有以下特征：

• 类型：因果语言模型
• 训练阶段：预训练与后训练
• 数据来源：公开数据集
• 上下文长度：65,536

模型下载

环境要求

需要安装最新版本的transformers和accelerate：

pip install -U transformers accelerate

快速开始

以下是通过Hugging Face的pipelineAPI加载模型并执行代码生成的简单示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ByteDance-Seed/Seed-Coder-8B-Reasoning"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)

messages = [
    {"role": "user", "content": "编写一个快速排序算法。"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    return_tensors="pt",
    add_generation_prompt=True,  
).to(model.device)

outputs = model.generate(input_ids, max_new_tokens=16384)
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

性能评估

Seed-Coder-8B-推理版在竞技编程中表现惊艳，证明较小规模的大语言模型也能胜任复杂推理任务。我们的模型在IOI'2024上超越QwQ-32B和DeepSeek-R1，在Codeforces竞赛中获得与o1-mini相当的ELO评分。

详细基准测试结果请参阅我们的📑 技术报告。

许可协议

本项目采用MIT许可证，详见许可文件。