基础模型: unsloth/qwen2.5-coder-7b-instruct-bnb-4bit
语言:

• 英文
  许可证: apache-2.0
  标签:
• 文本生成推理
• transformers框架
• unsloth优化
• qwen2架构
• trl训练
• sft微调
• 快速应用
• 即时应用

FastApply-7B-v1.0

GitHub项目: kortix-ai/fast-apply
数据集: Kortix/FastApply-dataset-v1.0
立即在👉Google Colab体验

模型详情

基本信息

• 开发团队: Kortix
• 许可证: apache-2.0
• 微调基础模型: unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit

模型描述

FastApply-7B-v1.0是专为即时代码应用设计的70亿参数模型，可生成完整文件编辑，为SoftGen AI提供核心支持。
该模型属于Fast Apply流程的一部分，用于数据生成和微调Qwen2.5 Coder系列模型。

在Fireworks等高速推理平台上部署时，模型能保持约150 tokens/秒的处理速度，同时确保高精度编辑。

使用场景

本模型适用于需要快速精准代码修改的AI编程工具，特别适合以下场景：

• 即时代码应用任务
• 完整文件编辑
• 与Aider、PearAI等AI编程工具集成
• 本地化工具开发以降低前沿模型使用成本

推理模板

基于Qwen2.5 Coder架构的专用提示结构：

<|im_start|>system
作为代码合并助手，你需要确保所有修改被完整集成。<|im_end|>
<|im_start|>user
将<update>片段的所有变更合并到下方<code>中：
- 严格保持代码结构、顺序、注释和缩进
- 仅输出用<updated-code></updated-code>包裹的完整代码
- 禁止包含解释文本、占位符或代码围栏

<code>{原始代码}</code>

<update>{更新片段}</update>

请提供完整更新后的代码。<|im_end|>
<|im_start|>assistant

输出格式规范：

<updated-code>[完整更新后的文件内容]</updated-code>

补充说明

完整技术细节、数据生成流程及部署指南请参阅GitHub仓库。

使用方式

通过Hugging Face Transformers库加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Kortix/FastApply-7B-v1.0")
tokenizer = AutoTokenizer.from_pretrained("Kortix/FastApply-7B-v1.0")

# 按提示结构准备输入
input_text = """<|im_start|>system
作为代码合并助手，你需要确保所有修改被完整集成。<|im_end|>
<|im_start|>user
将<update>片段的所有变更合并到下方<code>中：
- 严格保持代码结构、顺序、注释和缩进
- 仅输出用<updated-code></updated-code>包裹的完整代码
- 禁止包含解释文本、占位符或代码围栏

<code>{原始代码}</code>

<update>{更新片段}</update>

请提供完整更新后的代码。<|im_end|>
<|im_start|>assistant
"""

input_text = input_text.format(
    original_code=原始代码,
    update_snippet=更新片段,
).strip()

# 生成响应
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=8192)

response = tokenizer.decode(output[0][len(input_ids[0]):])
print(response)

# 提取更新后的代码
updated_code = response.split("<updated-code>")[1].split("</updated-code>")[0]

性能评估: