基础模型：unsloth/qwen2.5-coder-1.5b-instruct-bnb-4bit
语言：

• 英文
  许可证：apache-2.0
  标签：
• 文本生成推理
• 转换器
• unsloth
• qwen2
• trl
• sft
• 快速应用
• 即时应用

FastApply-1.5B-v1.0

GitHub: kortix-ai/fast-apply
数据集: Kortix/FastApply-dataset-v1.0
立即在👉 Google Colab上试用

模型详情

基本信息

• 开发者: Kortix
• 许可证: apache-2.0
• 微调自模型: unsloth/Qwen2.5-Coder-1.5B-Instruct-bnb-4bit

模型描述

FastApply-1.5B-v1.0 是一个1.5B参数的模型，专为即时代码应用设计，能够生成完整的文件编辑，为SoftGen AI提供支持。
它是Fast Apply流程的一部分，用于数据生成和微调Qwen2.5 Coder模型。

该模型在快速部署平台（如Fireworks）上运行时，能够保持高编辑准确性的同时实现高吞吐量，速度约为每秒340个令牌。

预期用途

FastApply-1.5B-v1.0 适用于需要快速、准确代码修改的AI驱动代码编辑器和工具。特别适合以下场景：

• 即时代码应用任务
• 完整文件编辑
• 与AI驱动的代码编辑器（如Aider和PearAI）集成
• 本地工具，以减少前沿模型输出的成本

推理模板

FastApply-1.5B-v1.0 基于Qwen2.5 Coder架构，并针对代码编辑任务进行了微调。它使用特定的提示结构进行推理：

<|im_start|>system  
你是一个帮助合并代码更新的编码助手，确保每个修改都被完全集成。<|im_end|>  
<|im_start|>user  
将<update>片段中的所有更改合并到下面的<code>中。  
- 完全保留代码的结构、顺序、注释和缩进。  
- 仅输出更新后的代码，用<updated-code>和</updated-code>标签包裹。  
- 不要包含任何额外的文本、解释、占位符、省略号或代码围栏。  

<code>{original_code}</code>  

<update>{update_snippet}</update>  

提供完整的更新后代码。<|im_end|>  
<|im_start|>assistant  

模型的输出结构如下：

<updated-code>[完整更新后的文件]</updated-code>  

附加信息

有关Fast Apply流程、数据生成过程和部署说明的更多详情，请参阅GitHub仓库。

使用方法

要使用该模型，可以通过Hugging Face Transformers库加载：

from transformers import AutoModelForCausalLM, AutoTokenizer  

model = AutoModelForCausalLM.from_pretrained("Kortix/FastApply-1.5B-v1.0", device_map="auto")  
tokenizer = AutoTokenizer.from_pretrained("Kortix/FastApply-1.5B-v1.0")  

# 按照上述提示结构准备输入  
input_text = """<|im_start|>system  
你是一个帮助合并代码更新的编码助手，确保每个修改都被完全集成。<|im_end|>  
<|im_start|>user  
将<update>片段中的所有更改合并到下面的<code>中。  
- 完全保留代码的结构、顺序、注释和缩进。  
- 仅输出更新后的代码，用<updated-code>和</updated-code>标签包裹。  
- 不要包含任何额外的文本、解释、占位符、省略号或代码围栏。  

<code>{original_code}</code>  

<update>{update_snippet}</update>  

提供完整的更新后代码。<|im_end|>  
<|im_start|>assistant  
"""  

input_text = input_text.format(  
    original_code=original_code,  
    update_snippet=update_snippet,  
).strip()  

# 生成响应  
input_ids = tokenizer.encode(input_text, return_tensors="pt")  
output = model.generate(input_ids, max_length=8192,)  

response = tokenizer.decode(output[0][len(input_ids[0]):])  
print(response)  

# 从响应中提取更新后的代码  
updated_code = response.split("<updated-code>")[1].split("</updated-code>")[0]  

评估：