license: other library_name: transformers datasets:

• ise-uiuc/Magicoder-OSS-Instruct-75K license_name: deepseek pipeline_tag: text-generation

🎩 Magicoder：源代码即一切

请访问我们的GitHub仓库ise-uiuc/magicoder获取Magicoder家族的最新介绍！

• 🎩Magicoder是一个由🪄OSS-Instruct技术驱动的模型家族，该技术通过开源代码片段启发LLM，生成低偏差和高质量的代码指令数据。
• 🪄OSS-Instruct通过让LLM参考丰富的开源资源，缓解了LLM合成指令数据中的固有偏差，从而生成更多样、更真实且更可控的数据。

模型详情

模型描述

• 开发者： Yuxiang Wei, Zhe Wang, Jiawei Liu, Yifeng Ding, Lingming Zhang
• 许可证： DeepSeek
• 微调基础模型： deepseek-coder-6.7b-base

模型来源

• 代码仓库： https://github.com/ise-uiuc/magicoder
• 论文： https://arxiv.org/abs/2312.02120
• 演示（基于Gradio）： https://github.com/ise-uiuc/magicoder/tree/main/demo

训练数据

• Magicoder-OSS-Instruct-75K：通过OSS-Instruct使用gpt-3.5-turbo-1106生成，用于训练Magicoder和Magicoder-S系列模型。

用途

直接使用

Magicoder系列模型专为编码任务设计，最适合此类用途。

非适用场景

Magicoder在非编码任务中可能表现不佳。

偏差、风险与限制

Magicoder有时可能会出错，产生误导性内容，或在处理与编码无关的任务时遇到困难。

建议

用户（包括直接使用和下游开发）应了解该模型的潜在风险、偏差和局限性。

快速开始

使用以下代码快速体验模型。请确保已安装transformers库。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """你是一个异常智能的编码助手，能够持续准确地响应用户指令。

@@ 指令
{instruction}

@@ 响应
"""

instruction = <在此填写你的代码指令>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

技术细节

详情请参阅我们的GitHub仓库：ise-uiuc/magicoder。

📝 引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

🙏 致谢

• WizardCoder：Evol-Instruct技术
• DeepSeek-Coder：Magicoder-DS的基础模型
• CodeLlama：Magicoder-CL的基础模型
• StarCoder：数据净化技术

重要说明

Magicoder模型基于OpenAI模型生成的合成数据训练。使用模型和数据集时请遵守OpenAI的使用条款。Magicoder不会与OpenAI的商业产品竞争。