许可证: 其他 库名称: transformers 数据集:

• ise-uiuc/Magicoder-OSS-Instruct-75K
• ise-uiuc/Magicoder-Evol-Instruct-110K 许可证名称: deepseek 管道标签: 文本生成

🎩 Magicoder：源代码即一切

请参考我们的GitHub仓库 ise-uiuc/magicoder 获取Magicoder家族的最新介绍！

• 🎩Magicoder 是一个由🪄OSS-Instruct赋能的新模型家族，这是一种利用开源代码片段启发LLM生成低偏差和高质量代码指令数据的新方法。
• 🪄OSS-Instruct 通过赋予LLM丰富的开源参考来减轻其合成指令数据的固有偏差，从而生成更多样化、更真实且更可控的数据。

模型详情

模型描述

• 开发者: Yuxiang Wei, Zhe Wang, Jiawei Liu, Yifeng Ding, Lingming Zhang
• 许可证: DeepSeek
• 微调自模型: deepseek-coder-6.7b-base

模型来源

• 仓库: https://github.com/ise-uiuc/magicoder
• 论文: https://arxiv.org/abs/2312.02120
• 演示 (由Gradio提供支持): https://github.com/ise-uiuc/magicoder/tree/main/demo

训练数据

• Magicoder-OSS-Instruct-75K: 通过OSS-Instruct使用gpt-3.5-turbo-1106生成，用于训练Magicoder和Magicoder-S系列。
• Magicoder-Evol-Instruct-110K: 从theblackcat102/evol-codealpaca-v1去污并重新分发，用于进一步微调Magicoder系列并得到Magicoder-S模型。

用途

直接使用

Magicoders专为编码任务设计并最适合此类任务。

超出范围的使用

Magicoders在非编码任务中可能表现不佳。

偏差、风险和限制

Magicoders有时可能会出错，产生误导性内容，或难以管理与编码无关的任务。

建议

用户（包括直接用户和下游用户）应了解模型的风险、偏差和限制。

如何开始使用模型

使用以下代码开始使用模型。确保已安装transformers库。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """你是一个异常智能的编码助手，始终能准确可靠地回应用户指令。

@@ 指令
{instruction}

@@ 响应
"""

instruction = <在此处输入您的代码指令>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-S-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

技术细节

请参考我们的GitHub仓库: ise-uiuc/magicoder。

引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

致谢

• WizardCoder: Evol-Instruct
• DeepSeek-Coder: Magicoder-DS的基础模型
• CodeLlama: Magicoder-CL的基础模型
• StarCoder: 数据去污

重要说明

Magicoder模型是在OpenAI模型生成的合成数据上训练的。使用模型和数据集时，请注意OpenAI的使用条款。Magicoders不会与OpenAI的商业产品竞争。