许可证：其他
语言：

• 英语
  评估指标：
• 代码评估
  库名称：transformers
  任务标签：文本生成
  标签：
• 代码
  推理：false

存档通知

此代码库已严重过时。请改用 sqlcoder-7b-2 代码库。新版本性能显著更优且消耗更少GPU资源。

Defog SQLCoder

Defog的SQLCoder是当前最先进的自然语言转SQL查询的大语言模型。

交互演示 | ♾️ Colab | 🐦 推特

摘要

SQLCoder是一个150亿参数的模型，在我们的sql-eval评估框架中，其自然语言转SQL生成任务表现略优于gpt-3.5-turbo，显著优于所有主流开源模型。相较体积大10倍以上的text-davinci-003模型也有明显优势。

该模型基于StarCoder模型微调而成。

未参与训练的新数据集表现

许可协议

模型权重采用CC BY-SA 4.0许可，附加OpenRAIL-M条款以确保负责任使用。简而言之，您可以出于任何目的（包括商业用途）使用和修改模型。但若修改权重（如微调），必须根据相同CC BY-SA 4.0条款开源修改后的权重。

训练过程

Defog在2个训练周期中使用10,537个人工筛选的问题进行训练，这些问题基于10种不同数据库架构。评估框架未包含任何训练数据中的架构。

训练分两阶段：第一阶段针对"简单"和"中等"难度问题，第二阶段针对"困难"和"极难"问题。

初期训练成果存储在defog-easy模型中。后续高阶训练使性能提升7个百分点。

分题型表现

我们将问题分为5类，下表展示各模型在每类问题中的正确率：

使用指南

可通过HuggingFace仓库下载模型权重，使用transformers库运行。此处提供推理示例代码。也可访问官网演示或通过Colab运行。

硬件要求

测试环境为A100 40GB GPU（bfloat16权重）。也可在显存20GB以上的消费级GPU（如RTX 4090/3090）或苹果M2 Pro/Max/Ultra芯片（内存≥20GB）上加载8位量化版本。

待办事项

• [x] 开源v1模型权重
• [ ] 使用更多元数据扩展训练
• [ ] 通过奖励建模和RLHF进一步优化
• [ ] 从头预训练专精SQL分析的模型