许可证：其他
语言：

• 英语
  任务标签：文本生成
  标签：
• 代码

Defog SQLCoder

Defog的SQLCoder是一款前沿的大语言模型（LLM），专长于将自然语言问题转换为SQL查询。

交互式演示 | 🤗 HF模型库 | ♾️ Colab | 🐦 Twitter

摘要

SQLCoder是一款150亿参数的模型，在我们的sql-eval评估框架中，其自然语言转SQL的性能超越gpt-3.5-turbo，并显著优于所有主流开源模型。针对特定数据库模式微调后，其表现甚至优于gpt-4。

SQLCoder基于StarCoder模型微调而成。

在未参与训练的新数据集上的表现

许可协议

本仓库代码（少量）采用Apache-2许可证。模型权重采用CC BY-SA 4.0许可证，并附加负责任使用限制条款。简而言之，您可出于任何目的（包括商业用途）使用和修改模型，但若修改权重（如微调），则必须依据相同许可条款开源修改后的权重。

训练过程

Defog基于超过20,000道人标注问题训练，这些问题涉及10种不同数据库模式。训练数据中的模式均未出现在评估框架中。

详细了解我们的训练方法与评估框架。

按问题分类的结果

我们将生成的问题划分为5类，下表展示各模型在每类问题上的正确率。

使用SQLCoder

您可通过transformers库从Hugging Face仓库下载模型权重使用。我们提供了基于示例数据库模式的推理代码。

python inference.py -q "在此输入关于示例数据库的问题"  

# 示例问题：  
# 纽约客户与旧金山客户相比，哪个收入更高？请分别给出两城市的总收入及其差额。  

您也可以通过网站演示体验，或在Colab中运行。

硬件要求

SQLCoder已在配备A100 40GB GPU和bfloat16权重的环境中测试。您也可在显存20GB及以上的消费级GPU（如RTX 4090、RTX 3090）或苹果M2 Pro/Max/Ultra芯片（内存20GB+）上加载8位或4位量化版本。

待办事项

• [x] 开源v1模型权重
• [x] 使用更多元数据扩展训练
• [ ] 通过奖励建模和RLHF进一步优化
• [ ] 从头预训练专精SQL分析的模型