license: cc-by-4.0
language:

• en
  pipeline_tag: text-generation

Defog SQLCoder

2023年11月14日更新，包含SQLCoder-34B的基准测试结果

Defog推出的SQLCoder是当前最先进的自然语言转SQL查询的大语言模型。

交互式演示 | 🤗 HF模型库 | ♾️ Colab笔记本 | 🐦 推特

核心亮点

SQLCoder-34B作为340亿参数模型，在我们的sql-eval评估框架中，其自然语言转SQL生成能力超越gpt-4和gpt-4-turbo，并显著优于所有主流开源模型。

该模型基于CodeLlama基础模型进行微调。

未参与训练的新数据集测试结果

许可协议

本仓库代码遵循Apache-2许可，模型权重采用CC BY-SA 4.0许可。简而言之，您可自由使用和修改模型（包括商业用途），但若修改权重（如微调），必须基于相同许可条款开源修改后的权重。

训练过程

Defog基于20,000余条人工标注的问题进行训练，这些问题涉及10种不同数据库模式。训练数据未包含评估框架中的任何模式。

详细了解我们的训练方法与评估框架。

分题型测试结果

我们将问题划分为5类，下表展示各模型在每类题型中的正确率：

使用指南

通过transformers库加载Hugging Face模型权重即可使用SQLCoder。我们提供了基于示例数据库模式的推理代码。

python inference.py -q "在此输入关于示例数据库的问题"  

# 示例问题：  
# 纽约客户与旧金山客户相比，哪个地区贡献更多营收？请分别列出两城市总营收及其差额。  

也可访问我们官网的在线演示

硬件需求

SQLCoder-34B已在4xA10 GPU（float16精度）完成测试。您也可在RTX 4090、RTX 3090等显存≥20GB的消费级GPU，或苹果M2 Pro/Max/Ultra芯片（内存≥20GB）上加载8位/4位量化版本。

开发计划

• [x] 开源v1模型权重
• [x] 扩展训练数据规模及多样性
• [ ] 通过奖励建模和RLHF进一步优化
• [ ] 专项训练SQL分析的定制模型