许可协议: cc-by-sa-4.0 语言:

• 英文 任务标签: 文本生成 标签:
• 代码

重要提示

该模型现已过时。请使用 defog/sqlcoder-7b-2 以获得更优性能！

Defog SQLCoder

Defog的SQLCoder是一款前沿的大语言模型，专为将自然语言问题转换为SQL查询而设计。

交互式演示 | 🤗 HF仓库 | ♾️ Colab | 🐦 推特

简要说明

SQLCoder-7B是一个拥有70亿参数的模型，在我们的sql-eval评估框架下，其在自然语言转SQL任务上的表现超越了gpt-3.5-turbo，并显著优于所有流行的开源模型。当针对特定数据库模式进行微调后，其性能甚至超过gpt-4。

SQLCoder-7B基于Mistral-7B模型微调而成。

在未参与训练的新数据集上的表现

许可协议

本仓库中的代码（虽然内容不多）遵循Apache-2许可。模型权重采用CC BY-SA 4.0许可。简而言之，您可以出于任何目的（包括商业用途）使用和修改该模型。但如果您对权重进行了修改（例如通过微调），则必须根据相同的许可条款开源您修改后的权重。

训练过程

SQLCoder基于超过20,000个人工精心设计的问题进行训练。这些问题基于10种不同的数据库模式。训练数据中未包含任何评估框架中的模式。

您可以通过我们的训练方法和评估框架了解更多信息。

按问题分类的结果

我们将每个生成的问题分为5类。下表展示了各模型在每个类别中的正确回答率。

使用SQLCoder

您可以通过transformers库使用SQLCoder，从Hugging Face仓库下载我们的模型权重。我们已为示例数据库模式提供了推理代码。

python inference.py -q "在此输入关于示例数据库的问题"

# 示例问题：
# 纽约客户与旧金山客户相比，哪个为我们带来更多收入？请给出每个城市的总收入及两者之间的差额。

您也可以通过我们的网站演示体验，或在Colab上运行。

硬件要求

SQLCoder已在配备40GB显存的A100 GPU上通过bfloat16权重进行测试。您也可以在消费级GPU（如RTX 4090、RTX 3090及配备20GB以上内存的Apple M2 Pro、M2 Max或M2 Ultra芯片）上加载8位或4位量化版本的模型。

待办事项

• [x] 开源v1模型权重
• [x] 使用更多数据训练模型，提高数据多样性
• [ ] 通过奖励建模和RLHF进一步优化模型
• [ ] 从头开始预训练专精SQL分析的模型