license: apache-2.0
language:

• es

基于多模态方法实现LLM与西班牙语数据库交互

长期以来，生成精准响应用户查询的SQL语句始终是一项挑战，因为这需要同时深入理解查询意图和数据库结构。现有解决方案主要依赖大语言模型（LLM）的能力来生成符合数据库模式并准确检索所需数据的SQL。
然而当前存在以下问题：

• 这些解决方案仅支持英语
• 部分必要知识既未明确包含在数据库模式中，也未被LLM学习掌握

为此我们提出了一种支持西班牙语的多模态数据库交互工具。首先创建了定制数据集，随后结合参数高效微调技术（PEFT）进行训练，最终实现通过语音指令生成查询，并以语音、文本或图像等最适合的模态返回结果。

模型详情

技术方案

本项目对两个基础模型进行了微调对比：

• Mistral 7B
• Code Llama

首先生成包含问题与对应SQL语句的基础数据集，随后应用多种数据增强技术扩展样本。完成训练后进入测试阶段，通过语音/文本输入指令，若发现异常则进入修正环节，最终以多模态形式输出结果——简短回答采用语音反馈，复杂结果则以表格或图像呈现。

训练笔记

GitHub仓库包含各模型的训练笔记：

首先对Code Llama模型进行微调测试：

• CodeLlama

随后对Mistral7b进行4位量化微调，确保模型可在更多设备运行：

• Mistral

数据集

数据集链接

模型/适配器

CodeLlama适配器

演示

演示链接

实验结果

工具应用后初始准确率达80%，经自动校正机制优化后提升至87%。

创新贡献

我们的核心贡献包括：

• 支持通过语音/文本查询定制数据库
• 训练西班牙语文本模型生成SQL查询
• 采用多模态响应机制（文本/语音/图像）
• 通过自校正机制保障结果质量

项目成员

• 阿西斯·赫里伯托·兰格尔·奥尔蒂斯
• 埃马纽埃尔·亚历克西斯·萨拉苏亚·鲁比奥
• 内斯托尔·埃马纽埃尔·布里奥内斯·拉米雷斯
• 本图拉·里维拉·罗夫莱斯
• 费尔南多·莫拉莱斯·弗洛雷斯