license: apache-2.0 library_name: transformers base_model: mistralai/Mistral-7B-v0.1 datasets:

• b-mc2/sql-create-context model-index:
• name: mistral-7b-text-to-sql_full-model results: [] reference:
• https://www.philschmid.de/fine-tune-llms-in-2024-with-trl language:
• en pipeline_tag: text2text-generation

mistral-7b-text-to-sql_full-model

• 本模型是基于mistralai/Mistral-7B-v0.1在b-mc2/sql-create-context数据集上微调的版本。
• 此为完整模型权重（已合并适配器权重），下方提供生成文本的使用代码。
• 主要参考：https://www.philschmid.de/fine-tune-llms-in-2024-with-trl

模型描述

• 模型类型：语言模型
• 支持语言（NLP）：英语
• 许可协议：Apache 2.0
• 基础模型：Mistral-7B-v0.1

快速使用指南

import torch

from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM

# 直接加载模型
tokenizer = AutoTokenizer.from_pretrained("delayedkarma/mistral-7b-text-to-sql_full-model")
model = AutoModelForCausalLM.from_pretrained("delayedkarma/mistral-7b-text-to-sql_full-model")

text = "How many matched scored 3–6, 7–6(5), 6–3?"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

训练流程

训练超参数

训练过程中使用的超参数如下：

• 学习率：0.0002
• 训练批次大小：3
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：2
• 总训练批次大小：6
• 优化器：带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型：恒定
• 学习率预热比例：0.03
• 训练轮次：3

框架版本

• PEFT 0.7.2.dev0
• Transformers 4.36.2
• Pytorch 2.2.2
• Datasets 2.16.1
• Tokenizers 0.15.2