许可证：apache-2.0
数据集：

• cosimoiaia/Loquace-102k
  语言：
• 意大利语
  标签：
• 意大利语
• Qlora
• Mistral
• 微调
• 文本生成
  任务标签：文本生成

🇮🇹 Loquace-7B-Mistral v0.1 🇮🇹

Loquace 是一个会说意大利语、经过指令微调的大语言模型。🇮🇹

Loquace-7B-Mistral 的独特特点：

• 能很好地遵循意大利语的指令。
• 对提示工程反应良好。
• 在 RAG（检索增强生成）设置中表现优异。
• 基于 QLoRa 和 Mistral-7B-Instruct 作为基础模型，在相对原始的数据集 Loquace-102K 上训练而成。
• 训练仅需 4 小时，使用一张 3090 显卡，成本略高于 1 欧元！在 Genesis Cloud GPU 上完成。
• 真正开源：模型、数据集和复现结果的代码完全公开。
• 诞生于意大利南部的一个车库。

Loquace 意大利语大语言模型的创建目标是推动 AI 和 LLM 在意大利的民主化。

不再需要昂贵的 GPU、大量资金、大公司或象牙塔机构，只需下载代码，即可在自己的电脑（或像 Genesis Cloud 这样便宜可靠的云服务提供商）上训练自己的数据集。

微调指南：

相关代码可在以下链接找到：
https://github.com/cosimoiaia/Loquace

用于 CPU 推理的 GGUF 版本：

8 位量化版本的 Loquace 可在 此处 找到。

以下是不完全支持 GGUF 的客户端和库列表（感谢 TheBloke 提供此列表及其出色工作）：

• llama.cpp。GGUF 的源项目，提供 CLI 和服务器选项。
• text-generation-webui，最广泛使用的 Web UI，功能丰富且扩展性强，支持 GPU 加速。
• KoboldCpp，功能全面的 Web UI，支持跨平台和 GPU 架构的加速，尤其适合故事生成。
• LM Studio，Windows 和 macOS（Silicon）上易用且强大的本地 GUI，支持 GPU 加速。
• LoLLMS Web UI，出色的 Web UI，包含许多独特功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，Windows 和 macOS（Silicon 和 Intel）上美观易用的角色聊天 GUI，支持 GPU 加速。
• ctransformers，支持 GPU 加速的 Python 库，兼容 LangChain 和 OpenAI 风格的 AI 服务器。
• llama-cpp-python，支持 GPU 加速的 Python 库，兼容 LangChain 和 OpenAI 风格的 API 服务器。
• candle，专注于性能的 Rust ML 框架，支持 GPU 且易于使用。

Loquace 家族的早期版本：

Loquace 家族始于 2023 年初，旨在证明用不同语言微调大语言模型是可行的。家族其他成员如下：

• https://huggingface.co/cosimoiaia/Loquace-70m - 基于 pythia-70m
• https://huggingface.co/cosimoiaia/Loquace-410m - 基于 pythia-410m
• https://huggingface.co/cosimoiaia/Loquace-7B - 基于 Falcon-7B
• https://huggingface.co/cosimoiaia/Loquace-12B - 基于 pythia-12B
• https://huggingface.co/cosimoiaia/Loquace-20B - 基于 gpt-neox-20B

尽管这些模型效果不佳，但它们证明了在短时间内、使用相对原始的数据集和极低资源进行廉价微调是可行的。

推理示例：

from transformers import MistralForCausalLM, AutoTokenizer  
import torch  

def generate_prompt(instruction):    
   prompt = f"""### Instruction: {instruction}  
   
### Response:  
"""  
   return prompt  

model_name = "cosimoiaia/Loquace-7B-Mistral"  

model = MistralForCausalLM.from_pretrained(  
   model_name,  
   device_map="auto",  
   torch_dtype=torch.bfloat16                  
)  

model.config.use_cache = True  

tokenizer = AutoTokenizer.from_pretrained(model_name, add_eos_token=False)  

prompt = generate_prompt("但丁·阿利吉耶里是谁？")  
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")  

outputs = model.generate(**inputs, do_sample=True, num_beams=2, top_k=50, top_p=0.95, max_new_tokens=2046, early_stopping=True)  
print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[1].strip())  

示例输出：

> 假装你是但丁·阿利吉耶里，告诉我你的生平。  
我是但丁·阿利吉耶里，14 世纪的意大利诗人和作家。1265 年出生于佛罗伦萨，一生大部分时间在欧洲游历并创作诗歌。我还写下了《神曲》，这是有史以来最著名的文学作品之一。  

> 7 x 14 - 98 等于多少？  
7 x 14 = 98，所以答案是 0。  

> 144 的平方根是多少？  
144 的平方根是 12。  

> 发明一道用玉米粥的普利亚风味食谱。  
这道菜名为“花生酱芝士玉米粥”。制作时，先按包装说明煮好玉米粥。煮粥时，将 1/2 杯花生酱、1/4 杯碎奶酪和 1/4 杯帕尔马干酪混合。玉米粥煮好后，倒入烤盘，将花生酱芝士混合物铺在表面。放入 350 度的烤箱烤 15 分钟或至表面金黄。搭配番茄罗勒沙拉热食。  

局限性

• Loquace-7B 可能无法很好地处理复杂或微妙的查询，对模糊或格式不佳的输入也可能表现不佳。
• 模型可能会生成事实错误或无意义的回答。使用时需谨慎，并仔细验证输出内容。

模型作者：

Cosimo Iaia cosimo.iaia@gmail.com