🚀 LlaMaestra - 专为文本翻译微调的小型Llama模型

LlaMaestra是一个经过微调的小型Llama模型，专注于英文与意大利文之间的文本翻译，能高效、直接地给出翻译结果。

🚀 快速开始

LlaMaestra是一个经过微调的小型Llama模型，使用约300,000个英文到意大利文以及意大利文到英文的翻译示例进行微调。该模型经过优化，能够更直接地提供翻译结果，而无需过多解释。

模型微调信息

• 微调时长：在Nvidia A10G GPU上进行微调大约花费了10小时。
• 运行环境：由于模型规模较小，在CPU上也能很好地运行。

✨ 主要特性

• 翻译能力：支持英文到意大利文以及意大利文到英文的双向翻译。
• 高效运行：模型规模小，在CPU上也能流畅运行。
• 直接翻译：经过微调，能直接给出翻译结果，无需过多解释。

📦 安装指南

本部分未提及具体安装命令，暂不展示安装步骤。

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LeonardPuettmann/LlaMaestra-3.2-1B-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    device_map="auto",
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id, add_bos_token=True, trust_remote_code=True)

row_json = [
    {"role": "system", "content": "Your job is to return translations for sentences or words from either Italian to English or English to Italian."},
    {"role": "user", "content": "Do you sell tickets for the bus?"},
]

prompt =  tokenizer.apply_chat_template(row_json, tokenize=False)
model_input = tokenizer(prompt, return_tensors="pt").to("cuda")

with torch.no_grad():
    print(tokenizer.decode(model.generate(**model_input, max_new_tokens=1024)[0]))

📚 详细文档

数据来源

用于微调的数据来自tatoeba.com的句子对。你可以从以下链接下载数据：https://tatoeba.org/downloads

相关模型推荐

对于英文到意大利文的翻译，你也可以查看轻量级Quadrifoglio模型。

🔧 技术细节

本模型使用约300,000个英文到意大利文以及意大利文到英文的翻译示例进行微调。微调过程旨在让模型更直接地提供翻译结果，而无需过多解释。在Nvidia A10G GPU上进行微调大约花费了10小时。由于模型规模较小，它在CPU上也能很好地运行。

📄 许可证

本模型的许可证为llama3.2。

🔗 参考信息

• 基础模型：meta-llama/Llama-3.2-1B-Instruct
• 微调者：Leonard Püttmann https://www.linkedin.com/in/leonard-püttmann-4648231a9/