🚀 SmolMaestra - 专为文本翻译微调的轻量级模型

SmolMaestra是一个经过微调的轻量级模型，专注于英文与意大利文之间的文本翻译，能高效、直接地输出翻译结果。

   _____                 _ __  __                 _             
  / ____|               | |  \/  |               | |            
 | (___  _ __ ___   ___ | | \  / | __ _  ___  ___| |_ _ __ __ _ 
  \___ \| '_ ` _ \ / _ \| | |\/| |/ _` |/ _ \/ __| __| '__/ _` |
  ____) | | | | | | (_) | | |  | | (_| |  __/\__ \ |_| | | (_| |
 |_____/|_| |_| |_|\___/|_|_|  |_|\__,_|\___||___/\__|_|  \__,_|

如需进行英文到意大利文的翻译，也可查看 轻量级Quadrifoglio模型。

🚀 快速开始

本模型使用约300,000个英文到意大利文以及意大利文到英文的翻译示例进行微调。微调方式使得模型能够更直接地提供翻译结果，而无需过多解释。

在Nvidia A10G GPU上，微调大约花费了10个小时。由于模型规模较小，在CPU上也能很好地运行。

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LeonardPuettmann/SmolMaestra-1.7b-Instruct-v0.1"

model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    device_map="auto",
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id, add_bos_token=True, trust_remote_code=True)

row_json = [
    {"role": "system", "content": "Your job is to return translations for sentences or words from either Italian to English or English to Italian."},
    {"role": "user", "content": "Do you sell tickets for the bus?"},
]

prompt =  tokenizer.apply_chat_template(row_json, tokenize=False)
model_input = tokenizer(prompt, return_tensors="pt").to("cuda")

with torch.no_grad():
    print(tokenizer.decode(model.generate(**model_input, max_new_tokens=1024)[0]))

📚 详细文档

数据来源

数据来源为tatoeba.com上的句子对。数据可从以下链接下载：https://tatoeba.org/downloads

相关信息