Qwen2 1.5B：性能接近ITALIA（iGenius）但体积缩小6倍 🚀

模型概览

模型名称: 专为意大利语优化的Qwen2 1.5B
版本: 1.5b
模型类型: 语言模型
参数量: 15亿
语言: 意大利语
对标模型: iGenius的ITALIA (90亿参数)

模型描述

Qwen2 1.5B是一款专为意大利语优化的紧凑型语言模型。尽管只有15亿参数，但其表现却可媲美iGenius开发的90亿参数ITALIA模型等大型模型。该模型通过针对意大利语任务的专项优化，在保持高效的同时展现出卓越的意大利语处理能力。

性能评估

Qwen2 1.5B在多项基准测试中与ITALIA模型进行了对比，结果如下：

使用方法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "DeepMount00/Qwen2-1.5B-Ita"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = [{'role': 'user', 'content': """Marco买了5盒巧克力，每盒有12颗。他决定给7个朋友每人分3颗。分完后他还剩多少颗巧克力？"""}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)
tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.001,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

结论

Qwen2 1.5B证明：经过优化的轻量级模型同样可以匹敌大型模型的性能。该模型在MMLU多任务理解测试中表现尤为突出，虽然在ARC和HELLASWAG测试中略逊一筹，但其整体表现使其成为意大利语任务的理想选择，在效率与性能之间实现了完美平衡。