基础模型:

• Qwen/Qwen2.5-0.5B-Instruct 语言:
• 中文
• 英文
• 法语
• 西班牙语
• 葡萄牙语
• 德语
• 意大利语
• 俄语
• 日语
• 韩语
• 越南语
• 泰语
• 阿拉伯语 许可证: apache-2.0 标签:
• 文本生成推理
• 转换器
• unsloth
• qwen2
• trl
• 监督微调

Qwen 2.5 0.5B 模型

模型描述

该模型是一款紧凑而强大的语言模型，经过训练能够以令人印象深刻的质量回答各类问题。尽管体积较小，但其性能已接近Llama 3.2 1B模型，在某些情况下甚至表现更优。该模型专门基于12,800行的Magpie 300k数据集进行训练。

性能表现

Qwen 2.5模型在多项测试中展现出优异成果，包括成功通过"草莓测试"和"小数比较测试"并提供准确答案。但需注意，与同类规模模型类似，它偶尔可能产生错误答案或存在逻辑缺陷。我们计划通过持续改进和完整训练来进一步提升其性能。

使用方法

可通过Hugging Face Transformers库加载Qwen 2.5模型，示例如下：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "KingNish/Qwen2.5-0.5b-Test-ft"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "9.9和9.11哪个更大？"
messages = [
    {"role": "system", "content": "你是由阿里云创建的Qwen助手。"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)

未来计划

我们正致力于通过更大规模的数据集训练来改进Qwen 2.5模型。

已上传模型

• 开发者: KingNish
• 许可证: apache-2.0
• 微调基础模型: Qwen/Qwen2.5-0.5B-Instruct

本qwen2模型使用Unsloth和Huggingface的TRL库实现了2倍速训练。