许可证：apache-2.0
许可证链接：https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-1M/blob/main/LICENSE
语言：

• 英文
• 韩文
  任务标签：文本生成
  基础模型：Qwen/Qwen2.5-14B-Instruct-1M
  标签：
• 聊天
  库名称：transformers

2025年3月14日更新：最新版本 T3Q-qwen2.5-14b-v1.2-e2 已发布

模型概述

T3Q-qwen2.5-14b-v1.0-e3是基于Qwen/Qwen2.5-14B-Instruct-1M模型进行后训练的版本。
（采用LoRA-8-4-0.0001-cosine-32-16配置，训练数据为train_data_v1.0）

全球开放大语言模型排行榜表现

该模型在全球开放大语言模型排行榜中，在32B以下规模的模型中取得了第一名的成绩。[查看报道]

页面截图

快速开始

以下代码片段展示了如何使用apply_chat_template加载分词器和模型，并生成内容。

from transformers import AutoModelForCausalLM, AutoTokenizer  

model_name = "JungZoona/T3Q-qwen2.5-14b-v1.0-e3"  

model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype="auto",  
    device_map="auto"  
)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

prompt = "请简要介绍一下大语言模型。"  
messages = [  
    {"role": "user", "content": prompt}  
]  
text = tokenizer.apply_chat_template(  
    messages,  
    tokenize=False,  
    add_generation_prompt=True  
)  
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=512  
)  
generated_ids = [  
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)  
]  

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]