库名称: transformers
许可证: apache-2.0
语言:

• 日语
  基础模型:
• Qwen/Qwen2.5-7B-Instruct
  管道标签: 文本生成

ABEJA-Qwen2.5-7b-日语-v0.1

ABEJA-Qwen2.5-7b-日语-v0.1是基于Qwen/Qwen2.5-7B-Instruct进行日语训练的模型。
与常规的持续预训练不同，该模型是在abeja/ABEJA-Qwen2.5-32b-日语-v0.1的基础上通过蒸馏学习实现的。
未进行后训练（Post-Training），而是通过ChatVector（Qwen/Qwen2.5-7B-Instruct与Qwen/Qwen2.5-7B的差分向量）提升了指令跟随性能。

详情请参阅ABEJA的技术博客。

使用方法

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_name = "abeja/ABEJA-Qwen2.5-7b-日语-v0.1"  

model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype="auto",  
    device_map="auto"  
)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

prompt = "人与AI如何协作？"  
messages = [  
    {"role": "system", "content": "你是由阿里巴巴云创建的Qwen。你是一个乐于助人的助手。"},  
    {"role": "user", "content": prompt}  
]  
text = tokenizer.apply_chat_template(  
    messages,  
    tokenize=False,  
    add_generation_prompt=True  
)  
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=512  
)  
generated_ids = [  
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)  
]  

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]  

print(response)  

开发者

• Hiroshi Kiyota
• Keisuke Fujimoto
• Kentaro Nakanishi
• Kyo Hattori
• Shinya Otani
• Shogo Muranushi
• Takuma Kume
• Tomoki Manabe

（*按字母顺序排列）