许可证: MIT
语言:

• 韩语
• 英语
  基础模型:
• deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
  库名称: transformers

DeepSeek-qwen-bllossom-32B

DeepSeek-Bllossom系列是为了解决原有DeepSeek-R1-Distill系列模型的语言混合及多语言性能下降问题而进行额外训练的模型。

DeepSeek-qwen-Bllossom-32B是基于DeepSeek-R1-Distill-Qwen-32B模型构建的，旨在提升韩语环境下的推理性能。

本模型是UNIVA与Bllossom团队合作开发的首款模型。

1. 简介

DeepSeek-qwen-Bllossom-32B是基于DeepSeek-R1-Distill-Qwen-32B模型构建的，旨在克服原基础模型因主要使用中英文数据训练带来的局限性。原DeepSeek-R1-Distill-Qwen-32B在韩语推理时存在性能显著下降的问题，而DeepSeek-Bllossom通过额外训练实现了内部思考过程以英语进行，最终根据用户输入语言输出响应，从而大幅提升了韩语环境下的推理表现。

训练数据包含韩英双语推理数据集，除原DeepSeek-R1模型常用的STEM领域数据外，还涵盖多领域内容。在数据集设计和模型训练过程中，DeepSeek-qwen-Bllossom-32B以提供更准确可靠的韩语推理结果为核心目标。

2. 后期训练

DeepSeek-qwen-Bllossom-32B利用自研的多样化推理数据集进行了后期训练。该过程采用了大模型优秀推理能力向DeepSeek-R1-Distill-Qwen-32B高效蒸馏的方法，有效弥补了原模型不足，使其在复杂推理问题上能生成更精准可信的响应。

3. 推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  

model = AutoModelForCausalLM.from_pretrained(  
    "UNIVA-Bllossom/DeepSeek-llama3.1-Bllossom-8B",  
    torch_dtype="auto",  
    device_map="auto"  
)  
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-qwen-Bllossom-32B")  

system='''  
你是一个高能力的助手。对于每个用户问题，请严格遵循以下指令：  
	1.	首先用英语逐步思考问题。将所有内部推理过程包裹在<think>和</think>标签之间。  
	2.	在</think>标签后提供最终答案。  
	3.	不要在此格式外添加任何额外文本或注释。  
	4.	输出必须严格遵循以下结构：  

<think>  
[你的详细分步英语推理]  
</think>  
[你的最终答案]  
'''  

text="哲洙、英熙、敏秀在三轮游戏中得分。英熙的分数是敏秀的两倍，敏秀的分数是哲洙的4倍。如果哲洙得了10分，请计算这三人的平均分。"  
chat = [  
    {"role": "system", "content": system},  
    {"role": "user", "content": text}  
]  

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)  
model_inputs = tokenizer(  
    prompt,  
    return_tensors="pt",  
    add_special_tokens=True  
)  

if "token_type_ids" in model_inputs:  
    del model_inputs["token_type_ids"]  

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=8192,  
)  

4. 模型响应对比

5. 基准测试

• 推理精度: float16
• 最大token数: 32786
• 温度参数: 0.7
• 评估方式: 各基准测试运行3次取平均分
• _en基准: 使用原始英文问题
• _ko基准: 使用高质量韩语翻译问题

6. 许可证

本代码仓库及模型权重采用MIT许可证授权。
DeepSeek-Bllossom系列支持商用，允许任何修改和衍生作品（包括但不限于训练其他