Deepseek Llama3.3 Bllossom 70B

由 UNIVA-Bllossom 开发

DeepSeek-llama3.3-Bllossom-70B是基于DeepSeek-R1-distill-Llama-70B模型构建的，旨在提升韩语环境下的推理性能。

大型语言模型

Transformers

支持多种语言

开源协议:MIT #韩语推理增强 #多语言混合推理 #思维链蒸馏

下载量 1,181

发布时间 : 2/12/2025

模型介绍

内容详情

替代品

模型简介

该模型通过额外训练克服了原基础模型主要依赖英语和中文数据训练的局限性，特别优化了韩语推理能力。模型内部思考过程以英语进行，最终根据输入语言输出响应。

模型特点

多语言推理优化

特别针对韩语推理性能进行了优化，同时保持英语能力

思维链推理

采用英语进行内部思考过程，根据输入语言输出响应

多样化领域数据

除了STEM领域数据外，还包含多样化的领域训练数据

模型能力

韩语文本生成

英语文本生成

复杂推理

多语言处理

使用案例

教育

数学问题解答

解决复杂的数学推理问题

能够准确计算和解释数学问题

研究

理论证明

提供数学定理的多种证明方法

能够从不同角度展示证明过程

许可证: mit
语言:

韩语
英语
基础模型:
deepseek-ai/DeepSeek-R1-Distill-Llama-70B
库名称: transformers
任务标签: 文本生成

DeepSeek-llama3.3-Bllossom

DeepSeek-Bllossom系列是为解决原有DeepSeek-R1-Distill系列模型的语言混合及多语言性能下降问题而额外训练的模型。

DeepSeek-llama3.3-Bllossom-70B是基于DeepSeek-R1-distill-Llama-70B模型构建的，旨在提升韩语环境下的推理性能。

本模型是UNIVA与Bllossom团队合作开发的首个模型。

模型	基础模型	下载链接
DeepSeek-qwen-Bllossom-1.5B	DeepSeek-R1-Distill-Qwen-1.5B	即将公开
DeepSeek-qwen-Bllossom-7B	DeepSeek-R1-Distill-Qwen-7B	即将公开
DeepSeek-llama3.1-Bllossom-8B	DeepSeek-R1-Distill-Llama-8B	🤗 HuggingFace
DeepSeek-qwen-Bllossom-14B	DeepSeek-R1-Distill-Qwen-14B	即将公开
DeepSeek-qwen-Bllossom-32B	DeepSeek-R1-Distill-Qwen-32B	即将公开
DeepSeek-llama3.3-Bllossom-70B	DeepSeek-R1-Distill-Llama-70B	🤗 HuggingFace

1. 简介

DeepSeek-llama3.3-Bllossom-70B是基于DeepSeek-R1-distill-Llama-70B模型构建的，旨在克服原基础模型主要依赖英语和中文数据训练的局限性。特别是，原DeepSeek-R1-distill-Llama-70B在韩语推理时性能显著下降，而DeepSeek-Bllossom通过额外训练，使模型内部思考过程以英语进行，最终根据输入语言输出响应，从而大幅提升了韩语环境下的推理性能。

训练使用了韩语和英语的推理数据，除了原DeepSeek-R1模型训练中主要使用的STEM领域数据外，还包含了多样化的领域数据。在数据集设计和模型训练过程中，DeepSeek-llama3.3-Bllossom的主要目标是提供更准确、可靠的韩语推理结果。

DeepSeek-Bllossom系列中较小的8B模型可在此处找到：DeepSeek-R1-distill-Llama-Bllossom-8B

2. 后训练

DeepSeek-llama3.3-Bllossom利用自制的多样化推理数据进行了后训练。在此过程中，应用了将大规模模型优秀的推理能力和韩语处理能力有效蒸馏到DeepSeek-R1-distill-Llama-70B模型的方法。通过这种方式，补充了原模型的性能，并优化了生成复杂推理问题更准确、可靠响应的能力。

3. 推理

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  

model = AutoModelForCausalLM.from_pretrained(  
    "UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B",  
    torch_dtype="auto",  
    device_map="auto"  
)  
tokenizer = AutoTokenizer.from_pretrained("UNIVA-Bllossom/DeepSeek-llama3.3-Bllossom-70B")  

system='''  
You are a highly capable assistant. For every user question, follow these instructions exactly:  
    1. First, think through the problem step-by-step in English. Enclose all of your internal reasoning between <think> and </think> tags. This chain-of-thought should detail your reasoning process.  
    2. After the closing </think> tag, provide your final answer.  
    3. Do not include any additional text or commentary outside of this format.  
    4. Your output should strictly follow this structure:  

<think>  
[Your detailed step-by-step reasoning in English]  
</think>  
[Your final answer]  
'''  

text="哲洙、英熙、民秀在三轮游戏中获得了分数。英熙的分数是民秀的两倍，民秀的分数是哲洙的四倍。如果哲洙获得了10分，请计算这三个人的平均分数。"  
chat = [  
    {"role": "system", "content": system},  
    {"role": "user", "content": text}  
]  

prompt=tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)  
model_inputs = tokenizer(  
    prompt,  
    return_tensors="pt",  
    add_special_tokens=True  
)  

if "token_type_ids" in model_inputs:  
    del model_inputs["token_type_ids"]  

model_inputs = {k: v.to(model.device) for k, v in model_inputs.items()}  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=8192,  
)

4. 模型响应对比

输入 (提示)	DeepSeek-R1-distill-Llama-70B	DeepSeek-llama3.3-Bllossom-70B
Alice、Bob、Charlie在三轮游戏中获得了分数。 Alice的分数是Bob的两倍，Bob的分数是Charlie的四倍。如果Charlie获得了10分，请计算这三个人的平均分数。	Charlie的分数是10分。 Bob的分数是Charlie的四倍，因此Bob的分数是 $$ 4 \times 10 = 40 $$ 分。 Alice的分数是Bob的两倍，因此Alice的分数是 $$ 2 \times 40 = 80 $$ 分。三人的总分数是 $$ 10 + 40 + 80 = 130 $$ 分。平均分数是 $$ \frac{130}{3} \approx 43.33$分。 $$ \boxed{43.33} $$ Charlie的分数是10分。	Charlie的分数给定为10分。Bob的分数是Charlie的四倍，计算如下： $$ 4 \times 10 = 40 $$ Alice的分数是Bob的两倍，计算如下： $$ 2 \times 40 = 80 $$ 三人的总分数如下： $$ 10 + 40 + 80 = 130 $$ 三人的平均分数通过总分数除以人数计算： $$ \frac{130}{3} $$ 因此，三人的平均分数是 $$ \boxed{\dfrac{130}{3}} $$ 。
用三种方法证明素数是无限的。	以下是用三种方法证明素数无限的详细步骤： ### 方法一：欧几里得的反证法 1. 假设：假设素数是有限的，且所有素数为 $ p_1, p_2, p_3, \ldots, p_n $。 2. 构造数：构造一个新数 $ N = (p_1 \times p_2 \times p_3 \times \ldots \times p_n) + 1 $。 3. 分析N的性质： - 如果N是素数，则N不在原假设的素数列表中，与假设矛盾。 - 如果N是合数，则存在某个素数 $ p $ 整除N。但由于N除以任何 $ p_i $ 都余1，故 $ p $ 不在原列表中，同样矛盾。 4. 结论：因此，素数必须是无限的。 ### 方法二：费马数的性质 1. 定义：费马数形如 $ F_k = 2^{2^k} + 1 $，其中 $ k $ 为非负整数。 2. 假设：假设素数是有限的，且所有素数为 $ p_1, p_2, \ldots, p_n $。 3. 构造费马数：对于每个 $ k $，构造 $ F_k $。如果 $ F_k $ 是素数，则不在原列表中；如果是合数，其素因数不在原列表中。 4. 结论：因此，素数必须是无限的。 ### 方法三：欧拉函数与素数无限性 1. 欧拉函数：欧拉函数 $ \phi(n) $ 表示小于 $ n $ 且与 $ n $ 互质的数的个数。 2. 假设：假设素数有限，记为 $ p_1, p_2, \ldots, p_n $。 3. 构造数：考虑形如 $ N = p_1^{k_1} p_2^{k_2} \ldots p_n^{k_n} $ 的数，其欧拉函数为 $ \phi(N) = N \prod_{i=1}^{n} \left(1 - \frac{1}{p_i}\right) $。 4. 分析：如果素数有限，$ \prod_{p \text{素数}} \left(1 - \frac{1}{p}\right) $ 收敛，但实际上该积发散，导致矛盾。 5. 结论：因此，素数必须是无限的。这三种方法各自从不同的角度证明了素数的无限性，展示了数论中素数无限性的深刻性。	用三种方法证明素数是无限的： 1. 欧几里得的矛盾证明法： - 假设：素数是有限的，设为 $ p_1, p_2, \dots, p_n $。 - 构造：定义 $ P = p_1 \times p_2 \times \dots \times p_n + 1 $。 - 结论：若 $ P $ 是素数，则它不在列表中；若 $ P $ 是合数，则它包含不在列表中的素数。两种情况均与假设矛盾，故素数无限。 2. 阶乘法： - 假设：素数是有限的，设为 $ p_1, p_2, \dots, p_n $。 - 构造：考虑 $ n! + 1 $，其中 $ n $ 是最大素数。 - 结论：$ n! $ 可被所有 $ p_i $ 整除，故 $ n! + 1 $ 不被任何 $ p_i $ 整除。若 $ n! + 1 $ 是素数，则是新素数；若是合数，则包含更大素数。两种情况均矛盾，故素数无限。 3. 欧拉ζ函数证明法： - 概念：欧拉证明ζ函数 $ \zeta(s) = \sum_{k=1}^\infty \frac{1}{k^s} $ 可表示为素数乘积：$ \zeta(s) = \prod_{p \text{素数}} \frac{1}{1 - \frac{1}{p^s}} $。 - 结论：若素数有限，乘积应为有限。但当 $ s $ 趋近于1时，$ \zeta(s) $ 发散，故乘积必须发散，即素数无限。每种方法从不同数学原理出发，共同验证了素数的无限性。