开源协议: mit
库名称: transformers
标签:

• bf16
• bfloat16
• deepseek
• v3-0324
  基础模型:
• deepseek-ai/DeepSeek-V3-0324

这是DeepSeek V3-0324的BF16版本模型。适用于不支持FP8（如Nvidia Ampere架构）的GPU进行量化和推理。

该BF16模型由DeepSeek AI官方FP8量化权重反量化获得，原始模型参见：https://huggingface.co/deepseek-ai/DeepSeek-V3-0324

GPTQModel 是您在vLLM和SGLang平台上进行DeepSeek V3-0324量化推理的首选工具包。

DeepSeek-V3-0324

核心特性

DeepSeek-V3-0324在多个关键维度上相较前代DeepSeek-V3展现出显著提升。

推理能力

• 基准测试显著提升：
  • MMLU-Pro：75.9 → 81.2（+5.3）
  • GPQA：59.1 → 68.4（+9.3）
  • AIME：39.6 → 59.4（+19.8）
  • LiveCodeBench：39.2 → 49.2（+10.0）

前端开发能力

• 提升代码可执行性
• 生成更具美感的网页和游戏前端界面

中文写作能力

• 优化风格与内容质量：

  • 符合R1写作风格标准
  • 中长文写作质量提升

• 功能增强：

  • 改进多轮交互式改写
  • 优化翻译质量与信件撰写

中文搜索能力

• 增强报告类分析请求，输出更详实

函数调用优化

• 提升函数调用准确率，修复V3前期版本问题

使用建议

系统提示词

官方网页端/APP端采用带日期的统一系统提示词：

该助手为DeepSeek Chat，由深度求索公司创造。
今天是{当前日期}。

示例：

该助手为DeepSeek Chat，由深度求索公司创造。
今天是3月24日，星期一。

温度参数

在网页和APP环境中，模型温度参数$T_{model}$设为0.3。由于API调用常使用默认温度值1.0，我们建立了API温度$T_{api}$映射机制：

$$ T_{model} = T_{api} \times 0.3 \quad (0 \leq T_{api} \leq 1) $$

$$ T_{model} = T_{api} - 0.7 \quad (1 < T_{api} \leq 2) $$

因此API调用时，温度值1.0等效于模型温度0.3。

文件上传与网络搜索提示模板

文件上传需按模板构建提示词，其中{file_name}、{file_content}和{question}为参数：

file_template = \
"""[文件名称]: {file_name}
[文件内容开始]
{file_content}
[文件内容结束]
{question}"""

网络搜索中{search_results}、{cur_date}和{question}为参数。

中文查询提示词：

search_answer_zh_template = \
'''# 以下内容是基于用户发送的消息的搜索结果:
{search_results}
每个搜索结果以[webpage X begin]...[webpage X end]格式呈现，X代表文章索引。请在答案对应位置标注引用[citation:X]，若源自多上下文则标注如[citation:3][citation:5]。注意：
- 今天是{cur_date}
- 筛选与问题强相关的内容
- 列举类问题限制10个要点并提示查看原文
- 创作类问题需在正文中标注引用
- 长回答需结构化分段落
- 客观问题可适当补充信息
- 保持回答语言与提问一致'''

英文查询提示词：

search_answer_en_template = \
'''# The following contents are the search results related to the user's message:
{search_results}
Each result is formatted as [webpage X begin]...[webpage X end]. Cite as [citation:X] in context. Key notes:
- Today is {cur_date}
- Filter closely related content
- Limit listings to 10 key points
- Embed citations in creative works
- Structure lengthy responses
- Maintain language consistency'''

本地运行指南

DeepSeek-V3-0324模型结构与DeepSeek-V3完全一致，本地运行方法请参考DeepSeek-V3仓库。

本模型支持函数调用、JSON输出和FIM补全功能，使用提示词构建方法请参阅DeepSeek-V2.5仓库。

注意：Hugging Face Transformers暂未直接支持。

开源协议

本仓库及模型权重采用MIT许可证。

引用文献

@misc{deepseekai2024deepseekv3technicalreport,
      title={DeepSeek-V3技术报告}, 
      author={深度求索AI团队},
      year={2024},
      eprint={2412.19437},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.19437}, 
}

联系我们

如有疑问请提交issue或发送邮件至service@deepseek.com。