语言:

• 英文 任务标签: 文本生成 库名称: transformers

许可证: 其他 许可证名称: 腾讯许可证 许可证链接: https://huggingface.co/tencent/Hunyuan-7B-Instruct/blob/main/LICENSE.txt

 GITHUB  

模型介绍

本次混元发布的7B模型：Hunyuan-7B-Pretrain和Hunyuan-7B-Instruct，采用了更优的数据配比与训练，具备强大性能，在算力与性能之间取得了良好平衡。从众多大规模语言模型中脱颖而出，是目前最强的中文7B Dense模型之一。

技术优势介绍

模型

• 扩展长文本能力至256K，并采用分组查询注意力机制（GQA）

推理框架

• 本次开源提供了针对混元-7B模型的两种推理后端选择：流行的vLLM-backend和TensorRT-LLM后端。本次发布中，我们首先开源了vLLM解决方案，并计划在近期发布TRT-LLM解决方案。

训练框架

• 混元-7B开源模型完全兼容Hugging Face格式，使研究人员和开发者能够使用hf-deepspeed框架进行模型微调。了解更多：Tencent-Hunyuan-Large。

相关新闻

• 2025.1.24 我们已在Hugging Face上开源了Hunyuan-7B-Pretrain和Hunyuan-7B-Instruct。
  

基准测试

注：以下基准测试由TRT-LLM后端评估

Hunyuan-7B-Pretrain