AIbase

B

BAGEL 7B MoT DF11

由 DFloat11 开发
采用DFloat11无损压缩技术的BAGEL-7B-MoT模型，体积缩小32%的同时保持比特级输出一致
大型语言模型
Safetensors
#无损压缩模型#GPU高效推理#动态浮点编码
下载量 428
发布时间 : 5/25/2025
模型介绍
内容详情
替代品

模型简介

基于BAGEL-7B-MoT模型，通过DFloat11压缩技术实现模型体积缩减，适用于需要高效存储和运行的场景

模型特点

DFloat11无损压缩
采用动态长度浮点压缩技术，模型体积缩小32%，同时保持100%精度
高效GPU运行
通过硬件感知算法设计实现GPU端实时权重解压，保持高效推理速度
霍夫曼编码优化
对BFloat16模型权重中的指数位应用霍夫曼编码，实现高压缩率

模型能力

文本生成
高效压缩模型推理

使用案例

高效推理
大模型部署
在资源受限环境中部署大型语言模型
模型体积减少32%，内存占用降低