基础模型: black-forest-labs/FLUX.1-dev
基础模型关系: 合并
许可证类型: 其他
许可证名称: flux-1-dev-non-commercial-license
许可证链接: LICENSE.md
标签:

• 文本生成图像
• 图像生成
• flux
• 合并

最近觉得显存太多用不完？想在40GB A100上体验爆显存？这款模型专为你打造！

关于

这是对原始120亿参数Flux.1-dev模型进行的170亿参数自融合版本。

合并方式类似700亿→1200亿参数LLM的层叠编织法，通过分组重复和交错网络层实现。

最终模型参数：  
 p层数：[32]  
 s层数：[44]  
 参数量：[17.17B]  

训练

进行了少量融合后训练以修复模型损伤，但由于缺乏适配硬件，目前主要作为概念验证。这可能是首个能生成连贯图像的开源170亿参数图生模型（尽管只是自融合产物）。

训练过程中可见文本理解能力的恢复。最左侧为初始融合状态：

使用指南

祝你好运。

Diffusers

推理流程可用，from_single_file需指定自定义层数：

model = FluxTransformer2DModel.from_single_file("flux.1-heavy-17B.safetensors", num_layers=32, num_single_layers=44)  

Comfy

通过"Load Diffusion Model"节点正常加载。Windows系统需要约80GB内存避免磁盘交换。

推理需35-40GB显存（需卸载文本编码器并在VAE解码时释放）。系统内存充足时可尝试部分卸载。

训练

ostris/ai-toolkit可原生支持，需在本地文件夹中配置config -> process -> model -> name_or_path指向模型。

问答环节：

该使用这个模型吗？

除非你想炫耀或试图训练出可用版本，否则不建议。

合并脚本在哪？

由3-4个混乱脚本加上手动偏置调整组成。可参考goliath-120b的层叠方式复现，注意保留后半单层结构。

未训练的合并权重存放于raw文件夹，可通过from_single_file -> save pretrained转换格式。

有GGUF/FP8版本吗？

必须使用BF16精度才能完整体验同时耗尽所有系统资源的震撼效果。

（再次耗尽Runpod额度，暂无法提供量化版本）

参数设置？LoRA兼容性？

沿用原版flux配置。LoRA能生效但区块不匹配，效果有限。

能生成合理图像吗？

可以，但文字和提示词遵循度不稳定。典型文字生成失败案例：

封面图是精选的吗？

当然。