license: other license_name: 琥珀许可证-1.0 datasets:

• laion/概念字幕-12m-webdataset
• CaptionEmporium/coyo高清-11m-llavanext
• KBlueLeaf/danbooru2023元数据库
• 基于图说的GBC10M language:
• en pipeline_tag: 文本生成 library_name: transformers

TIPO：基于文本预采样的提示优化文本转图像系统

采用LLaMA架构的5亿参数TIPO训练模型。
技术报告：https://arxiv.org/abs/2411.08127

项目简介

本项目推出"TIPO"（基于文本预采样的提示优化文本转图像系统），这一创新框架通过大型语言模型(LLMs)在文生图推理流程中执行"文本预采样"，显著提升生成模型的质量与易用性。TIPO通过优化扩展用户输入提示，使生成模型能以最小用户投入产出更优质结果，让文生图系统对更广泛用户群体更友好高效。

使用方式

请使用DTG扩展的升级版（已更名为z-tipo-extension），当前版本支持stable-diffusion-webui、stable-diffusion-webui-forge和ComfyUI平台，SD-Next平台暂未测试。 https://github.com/KohakuBlueleaf/z-tipo-extension

模型架构与训练

本模型采用2亿参数的LLaMA架构，训练数据整合了Danbooru2023和Coyo-HD-11M数据集。
总训练token量约500亿。
详细信息请参阅技术报告及下表：

*：仅统计"非填充token"的训练量，因所有训练数据长度差异极大
`：由于训练文本普遍较短，达到相同token训练量所需时间远超常规LLM预训练
参考值：若以4096为最大上下文长度且数据均接近该长度，在RTX 3090 x4上训练2亿参数模型仅需2天即可达成100亿token训练量

性能评估

评估基于TIPO-200M模型
我们通过多组测试对比了TIPO与其他模型的性能表现：

场景标签测试

本测试以单一"场景"标签为输入（含特定元数据）
检验各提示生成方法在保持图像质量前提下，能否获得理想的输出分布

短文本/截断长文本测试

本测试采用GBC10M和CoyoHD11M中的短描述或人工截断的长描述
检验提示生成方法处理接近完整提示的能力