许可证: cc-by-nc-2.0 # 或您选择的许可证，例如 mit, cc-by-sa-4.0 等
标签:

• 场景文本合成
• 多语言
• 扩散模型
• 扩散变换器
• 无OCR
• 文本通量
• 通量 # 如果您的模型基于FLUX

- 文本生成图像 # 通用计算机视觉标签

- 生成图像文本 # 更具体的标签

库名称: diffusers # 因为您提到了Diffusers
管道标签: 文本生成图像 # 或更具体的任务标签
基础模型:

• black-forest-labs/FLUX.1-Fill-dev

数据集: # 可选列出主要训练数据集

- 您的自定义训练数据集名称

评估指标: # 如果有评估指标

- 弗雷歇距离

- OCR准确率

模型索引: # 帮助Hugging Face更好地索引模型

- 名称: TextFlux # 模型名称

结果:

- 任务:

类型: 文本生成图像

名称: 场景文本合成

数据集:

名称: 您的评估数据集

类型: 场景文本图像

评估指标:

- 名称: OCR准确率

数值: 90.5 # 示例

类型: ocr_accuracy

- 名称: 弗雷歇距离

数值: 30.2 # 示例

类型: fid

TextFlux：基于无OCR扩散变换器的高保真多语言场景文本合成模型

TextFlux 是一个无OCR框架，采用扩散变换器（DiT，基于FLUX.1-Fill-dev）实现高保真多语言场景文本合成。该框架通过将渲染的字形与场景图像空间拼接，直接提供视觉字形引导，简化学习任务，使模型专注于上下文推理和视觉融合。

核心特性

• 无OCR架构：无需OCR编码器的简化结构
• 高保真与场景风格一致：精确渲染，保持场景风格统一
• 多语言与低资源适配：跨语言表现优异，少量数据即可适配新语言（如<1,000样本）
• 零样本泛化能力：可渲染训练中未见的字符
• 可控多行文本：支持灵活的多行合成与行级控制
• 数据高效：仅需其他方法约1%的数据量

更新日志

• 2025/05/27: 发布完整参数权重与LoRA权重 🤗！
• 2025/05/25: 论文已发布于ArXiv 🥳！

安装指南

1. 克隆/下载：获取代码与模型权重

2. 依赖安装：

conda create -n textflux python==3.11.4 -y  
conda activate textflux  
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  

pip install -r requirements.txt  
# 确保diffusers版本≥0.32.1  

Gradio演示

提供"标准模式"（预组合输入）和"自定义模式"（上传场景图、绘制遮罩、输入文本自动生成模板并拼接）。

python demo.py  

致谢

本代码基于Diffusers修改，采用black-forest-labs/FLUX.1-Fill-dev作为基础模型。感谢所有贡献者的有益讨论！

许可协议

TextFlux模型的使用受FLUX.1 [dev]非商业许可协议约束（或适用于FLUX.1-Fill-dev的具体版本协议）。

引用

@misc{xie2025textfluxocrfreeditmodel,  
      title={TextFlux：基于无OCR扩散变换器的高保真多语言场景文本合成模型},  
      author={谢宇 and 张杰磊 and 陈鹏宇 and 王子越 and 王伟航 and 高龙文 and 李佩怡 and 孙沪阳 and 张强 and 乔倩 and 范佳庆 and 连周晖},  
      year={2025},  
      eprint={2505.17778},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV},  
      url={https://arxiv.org/abs/2505.17778},  
}