许可证：其他 许可证名称：flux-1-dev-non-commercial-license 许可证链接：https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE. 数据集：

• raulc0399/open_pose_controlnet 语言：
• en 管道标签：文本到图像 标签：
• Stable Diffusion
• 图像生成
• Flux
• diffusers
• controlnet

用于flux.dev的openpose controlnet

（特别感谢oxen.ai赞助训练所需的GPU）

推理

一个为flux-dev训练的openpose controlnet，基于数据集：https://huggingface.co/datasets/raulc0399/open_pose_controlnet

该controlnet模型是为xlab ai管道训练的：https://github.com/XLabs-AI/x-flux

安装步骤如下：

git clone https://github.com/XLabs-AI/x-flux.git
cd x-flux
python3 -m venv xflux_env
source xflux_env/bin/activate
pip install -r requirements.txt

使用controlnet运行管道：

python3 main.py \
 --prompt "一个人在公园享受一天，高清，电影感" \
 --image ~/open_pose_controlnet_dataset/validation_images/pose/3_pose_1024.jpg --control_type openpose \
 --local_path ./model.safetensors \
 --use_controlnet --model_type flux-dev \
 --width 1024 --height 1024  --timestep_to_start_cfg 2 \
 --num_steps 50 --true_gs 4 --guidance 4 \
 --save_path ~/gen_imgs

如果图像已预处理，注释掉src/flux/xflux_pipeline.py中的第146行：

# self.annotator = Annotator(control_type, self.other_device)

训练

oxen clone https://hub.oxen.ai/raulc/open_pose_controlnet_dataset
git clone https://github.com/raulc0399/x-flux.git
cd x-flux
git checkout open_pose_training
python3 -m venv xflux_env
source xflux_env/bin/activate
pip install -r requirements.txt
huggingface-cli login
accelerate config
mkdir images
rsync -r ~/open_pose_controlnet_dataset/train/images/ images/
cp train_configs/test_openpose_controlnet.yaml train_configs/openpose_controlnet.yaml
accelerate launch train_flux_deepspeed_controlnet.py --config "train_configs/openpose_controlnet.yaml"

注意1：开始前检查train_configs/openpose_controlnet.yaml文件

注意2：需要使用rsync，cp无法处理大量文件

注意3：oxen仓库中的标题文件为json格式，符合训练脚本要求

结果

使用以下两张图像：

配合以下提示词：

"两个朋友并肩坐在公园享受一天，高清，电影感" "一个人在公园享受一天，高清，电影感"

生成了以下图像：

许可证

权重遵循FLUX.1 [dev]非商业许可证