推理参数：
结束标记ID：2
最大长度：128
启用采样：true

BLOOM-560m RLHF SD2提示生成器

包含Stable Diffusion的Colab演示：https://colab.research.google.com/github/aicrumb/doohickey/blob/main/rlhf_prompt_tuner.ipynb

使用RLHF（基于人类反馈的强化学习）对mrm8488/bloom-560m-finetuned-sd-prompts进行微调，适配SD2.0版本。

批量大小 = 16  
学习率 = 0.001 # 因此无需耗费过长时间训练  

生成扩展时使用"<s>Prompt: "前缀并输入常规提示内容。

本项目由我独立完成，经过长时间手动评分图像并多次迭代。仅训练了偏置和层归一化权重，提交记录较为混乱。此为项目初版

欢迎捐赠支持硬件升级：https://github.com/aicrumb/aicrumb/blob/main/README.md

使用示例

# 安装必要库
!pip install transformers diffusers accelerate -qq

# 导入库
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
from transformers import pipeline
import torch

# 本transformer模型适配的SD基础模型
model_id = "stabilityai/stable-diffusion-2-base"

# 使用Euler调度器
scheduler = EulerDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, revision="fp16", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# 加载transformer模型
prompt_pipe = pipeline("text-generation", model="crumb/bloom-560m-RLHF-SD2-prompter")
prompt = "酷炫风景"

# 自动补全提示
prompt = "<s>Prompt: " + prompt + ","
extended_prompt = prompt_pipe(prompt, do_sample=True, max_length=42)[0]['generated_text']
extended_prompt = extended_prompt[10:]
print("当前提示：", extended_prompt)

# 生成图像
image = pipe(extended_prompt).images[0]  

image.save("output.png")
image

当前提示：酷炫风景，概念艺术

当前提示：酷炫风景，概念艺术，锐利焦点，数字绘画

虽然补充内容较短，但效果尚可（结果存在波动）

该模型也擅长自主生成提示，仅需"Prompt:"前缀即可：

<s>Prompt: 10世纪，高度细节，概念艺术，电影级光影，虚幻引擎，ArtStation热门，ArtStation高清，ArtStation高品质，极致细节

未来计划开展更多测试（通过美学预测模型自动训练、收集更多提示评分数据、优化训练流程）

附：决策奖励机制时自制的参考图表