许可协议：mit
基础模型：openai/clip-vit-large-patch14
数据集：

• SPRIGHT-T2I/spright_coco

基于CLIP-L的微调模型。原始模型：openai/clip-vit-large-patch14

• ❤️ 喜欢这个CLIP模型？如果条件允许，请资助喂养它。除了数据，CLIP还消耗时间与德国昂贵的电力。感谢！🤗
• 想自己训练？所有微调代码及更多内容都在我的GitHub。

2024年9月23日更新：

• 现已实现Huggingface Transformers/Diffusers管道集成。
• 示例脚本参见：将我的CLIP-L与Flux.1集成
• 其他情况下，可像常规HF模型一样使用：

from transformers import CLIPModel, CLIPProcessor, CLIPConfig  
model_id = "zer0int/CLIP-GmP-ViT-L-14"  
config = CLIPConfig.from_pretrained(model_id)  

2024年9月3日更新 / 8月5日修订：

👋 正在为Flux.1（或SD3、SDXL、SD等）寻找替代CLIP-L的文本编码器？👀

通常您会需要"仅文本编码器"的.safetensors文件：

• 👉 "TEXT"模型具有更优的提示跟随能力，尤其擅长文本细节处理。下载
• 👉 "SMOOTH"模型有时**在无文本图像中能呈现更好细节。下载
• 初始微调的"GmP"版本已过时/性能较差，但仍可下载

**说明："TEXT"模型是处理文本的不二之选。但"无文本场景下SMOOTH是否优于TEXT"取决于具体提示词，建议通过实验对比。

🤓👨‍💻 通用场景下（不仅限于文生图AI），我提供四种版本：

• 仅文本编码器的.safetensors文件
• 完整模型的.safetensors文件
• State_dict pickle文件
• 完整模型pickle文件（绕过SHA校验后可直接通过"import clip" -> clip.load()使用）

TEXT模型的模态间隙为0.80（OpenAI预训练模型：0.82）

• 采用0.1高温训练+参数调优
• ImageNet/ObjectNet准确率约0.91（SMOOTH/TEXT模型均如此，预训练模型约0.84）
• 这些模型（图示为TEXT模型在MSCOCO的表现）还是黄金猎犬级检索能手：🥰🐕

2024年8月11日更新：

新增性能最佳的CLIP ViT-L/14'GmP-smooth'模型（下载文件名含BEST的文件即可！）：

或自行微调：https://github.com/zer0int/CLIP-fine-tune

如何实现？

• 几何参数化（GmP）（与之前相同）
• 激活值操控"副词神经元"（与之前相同）
• 新增：带标签平滑的自定义损失函数！
• 技术细节详见GitHub。🤗

基于OpenAI/CLIP ViT-L/14的微调模型，实现了~0.90的突破性ImageNet/ObjectNet准确率（原预训练模型/OpenAI CLIP：~0.85）**

通过几何参数化（GmP）实现：

常规CLIP MLP（多层感知机）：  
(mlp): Sequential(  
  |-(c_fc): Linear(in_features=1024, out_features=4096, bias=True)  
  | (gelu): QuickGELU()  
|-}-(c_proj): Linear(in_features=4096, out_features=1024, bias=True)  

GmP CLIP MLP：  
权重分解为：  
- 径向分量'r'作为预训练权重的范数  
- 角度分量'theta'作为归一化方向  
-> 保持权重向量的方向性与量级  

(mlp): Sequential(  
  |-(c_fc): GeometricLinear()  
  | (gelu): QuickGELU()  
|-}-(c_proj): GeometricLinear()  

✅ 分享的模型/state_dict已转换回.weight格式——可像常规state_dict一样使用，例如作为ComfyUI中SDXL/SD3的文本编码器！🤗

• ** 关于训练细节及评估数据，请参阅https://github.com/zer0int/CLIP-fine-tune
• -> 可使用"exp-acts-ft-finetune-OpenAI-CLIP-ViT-L-14-GmP-manipulate-neurons.py"复现我的完整微调过程

OpenAI预训练CLIP模型，许可协议：MIT License