基于DeepSeek-R1-Distill-Qwen-14B微调优化的创意写作增强模型，在创意写作方面表现显著提升

Turkish-Gemma-9b-v0.1是基于Gemma-2-9b开发的土耳其语文本生成模型，通过持续预训练、监督微调（SFT）、直接偏好优化（DPO）和模型合并技术优化而成。

基于DPO方法微调的语言模型，适用于文本生成任务

这是一个基于离散Hubert标记的语音语言模型，专注于高效训练，能够生成语音片段的延续。

SummLlama3.1-8B是基于Llama3.1-8B-Instruct初始化的文本摘要模型，通过大规模摘要反馈的直接偏好优化（DPO）训练，在忠实性、完整性和简洁性方面表现优异。

SummLlama3-70B是基于Llama3-70B-Instruct初始化的文本摘要模型，通过大规模摘要反馈的DPO训练优化，在忠实性、完整性和简洁性方面表现优异。

UNA-ThePitbull-21.4B-v2是一款基于21.4B参数的大型语言模型，性能接近70B模型，融合了情商与智商，擅长对话和文本生成。

OpenBioLLM-70B是专为生物医学领域设计的先进开源语言模型，基于Meta-Llama-3-70B-Instruct微调，在生物医学任务中表现卓越。

Rhea-72b-v0.5是基于Smaug-72B-v0.1微调的大语言模型，在HuggingFace开放大模型排行榜上排名第一。

Nous Hermes 2是基于Mistral 7B DPO的新一代旗舰级7B Hermes模型，经过DPO优化，在多个测试基准上表现优异。

支持匈牙利语和英语的对齐人类偏好的聊天模型，基于Llama-2-7b适配到匈牙利语

LLaVA-v1.5-13B-DPO 是一个基于LLaVA框架的视觉语言模型，经过直接偏好优化(DPO)训练，并转换为GGUF量化格式以提高推理效率。

采用DPO训练的中文文本纠错模型，能够自动检测并修正中文文本中的拼写和语法错误。

TheBeagle是基于The Bagel数据集训练的70亿参数模型，采用DPO（直接偏好优化）和UNA（统一神经架构）技术优化，在多任务中表现优异。

结合SDXL极速版与直接偏好优化(DPO)技术的文本生成图像模型，支持快速高质量图像生成

Rocket-3B是一个30亿参数的大型语言模型，通过直接偏好优化(DPO)在公开数据集上训练，性能超越许多更大规模的模型。