AIbase

L

Llama 3 2 3B Dpo Rlhf Fine Tuning

由 SURESHBEEKHANI 开发
本模型是基于Llama 3.2-3B-Instruct通过直接偏好优化（DPO）微调的版本，专为奖励建模任务设计，适用于语言理解、指令响应生成和基于偏好的回答排序任务。
大型语言模型
英语
开源协议:MIT#指令优化生成#偏好排序#4位量化高效
下载量 25
发布时间 : 1/24/2025
模型介绍
内容详情
替代品

模型简介

采用4位量化、梯度检查点和参数高效微调（PEFT）等内存优化技术，适用于需要语言理解、指令响应生成和基于偏好的回答排序任务。

模型特点

4位量化
采用4位量化降低显存占用，适配低VRAM设备。
梯度检查点
通过梯度检查点提升内存效率，优化训练过程。
参数高效微调（PEFT）
采用LoRA（低秩适应）等PEFT方法，高效微调模型。
长文本处理
通过RoPE缩放支持2048个token的高效处理。

模型能力

文本生成
偏好优化
长文本处理
快速推理

使用案例

问答系统
精准问答
根据用户指令生成精准详实的答案。
指令执行
指令响应生成
根据用户需求生成响应。
偏好建模
回答排序
基于用户反馈（采纳vs拒绝）对回答排序。
文本补全
文本续写
基于指令续写文本。