Qwen-2.5-7B-base-RAG-RL开源大语言模型 - 结合双技术助力多样问答需求

Qwen 2.5 7B Base RAG RL

由 XXsongLALA 开发

Qwen-2.5-7B-base-RAG-RL 是一个基于未知数据集从头开始训练的7B参数规模的大语言模型，结合了检索增强生成(RAG)和强化学习(RL)技术。

下载量 859

发布时间 : 4/25/2025

模型简介

该模型是一个结合检索增强生成和强化学习技术的大语言模型，适用于需要外部知识检索和优化生成结果的任务场景。

检索增强生成(RAG)

结合外部知识检索能力，提高生成内容的准确性和相关性

强化学习优化

使用强化学习技术优化生成结果

7B参数规模

中等规模参数量的模型，平衡性能和计算资源需求

文本生成

知识检索

强化学习优化

知识密集型任务

问答系统

结合外部知识库构建智能问答系统

内容生成

基于检索到的信息生成高质量内容

研究应用

RAG技术研究

用于检索增强生成技术的研究和实验

属性	详情
模型名称	Qwen-2.5-7B-base-RAG-RL
学习率	5e-05
训练批次大小	8
评估批次大小	8
随机种子	42
优化器	adamw_torch，betas=(0.9,0.999)，epsilon=1e-08，无额外优化器参数
学习率调度器类型	线性
训练轮数	3.0
框架版本	Transformers 4.46.3、Pytorch 2.5.1+cu124、Datasets 2.19.0、Tokenizers 0.20.3