🚀 longformer-base-4096-bible

本模型是一个基于allenai/longformer-base-4096微调的模型，可用于预测圣经章节的相关性，相关性范围为1到5。它在评估集上取得了优异的成绩，具有较高的预测精度。

🚀 快速开始

本模型可直接用于预测圣经文本的相关性，相关性范围为1到5。使用时需针对每个查询分别进行微调。

✨ 主要特性

• 精准预测：在评估集上，损失仅为0.0001，宏平均精度达到1.0，加权平均精度为1.0000。
• 针对性微调：可针对每个查询分别进行微调，以适应不同的应用场景。

📦 安装指南

文档未提及安装步骤，若有需要可参考transformers库的官方安装指南。

📚 详细文档

模型描述

对allenai/longformer-base-4096模型进行微调，以预测圣经章节的相关性，相关性范围为1到5。

预期用途与限制

• 用途：预测圣经文本的相关性，相关性范围为1到5。
• 限制：需要针对每个查询分别进行微调。

训练和评估数据

训练和评估数据包含一个查询、章节ID、章节名称、章节文本和相关性标签。

训练过程

模型训练了12个epoch，学习率采用余弦退火策略进行调整，有2次重启和4个epoch的预热。

训练超参数

训练过程中使用了以下超参数：

训练结果

框架版本

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Datasets 2.18.0
• Tokenizers 0.21.1

📄 许可证

本模型采用apache-2.0许可证。