🚀 微调版RuRoBERTa-large模型

这是一个针对RuCoLA基准测试中的语言可接受性分类任务，对RuRoBERTa-large进行微调后的版本。该模型可有效提升在语言可接受性分类任务上的性能。

✨ 主要特性

• 基于强大的RuRoBERTa-large模型进行微调，在RuCoLA基准测试的语言可接受性分类任务上表现出色。
• 明确的微调超参数设置，保证模型训练的稳定性和有效性。

📚 详细文档

微调超参数

微调时使用的超参数如下：

• 训练轮数：5轮（基于验证集的MCC指标进行提前停止）
• 峰值学习率：1e - 5，在总训练时间的10%内进行线性预热
• 权重衰减：1e - 4
• 批次大小：32
• 随机种子：5
• 优化器：torch.optim.AdamW

📄 许可证

本项目采用Apache - 2.0许可证。