库名称：transformers
许可证：apache-2.0
基础模型：answerdotai/ModernBERT-base
标签：

• 训练生成
• modernbert

模型索引：

• 名称：modernBERT-content-regression
  结果：[]

ModernBERT内容参与度回归模型

这是什么？

本项目探索使用modernBERT进行文本回归任务，预测文本内容的参与度指标。在本案例中，我们预测电子邮件文本内容的点击率（CTR）。

我们将研究modernBERT的超参数调优及其在回归任务中的应用，并与基准模型进行结果对比。

这类任务非常复杂，正如那句名言所说：

我的广告有一半是浪费的；问题在于，我不知道是哪一半
——约翰·沃纳梅克

本实验中，我们排除了其他相关因素，如邮件发送时间、星期几、收件人等。

项目链接：

• 模型 - ModernBERT-Engagement-Content-Regression
• 训练笔记本 - 训练笔记本
• 演示 - 演示空间

本项目受益于众多社区成员和博客文章的工作：

• ModernBERT公告
• 2025年用ModernBERT微调分类器
• 如何为回归任务设置Trainer
• 特别感谢ModernBERT的创造者们！

数据集

我们使用包含548封电子邮件的数据集，其中包含邮件文本和需要预测的CTR标签。

我们期待ModernBERT的改进能让我们为每个潜在用户的电子邮件数据集微调模型。电子邮件数据的多变性和小规模带来了有趣的回归挑战。

基准测试

我们首先使用Catboost库作为文本回归的简单基准。基准测试和ModernBERT运行均使用"rmse"作为指标，结果如下：

拟合ModernBert模型

安装依赖并激活虚拟环境

uv sync  
source .venv/bin/activate  

.env文件中需要定义以下值：

• HUGGINGFACE_TOKEN

运行模型拟合笔记本

uv run --with jupyter jupyter lab  

ModernBert模型性能

经过超参数调优后，ModernBERT的结果如下：

除SMAPE外，所有指标均有改善。我们认为ModernBERT在更大数据集上表现会更好——500个样本对微调来说非常少，因此对当前评估结果感到满意。

关于我们

在Forecast.ing，我们正在构建一个平台，通过AgenticAI自动研究趋势并生成活动创意，帮助用户创建更具吸引力的内容。我们生成内容后，会通过微调评分预测内容成功的可能性。

结论

ModernBERT在文本回归任务中表现出色。我们相信使用更大数据集会获得更好结果，并期待ModernBERT在文本回归领域的未来发展。如有兴趣，可通过robin@forecast.ing联系我。