🚀 变换器（transformers）模型卡

本模型是用于自然语言处理（NLP）的文本分类模型，基于FacebookAI的roberta - base模型，在zeyadusf/daigt数据集上进行训练，具有高精度和良好的性能表现。

🚀 快速开始

暂未提供快速开始相关内容。

✨ 主要特性

• 适用领域：自然语言处理（NLP）中的文本分类任务。
• 基础模型：基于FacebookAI的roberta - base模型构建。
• 训练数据集：使用zeyadusf/daigt数据集进行训练。

📚 详细文档

模型详情

• 评估损失：0.02619364485144615
• 评估准确率：0.9941391941391942
• 评估F1分数：0.9941391909936754
• 训练轮数：2.0

分类报告：
              精确率    召回率  f1分数   样本数

           0       1.00      0.99      0.99      1365
           1       0.99      1.00      0.99      1365

    准确率                           0.99      2730
   宏平均       0.99      0.99      0.99      2730
加权平均       0.99      0.99      0.99      2730

清理函数

在手动测试模型时使用此函数，在文本清理方面取得了良好的效果。

import re
import html
def clean_text(text):
    # Remove HTML tags
    clean = re.compile('<.*?>')
    text = re.sub(clean, '', text)
    # Replace HTML entities with their corresponding characters
    text = html.unescape(text)
    # Remove extra whitespace and normalize spaces
    text = re.sub(r'\s+', ' ', text).strip()
    text = re.sub(r'[^a-zA-Z0-9\s]', '', text)
    return re.sub("\s\s+", " ", text)

📄 许可证

本模型使用Apache - 2.0许可证。