🚀 预训练无大小写BERT模型微调的调查分类模型

该模型是基于自定义调查数据集对 bert-base-uncased 进行微调后的版本。它能有效解决调查数据分类问题，在评估集上展现出了较高的准确率和F1值，为调查数据的分析提供了有力支持。

🚀 快速开始

你可以使用 Transformers 的 pipeline 进行文本分类。

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline
tokenizer = AutoTokenizer.from_pretrained("Jorgeutd/bert-base-uncased-finetuned-surveyclassification")
model = AutoModelForSequenceClassification.from_pretrained("Jorgeutd/bert-base-uncased-finetuned-surveyclassification")
text_classifier = pipeline("text-classification", model=model,tokenizer=tokenizer, device=0)
example = "The agent on the phone was very helpful and nice to me."
results = text_classifier(example)
print(results)

✨ 主要特性

• 基于预训练的 bert-base-uncased 模型进行微调，在自定义调查数据集上表现良好。
• 能够在评估集上取得较低的损失值和较高的准确率与F1值。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline
tokenizer = AutoTokenizer.from_pretrained("Jorgeutd/bert-base-uncased-finetuned-surveyclassification")
model = AutoModelForSequenceClassification.from_pretrained("Jorgeutd/bert-base-uncased-finetuned-surveyclassification")
text_classifier = pipeline("text-classification", model=model,tokenizer=tokenizer, device=0)
example = "The agent on the phone was very helpful and nice to me."
results = text_classifier(example)
print(results)

📚 详细文档

模型描述

该模型是对 bert-base-uncased 在自定义调查数据集上进行微调后的版本。在评估集上取得了以下结果：

• 损失值：0.2818
• 准确率：0.9097
• F1值：0.9097

局限性和偏差

该模型受限于特定客户服务领域调查结果的训练数据集，可能无法很好地泛化到不同领域的所有用例。

训练和评估数据

使用的是自定义调查数据集。

训练过程

在SageMaker笔记本实例上进行训练。

训练超参数

训练过程中使用了以下超参数：

• 学习率：3e - 05
• 训练批次大小：16
• 评估批次大小：16
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e - 08）
• 学习率调度器类型：线性
• 学习率调度器热身步数：100
• 训练轮数：10
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.16.2
• Pytorch 1.8.1+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0

🔧 技术细节

文档未提供足够的技术实现细节，故跳过此章节。

📄 许可证

本模型使用 Apache 2.0 许可证。