语言: "英文" 缩略图: "https://huggingface.co/nsi319" 标签:

• big_bird
• pytorch
• 文本分类
• 移动应用描述
• 应用商店 许可证: "mit" 推理: 是

移动应用分类

模型描述

BigBird是一种基于稀疏注意力的Transformer模型，它扩展了基于Transformer的模型（如BERT）以处理更长的序列。该模型可处理长达4,096个标记的输入序列。

google/bigbird-roberta-base模型经过微调，可将移动应用描述分类为6种应用商店类别之一。训练数据包含9,000个英文应用描述样本及其在Google Play中的对应应用类别。

微调过程

模型微调了5个周期，批次大小为16，学习率为2e-05，最大序列长度为1024。由于这是一个分类任务，模型使用交叉熵损失函数进行训练。模型在4个周期后达到的最佳评估F1分数为0.8964259037209702，测试集上的准确率为0.8966。

使用方法

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("nsi319/bigbird-roberta-base-finetuned-app")  
model = AutoModelForSequenceClassification.from_pretrained("nsi319/bigbird-roberta-base-finetuned-app")

classifier = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

classifier("从比分到签约，ESPN应用随时为您更新。通过实时比分、最新新闻和各类视频内容，不错过任何体育时刻。登录并个性化设置应用，接收您支持的球队和联赛的提醒。无论何时何地，ESPN应用让您保持连接。")

'''输出'''
[{'label': '体育', 'score': 0.9983325600624084}]

局限性

训练数据仅包含来自6种应用商店类别的应用，分别是教育、娱乐、生产力、体育、新闻与杂志以及摄影。