库名称：transformers
许可证：mit
基础模型：vinai/bertweet-base
标签：

• 训练生成
  评估指标：
• 准确率
• F1值
• 精确率
• 召回率
  数据集：
• sandiumenge/bitcoin-tweets-spam-emotion-sentiment
  管道标签：文本分类
  模型索引：
• 名称：twitter-bitcoin-spam-detection
  结果：[]

比特币相关推文垃圾检测

该模型旨在将与比特币或加密货币相关的推文分类为“人类”、“垃圾”或“机器人”。

尽管已有许多类似模型，但开发此模型的背景是：比特币相关推文常因涉及钓鱼网站或诈骗内容而被直接归类为“垃圾”。因此，基于比特币相关数据集训练的模型能消除这种偏见，从而更精准地处理此类推文。

该模型是基于vinai/bertweet-base（一个基于850M英文推文微调的RoBERTa模型）的微调版本，并在比特币相关数据集上进行了情感分类训练。

分类示例

BERTweet的训练数据经过标准化处理，例如：
tweet = "DHEC confirms HTTPURL via @USER :crying_face:"
因此，建议在应用垃圾检测前对文本进行标准化处理，包括将用户提及和链接转换为特殊标记@USER和HTTPURL，以及其他预处理操作。
具体操作可复制或下载BERTweet网页提供的TweetNormalizer：

!git clone https://github.com/VinAIResearch/BERTweet.git  
!pip install emoji  

from transformers import pipeline  
import sys  

# （可选步骤以提升准确率）  
sys.path.append('/content/BERTweet')  # 替换为实际下载目录  
from TweetNormalizer import normalizeTweet  

classifier = pipeline("text-classification",  
                    model="sandiumenge/twitter-bitcoin-spam-detection",  
                    tokenizer="sandiumenge/twitter-bitcoin-spam-detection",  
                    truncation=True,  
                    padding=True,  
                    max_length=128  
)  

tweet = "I'm winning iPhone XS，BTC，ETH and other Awards. Join with us!@freecoinhunt https://t.co/VIUwLmdy4n"  
normalized_tweet = normalizeTweet(tweet)  
# 输出："I 'm winning iPhone XS ， BTC ， ETH and other Awards . Join with us ! @USER HTTPURL"  

print(classifier(normalized_tweet))  

>> [{'label': 'spam', 'score': 0.9803344011306763}]  

模型在评估集上的表现如下：

• 损失值：0.4793
• 准确率：0.8755
• F1值：0.8767
• 精确率：0.8792
• 召回率：0.8755