语言:

• 英文 标签:
• 训练生成
• 加密货币
• 情感
• 分析 管道标签: 文本分类 基础模型: ProsusAI/finbert 模型索引:
• 名称: CryptoBERT 结果: []

CryptoBERT

该模型是基于ProsusAI/finbert在自定义加密货币市场情感数据集上微调的版本。 在评估集上取得了以下结果:

• 损失: 0.3823

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import pipeline

tokenizer = BertTokenizer.from_pretrained("kk08/CryptoBERT")
model = BertForSequenceClassification.from_pretrained("kk08/CryptoBERT")

classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)
text = "比特币(BTC)触及2.9万美元，以太坊(ETH)蓄势爆发，RenQ金融(RENQ)跨越重大里程碑"
result = classifier(text)
print(result)

[{'label': 'LABEL_1', 'score': 0.9678454399108887}]

模型描述

该模型微调了ProsusAI/finbert，这是一个预训练的NLP模型，用于分析金融文本的情感。 CryptoBERT模型通过在自定义加密货币情感数据上作为下游任务训练该模型，以预测与加密货币市场相关的给定文本是 积极(LABEL_1)还是消极(LABEL_0)。

预期用途与限制

该模型在加密货币相关数据上表现良好。主要限制是微调仅使用了少量数据

训练超参数

训练期间使用了以下超参数:

• 学习率: 5e-05
• 训练批次大小: 16
• 评估批次大小: 8
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 10

训练结果

框架版本

• Transformers 4.28.0
• Pytorch 2.0.0+cu118
• Datasets 2.11.0
• Tokenizers 0.13.3