语言:

• 英语 许可证: mit 库名称: transformers 评估指标:
• f1 管道标签: 文本到文本生成 基础模型:
• google/flan-t5-xl 标签:
• 情感分析
• 目标情感分析
• 提示调优

模型卡片

模型详情

模型描述

2025年2月23日更新: 🔥 支持批处理模式。
详情请见🌌 Flan-T5提供者
为批量链项目。
测试在此处可用

• 开发者: 由nicolay-r重构，初始实现归功于scofield7419
• 模型类型: Flan-T5
• 语言(自然语言处理): 英语
• 许可证: Apache许可证2.0

模型来源

• 代码库: 情感分析推理框架
• 论文: https://arxiv.org/abs/2404.12342
• 演示: 我们有一个Google Colab代码用于启动相关模型

用途

直接使用

以下是快速开始使用模型应用的两个步骤:

1. 加载模型和分词器:

import torch
from transformers import AutoTokenizer, T5ForConditionalGeneration

# 设置模型路径
model_path = "nicolay-r/flan-t5-tsa-prompt-base"
# 设置设备
device = "cuda:0"

model = T5ForConditionalGeneration.from_pretrained(model_path, torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.to(device)

2. 设置询问方法以生成LLM响应:

def ask(prompt):
  inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
  inputs.to(device)
  output = model.generate(**inputs, temperature=1)
  return tokenizer.batch_decode(output, skip_special_tokens=True)[0]

最后，您可以如下推断模型结果:

# 输入句子
sentence = "I would support him"
# 输入目标
target = "him"
# 输出响应
flant5_response = ask(f"What's the attitude of the sentence '{context}', to the target '{target}'?")
print(f"Author opinion towards `{target}` in `{sentence}` is:\n{flant5_response}")

模型的响应如下:

作者在"尽管他行为不端，我还是会支持他"中对"他"的看法是: 积极

下游使用

请参考情感分析推理框架的相关部分

在此示例中，该模型(零样本学习)以PROMPT模式应用于RuSentNE-2023竞赛的验证数据进行评估。

python thor_finetune.py -m "nicolay-r/flan-t5-tsa-prompt-xl" -r "prompt" \
    -p "What's the attitude of the sentence '{context}', to the target '{target}'?" \
    -d "rusentne2023" -z -bs 4 -f "./config/config.yaml"

遵循Google Colab Notebook以实现复现。

超出范围的使用

此模型代表在RuSentNE-2023数据集上微调的Flan-T5版本。
由于数据集代表三尺度输出答案(积极, 消极, 中立)，
一般行为可能偏向于此特定任务。

建议

用户(无论是直接还是下游)应了解模型的风险、偏见和局限性。需要更多信息以进一步建议。

如何开始使用模型

请从相关的三跳推理CoT部分开始代码。

或遵循Google Colab笔记本的相关部分。

训练详情

训练数据

我们使用通过GoogleTransAPI自动翻译成英语的train数据。
初始来源为俄语文本，来自以下代码库:
https://github.com/dialogue-evaluation/RuSentNE-evaluation

英语翻译版本的数据集可通过以下脚本自动下载:
https://github.com/nicolay-r/Reasoning-for-Sentiment-Analysis-Framework/blob/main/rusentne23_download.py

训练过程

此模型已使用PROMPT微调进行训练。

为完成训练过程，使用了THoR框架的重构版本

Google-colab笔记本可用于复现。

整个训练过程耗时3个周期。

训练超参数

• 训练制度: 所有配置细节均在相关配置文件中突出显示

评估

测试数据、因素和指标

测试数据

test评估数据的直接链接:
https://github.com/dialogue-evaluation/RuSentNE-evaluation/blob/main/final_data.csv

指标

模型评估使用了两个指标:

1. F1_PN -- 积极和消极类别的F1值;
2. F1_PN0 -- 积极, 消极和中立类别的F1值;

结果

此模型的测试评估展示了F1_PN = 60.024

以下是训练过程日志，展示了4个周期后在RuSentNE-2023 test集上的最终性能(第5-6行):

  F1_PN  F1_PN0  default   mode
0  66.678  73.838   73.838  valid
1  68.019  74.816   74.816  valid
2  67.870  74.688   74.688  valid
3  65.090  72.449   72.449   test
4  65.090  72.449   72.449   test