许可证：apache-2.0
基础模型：facebook/bart-large
标签：

• generated_from_trainer
  模型索引：
• 名称：bart_keywords
  结果：[]
  管道标签：text2text-generation
  数据集：
• sunhaozhepy/ag_news_keywords
  语言：
• en

模型描述

该模型是基于facebook/bart-large在数据集sunhaozhepy/ag_news_keywords_embeddings上微调的版本，用于从文本中提取关键词。
在评估集上达到以下结果：

• 损失：0.6179

预期用途

from transformers import pipeline  

pipe = pipeline('summarization', model='bart_keywords_model')  
print(pipe("Aria Opera GPT版本——所有浏览器都自带其AI版本。于是我尝试询问它使用的LLM版本。起初它没理解问题，经解释后仍只得到关于语言模型不自知版本的模糊回答。这让我感到好奇且缺乏透明度。我的笔记本电脑和软件都会明确标注版本及关键信息，但可能误导大众的工具却未提供此类信息。我还担忧公众是否会永远停留在ChatGPT 3.5，而更优模型被置于付费墙后。"))  

训练超参数

训练期间使用的超参数如下：

• 学习率：5e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：16
• 总训练批次大小：128
• 优化器：Adam（beta=(0.9,0.999)，epsilon=1e-08）
• 学习率调度器类型：线性
• 学习率预热步数：500
• 训练轮次：3

训练结果

框架版本

• Transformers 4.35.2
• Pytorch 2.1.0+cu118
• Datasets 2.15.0
• Tokenizers 0.15.0