标签:

• bertopic 库名称: bertopic 流水线标签: 文本分类

BERTopic_ArXiv 模型

这是一个基于BERTopic框架的预训练模型。BERTopic是一个灵活模块化的话题建模框架，能够从海量数据中生成易于解释的话题分类。

本模型展示了BERTopic中多种话题表示方法的组合应用，训练数据包含约3万篇ArXiv论文摘要，采用了以下表示技术(bertopic.representation)：

• 词性标注(POS)
• KeyBERT启发式
• 最大边际相关性(MMR)
• KeyBERT与MMR组合
• ChatGPT生成标签
• ChatGPT生成摘要

默认c-TF-IDF表示效果示例：

ChatGPT(gpt-3.5-turbo)生成标签示例：

完整教程参见：

使用方法

安装依赖库：

pip install -U bertopic
pip install -U safetensors

加载模型示例：

from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_ArXiv")

topic_model.get_topic_info()

查看完整话题表示（关键词/标签/摘要等）：

>>> topic_model.get_topic(0, full=True)
{'Main': [['对话系统', 0.027],
  ['对话框', 0.016],
  ['响应', 0.011],
  ['多轮响应', 0.010],
  ['意图识别', 0.009]],
 'POS': [['对话系统', 0.027],
  ['对话框', 0.016],
  ['响应', 0.011]],
 'KeyBERTInspired': [['任务型对话系统', 0.655],
  ['对话状态跟踪', 0.516]],
 'OpenAI_Label': [['任务型对话系统开发中的挑战与方法', 1]],
 'OpenAI_Summary': [['任务型对话系统及其组件研究，包括对话策略、自然语言理解、响应生成等关键技术，应用于票务预订等场景，面临多领域状态跟踪和标注获取等挑战。', 1]]}

话题概览

• 话题总数：107
• 训练文档数：33189

训练流程

关键配置参数：

# 使用CUML加速
umap_model = UMAP(n_components=5, metric="cosine")
hdbscan_model = HDBSCAN(min_cluster_size=20)

# ChatGPT摘要提示模板
summarization_prompt = """
根据关键词:[KEYWORDS]
和相关文档:[DOCUMENTS]
请用以下格式描述该主题：
主题: <描述>
"""

超参数配置

• 最小话题规模: 10
• 关键词数量: 10
• 语言: 无(多语言)
• 概率计算: 关闭

依赖版本

• Python: 3.10.11
• Transformers: 4.29.2
• Sentence-transformers: 2.2.2