语言: 英语
许可证: MIT
标签:

• 关键词提取
  数据集:
• midas/openkp
  评估指标:
• seqeval
  小部件示例:
• 文本: "关键词提取是文本分析中的一项技术，通过提取文档中的重要关键词短语，使人们无需完整阅读即可快速轻松地理解文本内容。最初这项工作主要由人工标注员完成，他们详细阅读文本后记录最重要的关键词短语。缺点是处理大量文档时，这一过程会耗费大量时间。

此时人工智能便派上用场。当前，基于统计和语言特征的经典机器学习方法广泛应用于提取过程。而借助深度学习，能够比传统方法更精准地捕捉文本的语义信息。传统方法关注词频、出现位置及顺序，而神经网络方法能捕获文本中词语的长期语义依赖和上下文关联。"
示例标题: "示例1"

• 文本: "亚洲最大食品饮料贸易展FoodEx吸引了约7万名观众参观数百家参展商的产品。我以记者身份有幸入场，普通观众需隶属食品行业并支付5000日元门票。展品涵盖全球风味，从德国樱桃啤酒、墨西哥顶级龙舌兰到中法高端饺子。这是品尝知名与异域美食的难得机会，还能观摩专业制作过程。除乌冬面、金枪鱼刺身等日式经典外，还有创新产品如咖啡番茄味铜锣烧——一种夹红豆馅的双层甜煎饼。期间我幸运地观摩了2013年世界寿司杯大赛，各国顶尖厨师同台竞技，展示了日本罕见的寿司风格，例如上图的花卉卷。"
  示例标题: "示例2"
  模型索引:
• 名称: DeDeckerThomas/keyphrase-extraction-distilbert-openkp
  结果:
  • 任务:
    类型: 关键词提取
    名称: 关键词提取
    数据集:
    类型: midas/openkp
    名称: openkp
    评估指标:
    • 类型: F1 (Seqeval)
      值: 0.430
      名称: F1 (Seqeval)
    • 类型: F1@M
      值: 0.314
      名称: F1@M

🔑 关键词提取模型：distilbert-openkp

关键词提取是通过分析文本抽取重要短语的技术，让人无需通读全文即可快速把握内容核心。早期这项工作依赖人工标注员逐篇精读后手动记录，但处理海量文档时效率低下⏳。

人工智能🤖的介入改变了这一局面。当前主流方法采用基于统计和语言特征的经典机器学习算法，而深度学习能更精准地捕捉文本语义。传统方法依赖词频、位置等表面特征，神经网络则能识别词语间的深层语义关联和上下文联系。

📓 模型描述

本模型基于KBIR架构，在OpenKP数据集上微调完成。关键词提取模型本质上是将每个词语分类为是否属于关键词的标记分类任务。

✋ 使用限制

🛑 局限性

• 预测关键词数量有限
• 仅支持英文文档

❓ 使用方法

# 代码示例详见原文，此处保留原始格式  

📚 训练数据

OpenKP是包含148,124篇网页文档的大规模开源数据集，每篇标注1-3个最相关关键词。更多细节参见论文。

👷‍♂️ 训练流程

超参数设置

预处理

数据集已预处理为词语序列与对应标签，仅需进行标记化和标签重对齐操作。

# 预处理代码详见原文  

后处理

非管道使用时需过滤B/I标记，合并相邻标记并去除多余空格：

# 后处理函数详见原文  

📝 评估结果

在OpenKP测试集上的表现（P/R/F1@k,m指标）：

🚨 问题反馈

欢迎在社区标签页发起讨论。