Businessbert

🚀 BusinessBERT

BusinessBERT是一个针对商业应用的行业敏感型语言模型，它在商业通信语料库上进行了预训练。该模型除了采用掩码语言模型（MLM）外，还将行业分类（IC）纳入预训练目标。

🚀 快速开始

BusinessBERT是一个针对商业应用的行业敏感型语言模型，它在商业通信语料库上进行预训练，将行业分类作为预训练目标之一，适用于商业相关的自然语言处理任务。

该模型在 这篇论文 中被提出，并在 这个仓库 中发布。

✨ 主要特性

• 专注于整合与商业相关自然语言处理（NLP）任务相关的行业信息，采用独特的训练方法。
• 基于双向编码器表征变换器（BERT）架构构建，在预训练过程中通过两种方式嵌入行业信息。

📚 详细文档

模型描述

我们推出了BusinessBERT，这是一个用于商业应用的行业敏感型语言模型。该模型的优势在于其训练方法，专注于整合与商业相关自然语言处理（NLP）任务相关的行业信息。

我们编译了三个大规模的文本语料库，包括年度披露文件、公司网站内容和代表商业通信的科学文献。这些语料库总共包含22.3亿个标记。

BusinessBERT基于双向编码器表征变换器（BERT）架构构建，并在预训练过程中通过两种方式嵌入行业信息：（1）商业通信语料库包含各种特定行业的术语；（2）对于来自公司的文本文档，我们采用行业分类（IC）作为额外的预训练目标。

预期用途和局限性

该模型旨在针对商业相关的NLP任务进行微调，例如序列分类、命名实体识别、情感分析或问答系统。

训练数据

• CompanyWeb：77亿个标记，3.5GB原始文本文件
• MD&A Disclosures：106亿个标记，5.1GB原始文本文件
• Semantic Scholar Open Research Corpus：40亿个标记，1.9GB原始文本文件

评估结果

分类任务

命名实体识别

情感分析

问答系统

BibTeX引用

@article{BORCHERT2024,
  title = {Industry-sensitive language modeling for business},
  journal = {European Journal of Operational Research},
  year = {2024},
  issn = {0377-2217},
  doi = {https://doi.org/10.1016/j.ejor.2024.01.023},
  url = {https://www.sciencedirect.com/science/article/pii/S0377221724000444},
  author = {Philipp Borchert and Kristof Coussement and Jochen {De Weerdt} and Arno {De Caigny}},
}

📄 许可证

本项目采用CC BY 4.0许可证。