🚀 TwHIN - BERT：用于多语言推文表示的社交增强预训练语言模型

TwHIN - BERT是一个新的多语言推文语言模型，它基于超过100种不同语言的70亿条推文进行训练。该模型不仅可用于各种NLP任务，还能在社交推荐任务中发挥出色作用，为推文表示和相关任务提供了强大的支持。

🚀 快速开始

本仓库包含了我们论文 TwHIN - BERT: A Socially - Enriched Pre - trained Language Model for Multilingual Tweet Representations 中的模型、代码以及数据集的相关指引。 [PDF] [HuggingFace模型]

✨ 主要特性

TwHIN - BERT与之前的预训练语言模型不同，它不仅基于文本进行自监督训练（例如MLM），还结合了Twitter异构信息网络（TwHIN）内丰富的社交互动，引入了社交目标进行训练。它可以直接替代BERT用于各种NLP和推荐任务。在语义理解任务（如文本分类）中，它的表现优于类似模型，在预测用户与推文互动等社交推荐任务中也表现出色。

📦 安装指南

要在🤗 Transformers中使用这些模型，可以按照以下步骤操作：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-base')
model = AutoModel.from_pretrained('Twitter/twhin-bert-base')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('Twitter/twhin-bert-base')
model = AutoModel.from_pretrained('Twitter/twhin-bert-base')
inputs = tokenizer("I'm using TwHIN-BERT! #TwHIN-BERT #NLP", return_tensors="pt")
outputs = model(**inputs)

📚 详细文档

预训练模型

我们最初发布了两个预训练的TwHIN - BERT模型（基础版和大型版），它们与 HuggingFace BERT模型 兼容。

📄 许可证

本项目采用Apache 2.0许可证。

🔖 引用

如果您在工作中使用了TwHIN - BERT或我们的数据集，请引用以下内容：

@article{zhang2022twhin,
  title={TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations},
  author={Zhang, Xinyang and Malkov, Yury and Florez, Omar and Park, Serim and McWilliams, Brian and Han, Jiawei and El-Kishky, Ahmed},
  journal={arXiv preprint arXiv:2209.07562},
  year={2022}
}