语言:

• 印尼语 标签:
• 推特 许可证: apache-2.0 数据集:
• 推特2021 小部件:
• 文本: "guweehh udh ga' paham lg sm [MASK]"

IndoBERTweet 🐦

1. 论文

Fajri Koto, Jey Han Lau, 和 Timothy Baldwin. IndoBERTweet: 针对印尼推特的预训练语言模型，具备有效的领域特定词汇初始化。
发表于2021年自然语言处理实证方法会议(EMNLP 2021)，多米尼加共和国（线上）。

2. 简介

IndoBERTweet 是首个针对印尼推特的大规模预训练模型，通过扩展单语训练的印尼BERT模型并添加领域特定词汇而构建。

本文中，我们展示了通过BERT子词嵌入的平均池化初始化领域特定词汇，比从头预训练更高效，且比基于word2vec投影的初始化更有效。

3. 预训练数据

我们使用推特官方API爬取了2019年12月至2020年12月期间的印尼推文，覆盖经济、健康、教育和政府四大主题的60个关键词。总计获得4.09亿词元，是预训练IndoBERT所用数据的两倍。由于推特政策，此预训练数据不公开。

4. 使用方法

加载模型和分词器（测试环境transformers==3.5.1）

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("indolem/indobertweet-base-uncased")
model = AutoModel.from_pretrained("indolem/indobertweet-base-uncased")

预处理步骤：

• 所有单词转为小写
• 用户提及和URL分别转换为@USER和HTTPURL
• 使用emoji包将表情符号转为文本

5. 在7个印尼推特数据集上的表现

引用

若使用本工作，请引用：

@inproceedings{koto2021indobertweet,
  title={IndoBERTweet: 针对印尼推特的预训练语言模型，具备有效的领域特定词汇初始化},
  author={Fajri Koto and Jey Han Lau and Timothy Baldwin},
  booktitle={2021年自然语言处理实证方法会议论文集(EMNLP 2021)},
  year={2021}
}