语言: "英语" 标签:

• 推特
• 掩码标记预测
• 2020年大选
• 政治 许可证: "gpl-3.0"

基于2020年美国政治选举推文的预训练BERT模型

《立场检测的知识增强掩码语言模型》的预训练权重，NAACL 2021。

我们使用了BERT-base（uncased）或bert-base-uncased的初始化权重。

训练数据

该模型基于超过500万条关于2020年美国总统选举的英文推文进行预训练。

训练目标

该模型以BERT-base初始化，并采用标准的MLM目标进行训练。

使用方法

此预训练语言模型可微调用于任何下游任务（如分类）。

详情请参阅官方仓库。

from transformers import BertTokenizer, BertForMaskedLM, pipeline
import torch

# 选择可用GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 在此选择模型路径
pretrained_LM_path = "kornosk/bert-political-election2020-twitter-mlm"

# 加载模型
tokenizer = BertTokenizer.from_pretrained(pretrained_LM_path)
model = BertForMaskedLM.from_pretrained(pretrained_LM_path)

# 填充掩码
example = "特朗普是美国的[MASK]"
fill_mask = pipeline('fill-mask', model=model, tokenizer=tokenizer)
# 如果上述方法无效，可使用以下替代方案
# Huggingface已更新，新版本接受模型名称字符串
fill_mask = pipeline('fill-mask', model=pretrained_LM_path, tokenizer=tokenizer)

outputs = fill_mask(example)
print(outputs)

# 查看嵌入
inputs = tokenizer(example, return_tensors="pt")
outputs = model(**inputs)
print(outputs)

# 或者您可以使用此模型训练您的下游任务！
# 如果您觉得有用，请考虑引用我们的论文 :)

参考文献

• 《立场检测的知识增强掩码语言模型》，NAACL 2021。

引用

@inproceedings{kawintiranon2021knowledge,
    title={Knowledge Enhanced Masked Language Model for Stance Detection},
    author={Kawintiranon, Kornraphop and Singh, Lisa},
    booktitle={Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies},
    year={2021},
    publisher={Association for Computational Linguistics},
    url={https://www.aclweb.org/anthology/2021.naacl-main.376}
}