language:

• "英文" thumbnail: "用于社交分享的缩略图链接" tags:
• "PyTorch"
• "tensorflow" license: "apache-2.0"

vBERT-2021-LARGE

模型信息：

• 作者：VMware公司研发AI实验室
• 模型日期：2022年4月
• 模型版本：2021-large
• 模型类型：预训练语言模型
• 许可协议：Apache 2.0

研发动机

传统BERT模型在处理VMware专有词汇（如Tanzu、vSphere等）、技术术语及复合词时表现欠佳。（参考WordPiece分词机制的缺陷）

我们使用BERT预训练库对vBERT模型进行预训练以解决上述问题。具体措施包括：
1. 替换BERT词汇表中前1000个未使用标记为VMware专有术语，构建定制化词汇表
2. 基于VMware领域数据对'bert-large-uncased'模型进行66,000步增量训练（其中60k步采用MSL_128，6k步采用MSL_512）

使用场景

本模型专为VMware相关自然语言处理任务优化。

调用方式

PyTorch调用示例：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vbert-2021-large')
model = BertModel.from_pretrained("VMware/vbert-2021-large")
text = "输入任意待处理文本"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow调用示例：

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vbert-2021-large')
model = TFBertModel.from_pretrained('VMware/vbert-2021-large')
text = "输入任意待处理文本"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练详情

- 训练数据

使用2021年5月采集的公开VMware文本数据（文档、博客等约32万篇）构建预训练语料库

- 预处理流程

• HTML解码
• Unicode解码
• 重复字符清理
• 复合词拆分
• 拼写校正

- 性能评估

在VMware特定NLP下游任务（信息检索、分类等）的基准测试中，本模型各项指标均优于原始'bert-base-uncased'模型。

局限性

由于基于BERT模型继续训练，可能继承原始BERT的潜在偏差。

注：为获得最佳性能，建议使用VMware内部vNLP预处理器（未公开）进行数据预处理。