language:

• "英文" thumbnail: "社交媒体分享用的缩略图链接" tags:
• "pytorch"
• "tensorflow" license: "apache-2.0"

vBERT-2021基础版

模型信息：

• 作者：VMware公司人工智能研发实验室
• 模型日期：2022年4月
• 模型版本：2021基础版
• 模型类型：预训练语言模型
• 许可协议：Apache 2.0

研发动机

传统BERT模型在处理VMware专有词汇（如Tanzu、vSphere等）、技术术语及复合词时存在不足（参见WordPiece分词的缺陷）。

我们使用自研的BERT预训练库，通过以下方式针对性优化：
1. 替换BERT词汇表中前1000个未使用token为VMware专有术语
2. 基于VMware领域数据对'bert-base-uncased'模型进行增量预训练（71k步MSL_128 + 7k步MSL_512，约5个epoch）

适用范围

本模型是专为VMware领域优化的语言模型。

调用方式

PyTorch环境调用示例：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vbert-2021-base')
model = BertModel.from_pretrained("VMware/vbert-2021-base")
text = "输入任意文本替换此处"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow环境调用示例：

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vbert-2021-base')
model = TFBertModel.from_pretrained('VMware/vbert-2021-base')
text = "输入任意文本替换此处"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练详情

- 训练数据

使用2021年5月采集的公开VMware文本数据（文档、博客等），约32万篇

- 预处理流程

• HTML解码
• Unicode解码
• 重复字符清理
• 复合词拆分
• 拼写校正

- 性能表现

在VMware特定NLP下游任务（信息检索、分类等）的基准测试中，本模型各项指标均优于原始'bert-base-uncased'模型。

局限性

由于基于BERT模型继续训练，可能继承原始模型的潜在偏差。

注：如需最佳性能，建议使用VMware内部vNLP预处理器（非公开工具）进行数据预处理。