language:

• "英文" thumbnail: "社交媒体分享用缩略图链接" tags:
• "PyTorch"
• "tensorflow" license: "apache-2.0"

viniLM-2021-from-large

模型信息：

• 作者：VMware公司AI研发实验室
• 模型日期：2022年6月
• 模型版本：2021-distilled-from-large
• 模型类型：预训练语言模型
• 许可协议：Apache 2.0

研发动机

基于MiniLMv2蒸馏技术，我们将vBERT-2021-large模型蒸馏为更小的minilmv2模型，在保持性能无明显损失的前提下显著提升推理速度。

预期用途

本模型作为VMware定制化语言模型使用。

使用方法

以下示例展示如何通过PyTorch获取文本特征：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vinilm-2021-from-large')
model = BertModel.from_pretrained("VMware/vinilm-2021-from-large")
text = "替换为任意文本内容"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

TensorFlow调用方式：

from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('VMware/vinilm-2021-from-large')
model = TFBertModel.from_pretrained('VMware/vinilm-2021-from-large')
text = "替换为任意文本内容"
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练过程

本模型蒸馏自vBERT-2021-large
权重初始化采用nreimers/MiniLMv2-L6-H768-distilled-from-BERT-Large

- 训练数据

使用VMware公开文本数据（技术文档、博客等）进行蒸馏训练，数据采集于2021年5月（约32万篇文档）

- 预处理流程

• HTML解码
• Unicode解码
• 去除重复字符
• 拆分复合词
• 拼写校正

- 模型性能指标

我们在VMware特定NLP下游任务（信息检索、分类等）上进行了基准测试。

局限性及偏差

由于模型基于BERT架构蒸馏而来，可能继承原始BERT模型的潜在偏差。

为获得最佳性能，需使用我们内部开发的vNLP预处理器（未公开）进行数据预处理。