语言: 法语
许可证: MIT
数据集:

• oscar
  小部件示例:
• 文本: "我喜欢读科幻。"

蒸馏版CamemBERT

我们推出了知名法语RoBERTa模型CamemBERT的蒸馏版本——DistilCamemBERT。蒸馏技术旨在显著降低模型复杂度的同时保持性能。该方法的可行性已在DistilBERT论文中得到验证，训练代码灵感来源于DistilBERT项目。

损失函数

学生模型的训练目标是与教师模型尽可能接近，其损失函数由三部分组成：

• 蒸馏损失(DistilLoss)：通过MLM任务的交叉熵损失衡量师生模型输出概率的相似性
• 余弦损失(CosineLoss)：在师生模型的最后隐藏层应用余弦嵌入损失，确保二者线性相关
• MLM损失：通过教师模型的原始MLM任务训练学生模型

最终损失函数为三者加权和：
$$Loss = 0.5 \times DistilLoss + 0.3 \times CosineLoss + 0.2 \times MLMLoss$$

数据集

为减少师生模型偏差，训练数据与camembert-base相同：OSCAR法语语料（约140GB硬盘空间）。

训练过程

使用NVIDIA Titan RTX显卡进行了18天预训练。

评估结果

使用方法

加载模型与分词器：

from transformers import AutoTokenizer, AutoModel  
tokenizer = AutoTokenizer.from_pretrained("cmarkea/distilcamembert-base")  
model = AutoModel.from_pretrained("cmarkea/distilcamembert-base")  
model.eval()  

使用pipeline进行掩码填充：

from transformers import pipeline  
mask_filler = pipeline("fill-mask", model="cmarkea/distilcamembert-base", tokenizer="cmarkea/distilcamembert-base")  
results = mask_filler("卡门贝尔奶酪<mask> :)")  
# 输出示例包含"美味/完美/惊艳"等预测结果

引用文献

@inproceedings{delestre:hal-03674695,  
  标题 = {DistilCamemBERT：法语CamemBERT模型的蒸馏},  
  作者 = {Delestre, Cyrile 和 Amar, Abibatou},  
  会议 = {机器学习会议(CAp)},  
  年份 = 2022,  
  关键词 = {自然语言处理, Transformer, CamemBERT, 模型蒸馏}  
}