🚀 xtremedistil-l6-h256-zeroshot-v1.1-all-33
本模型是一个轻量级且高效的零样本分类模型,专为边缘设备或浏览器内使用场景设计,在保证一定性能的同时,显著提升了推理速度。
🚀 快速开始
本模型使用了与 MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 模型卡片中描述的相同流程进行微调,详细信息可参考此 论文。
基础模型为 microsoft/xtremedistil-l6-h256-uncased。该模型仅具有 2200 万个骨干参数和 3000 万个词汇参数。骨干参数是推理过程中活跃的主要参数,相较于更大的模型,能显著提升推理速度。模型大小仅为 25 MB。
本模型经过训练,旨在提供一种非常小且高效的零样本分类选项,尤其适用于边缘设备或使用 transformers.js 的浏览器内用例。
📚 详细文档
有关使用说明和其他详细信息,请参考 MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33 模型卡片以及此 论文。
🔧 技术细节
为节省时间和计算资源,未对该模型进行零样本评估。下表展示了模型在所有训练数据集上的标准准确率(请注意,NLI 数据集为二分类)。
总体而言,该模型比其更大的同类模型效率更高,但性能稍逊一筹。
数据集 |
mnli_m |
mnli_mm |
fevernli |
anli_r1 |
anli_r2 |
anli_r3 |
wanli |
lingnli |
wellformedquery |
rottentomatoes |
amazonpolarity |
imdb |
yelpreviews |
hatexplain |
massive |
banking77 |
emotiondair |
emocontext |
empathetic |
agnews |
yahootopics |
biasframes_sex |
biasframes_offensive |
biasframes_intent |
financialphrasebank |
appreviews |
hateoffensive |
trueteacher |
spam |
wikitoxic_toxicaggregated |
wikitoxic_obscene |
wikitoxic_identityhate |
wikitoxic_threat |
wikitoxic_insult |
manifesto |
capsotu |
准确率 |
0.894 |
0.895 |
0.854 |
0.629 |
0.582 |
0.618 |
0.772 |
0.826 |
0.684 |
0.794 |
0.91 |
0.879 |
0.935 |
0.676 |
0.651 |
0.521 |
0.654 |
0.707 |
0.369 |
0.858 |
0.649 |
0.876 |
0.836 |
0.839 |
0.849 |
0.892 |
0.894 |
0.525 |
0.976 |
0.88 |
0.901 |
0.874 |
0.903 |
0.886 |
0.433 |
0.619 |
推理文本/秒(A10G GPU,批次大小 = 128) |
4117.0 |
4093.0 |
1935.0 |
2984.0 |
3094.0 |
2683.0 |
5788.0 |
4926.0 |
9701.0 |
6359.0 |
1843.0 |
692.0 |
756.0 |
5561.0 |
10172.0 |
9070.0 |
7511.0 |
7480.0 |
2256.0 |
3942.0 |
1020.0 |
4362.0 |
4034.0 |
4185.0 |
5449.0 |
2606.0 |
6343.0 |
931.0 |
5550.0 |
864.0 |
839.0 |
837.0 |
832.0 |
857.0 |
4418.0 |
4845.0 |
📄 许可证
本模型采用 MIT 许可证。