标签:

• 变形金刚
• 文本分类
• 意图分类
• 多类分类
• 自然语言理解 语言:
• 南非荷兰语
• 阿姆哈拉语
• 阿拉伯语
• 阿塞拜疆语
• 孟加拉语
• 威尔士语
• 丹麦语
• 德语
• 希腊语
• 英语(美国)
• 西班牙语
• 波斯语
• 芬兰语
• 法语
• 希伯来语
• 印地语
• 匈牙利语
• 亚美尼亚语
• 印尼语
• 冰岛语
• 意大利语
• 日语
• 爪哇语
• 格鲁吉亚语
• 高棉语
• 卡纳达语
• 韩语
• 拉脱维亚语
• 马拉雅拉姆语
• 蒙古语
• 马来语
• 缅甸语
• 挪威语
• 荷兰语
• 波兰语
• 葡萄牙语
• 罗马尼亚语
• 俄语
• 斯洛文尼亚语
• 阿尔巴尼亚语
• 瑞典语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 泰语
• 菲律宾语
• 土耳其语
• 乌尔都语
• 越南语
• 中文(简体)
• 中文(繁体) 多语言支持:
• 南非荷兰语
• 阿姆哈拉语
• 阿拉伯语
• 阿塞拜疆语
• 孟加拉语
• 威尔士语
• 丹麦语
• 德语
• 希腊语
• 英语(美国)
• 西班牙语
• 波斯语
• 芬兰语
• 法语
• 希伯来语
• 印地语
• 匈牙利语
• 亚美尼亚语
• 印尼语
• 冰岛语
• 意大利语
• 日语
• 爪哇语
• 格鲁吉亚语
• 高棉语
• 卡纳达语
• 韩语
• 拉脱维亚语
• 马拉雅拉姆语
• 蒙古语
• 马来语
• 缅甸语
• 挪威语
• 荷兰语
• 波兰语
• 葡萄牙语
• 罗马尼亚语
• 俄语
• 斯洛文尼亚语
• 阿尔巴尼亚语
• 瑞典语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 泰语
• 菲律宾语
• 土耳其语
• 乌尔都语
• 越南语
• 中文(简体)
• 中文(繁体) 数据集:
• qanastek/MASSIVE 示例:
• 文本: "本周早上五点叫醒我"
• 文本: "我想再听一次雅克·布雷尔的歌"
• 文本: "我想再听一次阿瑞吉特·辛格的歌"
• 文本: "奥利，附近哪里有可以跑步的公园"
• 文本: "请播放下一集播客"
• 文本: "亚马逊股价"
• 文本: "找一张去圣彼得堡的火车票" 许可证: cc-by-4.0

相关人员

• 拉布拉克·亚尼斯 (1)

所属机构

1. LIA, NLP团队，阿维尼翁大学，法国阿维尼翁。

演示：如何在HuggingFace Transformers Pipeline中使用

需要安装transformers：pip install transformers

from transformers import AutoTokenizer, AutoModelForSequenceClassification, TextClassificationPipeline

model_name = 'qanastek/XLMRoberta-Alexa-Intents-Classification'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
classifier = TextClassificationPipeline(model=model, tokenizer=tokenizer)

res = classifier("周五早上九点叫醒我")
print(res)

输出：

[{'label': 'alarm_set', 'score': 0.9998375177383423}]

训练数据

MASSIVE是一个包含超过100万条语句的平行数据集，涵盖51种语言，标注了意图预测和槽位标注的自然语言理解任务。语句涵盖60种意图，包括55种槽位类型。MASSIVE是通过本地化SLURP数据集创建的，该数据集由通用智能语音助手的单次交互组成。

意图

• 其他音频音量
• 播放音乐
• 智能家居Hue灯开启
• 一般问候
• 设置日历
• 降低音频音量
• 社交查询
• 静音音频
• 智能家居Wemo开启
• 智能家居Hue灯调亮
• 提高音频音量
• 智能咖啡机
• 外卖查询
• 数学问答
• 玩游戏
• 烹饪查询
• 智能家居Hue灯调暗
• 智能家居Wemo关闭
• 音乐设置
• 天气查询
• 新闻查询
• 移除闹钟
• 社交发布
• 活动推荐
• 出租车交通
• 外卖下单
• 音乐查询
• 日历查询
• 列表查询
• 货币问答
• 电影推荐
• 一般笑话
• 地点推荐
• 电子邮件联系人查询
• 移除列表
• 播放有声书
• 添加电子邮件联系人
• 创建或添加列表
• 播放广播
• 股票问答
• 闹钟查询
• 发送电子邮件
• 一般古怪问题
• 音乐喜好
• 烹饪食谱
• 电子邮件查询
• 日期时间查询
• 交通状况
• 播放播客
• 智能家居Hue灯变化
• 移除日历
• 交通查询
• 交通票务
• 事实问答
• 智能清洁
• 设置闹钟
• 日期时间转换
• 智能家居Hue灯关闭
• 定义问答
• 音乐不喜欢

评估结果

                          精确率    召回率    F1分数    支持量

             闹钟查询     0.9661    0.9037    0.9338      1734
            移除闹钟     0.9484    0.9608    0.9545      1071
               设置闹钟     0.8611    0.9254    0.8921      2091
       降低音频音量     0.8657    0.9537    0.9075       561
       静音音频     0.8608    0.9130    0.8861      1632
      其他音频音量     0.8684    0.5392    0.6653       306
         提高音频音量     0.7198    0.8446    0.7772       663
          日历查询     0.7555    0.8229    0.7878      6426
         移除日历     0.8688    0.9441    0.9049      3417
            设置日历     0.9092    0.9014    0.9053     10659
           烹饪查询     0.0000    0.0000    0.0000         0
          烹饪食谱     0.9282    0.8592    0.8924      3672
        日期时间转换     0.8144    0.7686    0.7909       765
          日期时间查询     0.9152    0.9305    0.9228      4488
        添加电子邮件联系人     0.6482    0.8431    0.7330       612
             电子邮件查询     0.9629    0.9319    0.9472      6069
      电子邮件联系人查询     0.6853    0.8032    0.7396      1326
         发送电子邮件     0.9530    0.9381    0.9455      5814
           一般问候     0.1026    0.3922    0.1626        51
            一般笑话     0.9305    0.9123    0.9213       969
          一般古怪问题     0.6984    0.5417    0.6102      8619
            智能清洁     0.9590    0.9359    0.9473      1326
              智能咖啡机     0.9304    0.9749    0.9521      1836
     智能家居Hue灯变化     0.8794    0.9374    0.9075      1836
        智能家居Hue灯调暗     0.8695    0.8711    0.8703      1071
        智能家居Hue灯关闭     0.9440    0.9229    0.9334      2193
         智能家居Hue灯开启     0.4545    0.5882    0.5128       153
         智能家居Hue灯调亮     0.9271    0.8315    0.8767      1377
            智能家居Wemo关闭     0.9615    0.8715    0.9143       918
             智能家居Wemo开启     0.8455    0.7941    0.8190       510
       创建或添加列表     0.8437    0.8356    0.8396      1989
             列表查询     0.8918    0.8335    0.8617      2601
            移除列表     0.9536    0.8601    0.9044      2652
       音乐不喜欢     0.7725    0.7157    0.7430       204
          音乐喜好     0.8570    0.8159    0.8359      1836
             音乐查询     0.8667    0.8050    0.8347      1785
          音乐设置     0.4024    0.3301    0.3627       306
              新闻查询     0.8343    0.8657    0.8498      6324
          播放有声书     0.8172    0.8125    0.8149      2091
               玩游戏     0.8666    0.8403    0.8532      1785
              播放音乐     0.8683    0.8845    0.8763      8976
           播放播客     0.8925    0.9125    0.9024      3213
              播放广播     0.8260    0.8935    0.8585      3672
             货币问答     0.9459    0.9578    0.9518      1989
           定义问答     0.8638    0.8552    0.8595      2907
              事实问答     0.7959    0.8178    0.8067      7191
                数学问答     0.8937    0.9302    0.9116      1275
                股票问答     0.7995    0.9412    0.8646      1326
   活动推荐     0.7646    0.7702    0.7674      2193
地点推荐     0.7489    0.8830    0.8104      1581
   电影推荐     0.6907    0.7706    0.7285      1020
             社交发布     0.9623    0.9080    0.9344      4131
            社交查询     0.8104    0.7914    0.8008      1275
          外卖下单     0.7697    0.8458    0.8059      1122
          外卖查询     0.9059    0.8571    0.8808      1785
         交通查询     0.8141    0.7559    0.7839      2601
          出租车交通     0.9222    0.9403    0.9312      1173
        交通票务     0.9259    0.9384    0.9321      1785
       交通状况     0.6919    0.9660    0.8063       765
           天气查询     0.9387    0.9492    0.9439      7956

                准确率                         0.8617    151674
               宏观平均     0.8162    0.8273    0.8178    151674
            加权平均     0.8639    0.8617    0.8613    151674