语言: 泰米尔语
许可证: Apache-2.0

该模型用于检测泰米尔语代码混合文本中的冒犯性内容。名称中的"mono"指单语设置，即模型仅使用泰米尔语（纯文本及代码混合）数据进行训练。权重初始化自预训练的XLM-Roberta-Base模型，并在目标数据集上通过掩码语言建模进行预训练，最后使用交叉熵损失进行微调。

本模型是在EACL 2021达罗毗荼语系冒犯性语言识别共享任务中表现最佳的模型之一。基于遗传算法的集成测试预测在排行榜上获得了最高加权F1分数（保留测试集的加权F1分数：本模型0.76，集成模型0.78）。

论文详情

Debjoy Saha, Naman Paharia, Debajit Chakraborty, Punyajoy Saha, Animesh Mukherjee. "Hate-Alert@DravidianLangTech-EACL2021: Ensembling strategies for Transformer-based Offensive language Detection"

任何使用这些资源的已发表作品请引用我们的论文。

@inproceedings{saha-etal-2021-hate,
    title = "Hate-Alert@{D}ravidian{L}ang{T}ech-{EACL}2021: 基于Transformer的冒犯性语言检测集成策略",
    author = "Saha, Debjoy and Paharia, Naman and Chakraborty, Debajit and Saha, Punyajoy and Mukherjee, Animesh",
    booktitle = "第一届达罗毗荼语系语音与语言技术研讨会论文集",
    month = "4月",
    year = "2021",
    address = "基辅",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/2021.dravidianlangtech-1.38",
    pages = "270--276",
    abstract = "社交媒体常成为各类冒犯性内容的温床。对于泰米尔语等低资源语言，由于多语言或特定语言模型表现不佳及缺乏基准数据集，情况更为复杂。基于EACL 2021'达罗毗荼语系冒犯性语言识别'共享任务，我们全面探索了不同Transformer模型，并提出遗传算法集成技术。我们针对每种语言单独训练的集成模型在泰米尔语子任务中获第一名，卡纳达语第二名，马拉雅拉姆语第一名。模型与代码均已开源。",
}