库名称: transformers 标签:

• Java
• Python
• JavaScript
• C/C++ 许可证: apache-2.0 数据集:
• TempestTeam/dataset-quality 语言:
• 法语
• 英语
• 西班牙语 基础模型:
• EuroBERT/EuroBERT-210m

文本数据质量自动评估模型（自然语言与编程语言）

通过清晰直观的评分体系，自动评估自然语言（NL）和编程语言（CL）文本数据质量。
我们提供两种评估方案：

• 统一模型：同时处理NL和CL的联合模型 EuroBERT-210m-Quality
• 双模型方案：区分处理NL和CL：
  • 自然语言专用 EuroBERT-210m-Quality-NL
  • 编程语言专用 EuroBERT-210m-Quality-CL

质量等级分类：

• 有害内容：存在错误或危险性的数据
• 低质量：存在严重缺陷的数据
• 中等质量：可接受但有待改进的数据
• 高质量：可直接使用的优质数据

支持语言：

• 自然语言：法语 🇫🇷、英语 🇬🇧、西班牙语 🇪🇸
• 编程语言：Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️

性能表现

• f1分数：统一模型（NL+CL）

• f1分数：独立模型

核心性能指标：

• 统一模型：

  • 综合准确率：约73%
  • 有害内容识别可靠（f1分数：0.86）

• 独立模型：

  • 自然语言：准确率约82%
    • 有害内容识别优异（f1分数：0.93）
  • 编程语言：准确率约63%
    • 良好有害内容识别（f1分数：0.72）

训练数据集：

• 公开数据集：TempestTeam/dataset-quality

典型应用场景：

• NLP或代码生成流程的文本语料自动验证
• 社区内容质量评估（论坛/Stack Overflow/GitHub）
• 提升NLP或代码生成系统性能的自动化预处理

使用建议：

• 专业场景推荐使用独立NL/CL模型
• 数据环境未知或混合时适用统一模型快速评估

引用声明

若用于科研项目，请引用或标注本模型Hugging Face仓库链接