库名称: transformers 标签:

• Java
• Python
• JavaScript
• C/C++ 许可证: apache-2.0 数据集:
• TempestTeam/dataset-quality 语言:
• 法语
• 英语
• 西班牙语 基础模型:
• EuroBERT/EuroBERT-210m

文本数据质量自动评估模型（自然语言与编程语言）

采用清晰直观的评分体系，自动评估自然语言（NL）与编程语言（CL）文本数据质量。
我们提供两种方案对比：

• 统一模型：同时处理NL与CL EuroBERT-210m-Quality
• 双模型方案：分别处理NL与CL：
  • EuroBERT-210m-Quality-NL（自然语言）
  • EuroBERT-210m-Quality-CL（编程语言）

质量等级分类：

• 有害：存在错误或危险性的内容
• 低劣：存在严重缺陷的低质量内容
• 中等：可接受但有待改进的内容
• 优质：可直接使用的优质内容

支持语言：

• 自然语言：法语 🇫🇷、英语 🇬🇧、西班牙语 🇪🇸
• 编程语言：Python 🐍、Java ☕、JavaScript 📜、C/C++ ⚙️

性能表现

• F1分数：统一模型（NL+CL）

• F1分数：独立模型

核心指标：

• 统一模型：

  • 综合准确率：约73%
  • 有害内容识别可靠（F1分数：0.86）

• 独立模型：

  • 自然语言：约82%准确率
    • 有害内容识别优异（F1分数：0.93）
  • 编程语言：约63%准确率
    • 有害内容检测良好（F1分数：0.72）

训练数据集：

• 公开数据集：TempestTeam/dataset-quality

典型应用场景：

• NLP或代码生成流程的文本语料自动验证
• 社区内容质量评估（论坛/Stack Overflow/GitHub）
• 提升NLP或代码生成系统性能的自动化预处理

使用建议：

• 专业场景建议使用独立模型以获得最佳效果
• 数据语境未知或混合时，统一模型更适合快速评估

引用声明

若在项目中使用本模型，请引用或链接Hugging Face Hub上的本模型页面。