许可证: mit
数据集:

• kenhktsui/math-classifiers-data
  语言:
• en
  评估指标:
• f1
  任务标签: 文本分类
  库名称: fasttext

数学-fasttext分类器

数据集

这是我用于预训练数据整理的fasttext分类器集合的一部分。
该分类器将文本分类为数学类或其他类。
模型在160万条记录上训练，这些记录是网站中数学和非数学内容的50:50混合，测试F1得分为0.99（好得难以置信？）。这是有意对数学数据进行上采样的结果。
该分类器可用于LLM预训练数据整理，以增强数学能力。
它速度极快⚡，在CPU上的吞吐量约为2000文档/秒。

不要低估这个“老”fasttext分类器！它确实是一个优秀且可扩展的实践。
例如，QWEN2.5-MATH利用fasttext整理预训练数据，尽管其分类器并未开源。

🛠️使用方法

from typing import List  
import re  
from huggingface_hub import hf_hub_download  
import fasttext  


model_hf = fasttext.load_model(hf_hub_download("kenhktsui/maths-fasttext-classifier", "model.bin"))  


def replace_newlines(text: str) -> str:  
  return re.sub("\n+", " ", text)  


def predict(text_list: List[str]) -> List[dict]:  
  text_list = [replace_newlines(text) for text in text_list]  
  pred = model.predict(text_list)  
  return [{"label": l[0].lstrip("__label__"), "score": s[0]}  
           for l, s in zip(*pred)]  


predict([  
  """这是一个闪电般快速的模型，可以在CPU上以2000文档/秒的吞吐量进行分类""",  
  """微分几何是一门数学学科，研究光滑形状和光滑空间的几何，也称为光滑流形。它使用单变量微积分、向量微积分、线性代数和多重线性代数的技术。""",  
  """给定$p$: $|4x-3|\leqslant 1$和$q$: $x^{2}-(2a+1)x+a^{2}+a\leqslant 0$，如果$p$是$q$的必要但不充分条件，求$a$的取值范围。"""  
])  
# [{'label': 'Others', 'score': 1.00000834},  
# {'label': 'Maths', 'score': 0.99995351},  
# {'label': 'Maths', 'score': 0.99801832}]  

📊评估

完整版本

              精确率   召回率  f1分数   支持数  

       数学类   0.99    0.98    0.99    200000  
      其他类   0.98    0.99    0.99    200000  

    准确率                           0.99    400000  
   宏平均       0.99    0.99    0.99    400000  
加权平均       0.99    0.99    0.99    400000  

⚠️已知限制

该分类器不擅长处理短文本，这可能并不令人意外。