许可证: mit 数据集:

• kenhktsui/llm-data-quality 语言:
• en 库名称: fasttext 管道标签: 文本分类

llm-data-textbook-quality-fasttext-classifier-v1

该模型基于fasttext构建，是llm-data-textbook-quality-classifier-v1的优化版本。
不仅获得了更高的F1分数，还能在CPU上每秒分类超过2000个样本。
该模型可判断文本是否达到教科书级数据质量，可作为大语言模型训练时的数据筛选工具。
请注意教科书级质量是高质量数据的子集。

模型性能

使用方法

from typing import List
import re
from huggingface_hub import hf_hub_download
import fasttext


model = fasttext.load_model(hf_hub_download("kenhktsui/llm-data-textbook-quality-fasttext-classifer-v1", "model.bin"))


def replace_newlines(text: str) -> str:
  return re.sub("\n+", " ", text)


def predict(text_list: List[str]) -> List[dict]:
  text_list = [replace_newlines(text) for text in text_list]
  pred = model.predict(text_list)
  return [{"label": l[0].lstrip("__label__"), "score": s[0]}
           for l, s in zip(*pred)]


predict(["你好"])
# 输出: [{'label': 'LOW_QUALITY', 'score': 1.00001}]

基准测试

平均质量分数定义为HIGH_QUALITY标签预测概率的平均值。
分类器表现符合预期：教科书类数据集得分最高，验证了模型有效性；维基百科得分较低（因其本质非教科书）；网页数据得分最低。