library_name: transformers datasets:

• WebOrganizer/TopicAnnotations-Llama-3.1-8B
• WebOrganizer/TopicAnnotations-Llama-3.1-405B-FP8 base_model:
• Alibaba-NLP/gte-base-en-v1.5

WebOrganizer/TopicClassifier-NoURL

[论文] [官网] [GitHub]

TopicClassifier-NoURL模型基于网页文本内容（不使用URL信息）将网络内容划分为17个类别。该模型是在gte-base-en-v1.5（1.4亿参数）基础上微调而成，训练数据包括：

1. WebOrganizer/TopicAnnotations-Llama-3.1-8B：由Llama-3.1-8B标注的100万文档（第一阶段训练）
2. WebOrganizer/TopicAnnotations-Llama-3.1-405B-FP8：由Llama-3.1-405B-FP8标注的10万文档（第二阶段训练）

全领域分类器

• WebOrganizer/FormatClassifier
• WebOrganizer/FormatClassifier-NoURL
• WebOrganizer/TopicClassifier
• WebOrganizer/TopicClassifier-NoURL ←当前页面

使用方法

输入格式要求：

{文本内容}

示例：

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("WebOrganizer/TopicClassifier-NoURL")
model = AutoModelForSequenceClassification.from_pretrained(
    "WebOrganizer/TopicClassifier-NoURL",
    trust_remote_code=True,
    use_memory_efficient_attention=False)

web_page = """如何从零开始组装电脑？以下是所需组件..."""

inputs = tokenizer([web_page], return_tensors="pt")
outputs = model(**inputs)

probs = outputs.logits.softmax(dim=-1)
print(probs.argmax(dim=-1))
# -> 5 ("硬件"类别)

通过softmax转换模型的logits输出，可获得以下24个类别的概率分布（标签顺序及对应关系详见模型配置中的id2label和label2id）：

1. 成人内容
2. 艺术与设计
3. 软件开发
4. 犯罪与法律
5. 教育与就业
6. 硬件
7. 娱乐
8. 社交生活
9. 时尚与美容
10. 金融与商业
11. 餐饮美食
12. 游戏
13. 健康
14. 历史
15. 家居与爱好
16. 工业
17. 文学
18. 政治
19. 宗教
20. 科学与技术
21. 软件
22. 运动健身
23. 交通运输
24. 旅行

完整类别定义参见分类体系配置。

高效推理

推荐启用去填充和内存高效注意力机制以提升gte-base-en-v1.5的运行效率。需安装xformers（详见说明），加载方式如下：

AutoModelForSequenceClassification.from_pretrained(
    "WebOrganizer/TopicClassifier-NoURL",
    trust_remote_code=True,
    unpad_inputs=True,
    use_memory_efficient_attention=True,
    torch_dtype=torch.bfloat16
)

引用

@article{wettig2025organize,
  title={Organize the Web: Constructing Domains Enhances Pre-Training Data Curation},
  author={Alexander Wettig and Kyle Lo and Sewon Min and Hannaneh Hajishirzi and Danqi Chen and Luca Soldaini},
  journal={arXiv preprint arXiv:2502.10341},
  year={2025}
}