库名称: transformers
数据集:

• WebOrganizer/FormatAnnotations-Llama-3.1-8B
• WebOrganizer/FormatAnnotations-Llama-3.1-405B-FP8
  基础模型:
• Alibaba-NLP/gte-base-en-v1.5

WebOrganizer/FormatClassifier

[论文] [官网] [GitHub]

FormatClassifier模型能根据网页URL和文本内容，将网络内容归类至24个类别。
该模型基于gte-base-en-v1.5（1.4亿参数）微调，训练数据包括：

1. WebOrganizer/FormatAnnotations-Llama-3.1-8B：由Llama-3.1-8B标注的100万文档（第一阶段训练）
2. WebOrganizer/FormatAnnotations-Llama-3.1-405B-FP8：由Llama-3.1-405B-FP8标注的10万文档（第二阶段训练）

全领域分类器

• WebOrganizer/FormatClassifier ← 当前页面
• WebOrganizer/FormatClassifier-NoURL
• WebOrganizer/TopicClassifier
• WebOrganizer/TopicClassifier-NoURL

使用方法

输入格式要求：

{URL}  

{文本内容}  

示例：

from transformers import AutoTokenizer, AutoModelForSequenceClassification  

tokenizer = AutoTokenizer.from_pretrained("WebOrganizer/FormatClassifier")  
model = AutoModelForSequenceClassification.from_pretrained(  
    "WebOrganizer/FormatClassifier",  
    trust_remote_code=True,  
    use_memory_efficient_attention=False)  

web_page = """http://www.example.com  

如何制作美味三明治？[点击阅读全文]"""  

inputs = tokenizer([web_page], return_tensors="pt")  
outputs = model(**inputs)  

probs = outputs.logits.softmax(dim=-1)  
print(probs.argmax(dim=-1))  
# -> 6（"截断内容"类别，涵盖不完整内容）  

通过softmax转换模型的logits，可获得以下24个类别的概率分布（标签顺序详见模型配置中的id2label和label2id）：

1. 学术文献
2. 内容列表
3. 创意写作
4. 客户支持
5. 评论区
6. 常见问题
7. 截断内容
8. 知识文章
9. 法律声明
10. 清单体
11. 新闻文章
12. 非虚构写作
13. 机构介绍
14. 机构新闻
15. 个人简介
16. 个人博客
17. 产品页面
18. 问答论坛
19. 垃圾广告
20. 结构化数据
21. 技术文档
22. 音频转录
23. 教程指南
24. 用户评价

完整类别定义参见分类体系配置。

高效推理

推荐启用xformers实现高效推理（需安装xformers）：

AutoModelForSequenceClassification.from_pretrained(  
    "WebOrganizer/FormatClassifier",  
    trust_remote_code=True,  
    unpad_inputs=True,  
    use_memory_efficient_attention=True,  
    torch_dtype=torch.bfloat16  
)  

引用

@article{wettig2025organize,  
  title={网络内容组织：领域构建提升预训练数据质量},  
  author={Alexander Wettig and Kyle Lo and Sewon Min and Hannaneh Hajishirzi and Danqi Chen and Luca Soldaini},  
  journal={arXiv预印本 arXiv:2502.10341},  
  year={2025}  
}