language: zh library_name: LogClassifier tags:

• 日志分类
• 日志特征
• 日志相似度
• transformers
• AI运维 pipeline_tag: 文本分类

日志分类器-BERT-v1

该模型是基于BERTForSequenceClassification框架训练的transformers分类模型，专为网络与设备日志挖掘任务设计。
由Selector AI开发

模型使用

from transformers import BertForSequenceClassification, BertTokenizer

# 第一步：从Hugging Face加载模型和分词器
model = BertForSequenceClassification.from_pretrained("rahulm-selector/log-classifier-BERT-v1")
tokenizer = BertTokenizer.from_pretrained("rahulm-selector/log-classifier-BERT-v1")

import torch

model.eval()

# 第二步：准备输入数据（示例日志文本）
log_text = "访问数据库时发生错误"

# 对输入数据进行分词处理
inputs = tokenizer(log_text, return_tensors="pt", padding=True, truncation=True, max_length=128)

# 第三步：进行预测
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# 第四步：获取预测类别（得分最高的类别）
predicted_class = torch.argmax(logits, dim=1).item()

# 标签映射（可从仓库或配置中加载JSON文件）
label_mapping = model.config.id2label

# 第五步：获取事件名称
predicted_event = label_mapping[predicted_class]
print(f"预测事件: {predicted_event}")

背景

本模型专注于结构化和半结构化日志数据，可输出约60种不同事件类别。该模型在实时日志分析、异常检测和运维监控方面表现卓越，通过将日志自动归类至预定义类别，帮助机构管理大规模网络数据，从而更快更精准地诊断网络问题。

用途说明

本模型设计用作分类器。给定输入文本（来自网络/设备/路由器的日志），可输出与该日志最关联的对应事件。
可分类的事件类别详见encoder-main.json

训练详情

数据

模型训练数据涵盖各类网络事件与系统日志，重点监测和分析基础设施组件的状态变更、协议行为及硬件交互。包括路由问题追踪、协议邻居状态变更、链路稳定性及安全事件等，确保模型能识别并分类设备通信、网络健康状态及配置活动中的关键模式。

训练/测试集划分

• 训练数据量: 约8万条日志
• 测试数据量: 约2万条日志

超参数

训练过程中采用以下超参数优化模型性能：

• 批处理大小: 32
• 学习率: 0.001
• 优化器: Adam
• 训练轮次: 10
• 丢弃率: 未应用
• LSTM隐藏层维度: 384
• 嵌入维度: 384