language:

• en base_model:
• CrabInHoney/urlbert-tiny-base-v4 pipeline_tag: text-classification tags:
• url
• cybersecurity
• urls
• links
• classification
• phishing-detection
• tiny
• phishing
• malware
• defacement
• transformers
• urlbert
• bert
• malicious license: apache-2.0

URLBERT-Tiny-v4 恶意网址分类器

这是BERT的轻量级版本，专门针对网址分类任务进行微调，可将网址分为四类：良性、钓鱼、恶意软件和篡改。

模型详情

• 模型大小: 369万参数
• 张量类型: F32
• 模型权重大小: 14.8 MB
• 基础模型: CrabInHoney/urlbert-tiny-base-v4
• 数据集: 恶意网址数据集

模型评估结果

模型在测试集上的分类指标如下：

使用示例

以下是使用Hugging Face的transformers库进行网址分类的示例：

from transformers import BertTokenizerFast, BertForSequenceClassification, pipeline
import torch

# 定义设备（GPU或CPU）
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f"使用设备: {device}")

# 加载模型和分词器
model_name = "CrabInHoney/urlbert-tiny-v4-malicious-url-classifier"
tokenizer = BertTokenizerFast.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name)
model.to(device)

# 创建分类管道
classifier = pipeline(
    "text-classification",
    model=model,
    tokenizer=tokenizer,
    device=0 if torch.cuda.is_available() else -1,
    return_all_scores=True
)

# 测试网址示例
test_urls = [
    "wikiobits.com/Obits/TonyProudfoot",
    "http://www.824555.com/app/member/SportOption.php?uid=guest&langx=gb",
]

# 标签映射为可读的类别名称
label_mapping = {
    "LABEL_0": "良性",
    "LABEL_1": "篡改",
    "LABEL_2": "恶意软件",
    "LABEL_3": "钓鱼"
}

# 网址分类
for url in test_urls:
    results = classifier(url)
    print(f"\n网址: {url}")
    for result in results[0]: 
        label = result['label']
        score = result['score']
        friendly_label = label_mapping.get(label, label)
        print(f"{friendly_label}, 概率: {score:.4f}")

示例输出：

网址: wikiobits.com/Obits/TonyProudfoot
良性, 概率: 0.9996
篡改, 概率: 0.0000
恶意软件, 概率: 0.0000
钓鱼, 概率: 0.0003

网址: http://www.824555.com/app/member/SportOption.php?uid=guest&langx=gb
良性, 概率: 0.0000
篡改, 概率: 0.0001
恶意软件, 概率: 0.9998
钓鱼, 概率: 0.0001