库名称: timm
许可证: mit
标签:

• 图像分类
• timm
  流水线标签: 图像分类

LSNet：见大聚焦小

论文: https://arxiv.org/abs/2503.23135
代码: https://github.com/jameslahm/lsnet

使用方法

import timm  
import torch  
from PIL import Image  
import requests  
from timm.data import resolve_data_config, create_transform  

# 加载模型  
model = timm.create_model(  
    'hf_hub:jameslahm/lsnet_b',  
    pretrained=True  
)  
model.eval()  

# 加载并转换图像  
# 使用URL的示例:  
url = 'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'  
img = Image.open(requests.get(url, stream=True).raw)  

config = resolve_data_config({}, model=model)  
transform = create_transform(**config)  
input_tensor = transform(img).unsqueeze(0) # 转换并添加批次维度  

# 进行预测  
with torch.no_grad():  
    output = model(input_tensor)  
probabilities = torch.nn.functional.softmax(output[0], dim=0)  

# 获取前5个预测结果  
top5_prob, top5_catid = torch.topk(probabilities, 5)  
# 假设你有ImageNet标签列表'imagenet_labels'  
# for i in range(top5_prob.size(0)):  
#     print(imagenet_labels[top5_catid[i]], top5_prob[i].item())  

引用

如果我们的代码或模型对你的工作有帮助，请引用我们的论文：

@misc{wang2025lsnetlargefocussmall,  
      title={LSNet: See Large, Focus Small},   
      author={Ao Wang and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},  
      year={2025},  
      eprint={2503.23135},  
      archivePrefix={arXiv},  
      primaryClass={cs.CV},  
      url={https://arxiv.org/abs/2503.23135},   
}  

LSNet：见大聚焦小

LSNet的官方PyTorch实现。CVPR 2025。

模型在ImageNet-1K上训练，吞吐量在Nvidia RTX3090上测试。

LSNet：见大聚焦小。
作者：王傲、陈辉、林子佳、韩军功、丁贵广

我们提出了LSNet，一个受人类视觉系统动态异尺度能力（即“见大聚焦小”）启发的新型轻量级视觉模型家族。LSNet在各种视觉任务中实现了最先进的性能和效率平衡。

ImageNet-1K上的分类

模型

• * 表示使用蒸馏的结果。
• 吞吐量在Nvidia RTX3090上使用speed.py测试。

ImageNet

准备工作

推荐使用conda虚拟环境。

conda create -n lsnet python=3.8  
pip install -r requirements.txt  

数据准备

从http://image-net.org/下载并解压ImageNet的训练和验证图像。训练和验证数据应分别位于train文件夹和val文件夹中：

|-- /path/to/imagenet/  
    |-- train  
    |-- val  

训练

在8-GPU机器上训练LSNet-T：

python -m torch.distributed.launch --nproc_per_node=8 --master_port 12345 --use_env main.py --model lsnet_t --data-path ~/imagenet --dist-eval  
# 使用蒸馏训练时，请添加`--distillation-type hard`  
# 对于LSNet-B，请添加`--weight-decay 0.05`  

测试

python main.py --eval --model lsnet_t --resume ./pretrain/lsnet_t.pth --data-path ~/imagenet  

模型也可以从🤗自动下载，如下所示。

import timm  

model = timm.create_model(  
    f'hf_hub:jameslahm/lsnet_{t/t_distill/s/s_distill/b/b_distill}',  
    pretrained=True  
)  

下游任务

目标检测和实例分割

语义分割

鲁棒性评估

致谢

分类（ImageNet）代码库部分基于EfficientViT、LeViT、PoolFormer和EfficientFormer构建。

检测和分割流程来自MMCV（MMDetection和MMSegmentation）。

感谢这些优秀的实现！