标签:

• 变压器模型
• 无线通信
• 小样本学习
• 有限数据
• 特征提取
• PyTorch

数据集:

• DeepMIMO

基础模型:

• wi-lab/lwm

LWM 1.1

🚀 点击此处体验基于LWM 1.0的交互式演示！

🚀 点击此处尝试Colab笔记本！

LWM 1.1是专为无线信道特征提取设计的升级版预训练模型。作为LWM 1.0的扩展版本，本次更新通过关键改进提升了模型在多样化信道配置下的可扩展性、泛化能力和效率。该模型在覆盖多种**(N, SC)组合的扩展数据集上进行预训练，确保对可变天线和子载波配置的鲁棒性。LWM 1.1保留了基于Transformer的架构和掩码信道建模(MCM)预训练方法，能够从仿真（如DeepMIMO）和真实世界无线信道中学习结构化表征。模型支持可变长度输入，采用分桶批处理**提升内存效率，并支持针对特定任务的微调适配。

LWM 1.1的构建原理

LWM 1.1采用基于Transformer的架构，专为建模无线信道数据中的空间与频率依赖性而设计。通过增强版掩码信道建模(MCM)预训练方法（提升掩码比例以优化特征学习与泛化能力），结合二维分块处理技术，模型能够联合处理空间（天线）与频率（子载波）关联关系，提供更具结构化的信道表征。此外，分桶批处理机制可高效处理变长输入而无需过度填充，确保训练与推理过程的内存效率。这些改进使LWM 1.1能够从广泛无线场景中提取有意义的嵌入特征，提升其在不同系统配置中的适用性。

LWM 1.1的核心价值

作为无线通信与感知任务的通用特征提取器，LWM 1.1在更丰富多样的数据集上预训练，能有效捕捉密集城区、仿真环境及真实部署等多样化场景下的信道特性。模型通过增强容量与优化预训练策略，显著提升了特征表征质量，使其在下游任务中表现更优异。

LWM 1.1的应用方式

LWM 1.1可作为预训练嵌入提取器无缝集成至无线通信流程中。通过处理原始信道数据，模型生成编码空间、频率与传播特性的结构化表征。这些嵌入特征可直接用于下游任务，减少对大量标注数据的依赖，同时提升模型在不同系统配置下的效率与泛化能力。

LWM 1.1的五大优势

• 增强灵活性：支持多样化信道配置，无尺寸限制。
• 精炼嵌入：通过先进预训练与扩容模型提升特征提取质量。
• 高效处理：采用分桶批处理优化内存，适应变长输入。
• 广泛泛化：基于更大规模、更多样化数据集训练，跨环境表现稳定。
• 任务适配：微调选项支持无缝集成至各类应用场景。

如下图所示，在基于DeepMIMO丹佛密集场景中BS 3与8,299用户间(32, 32)信道的LoS/NLoS分类任务中，基于LWM的高度紧凑CLS嵌入和高维信道嵌入相比原始信道展现出显著优势。

图示：对比使用无线信道原始数据与LWM嵌入特征进行LoS/NLoS分类的F1分数表现。

LWM-v1.1关键升级

1️⃣ 输入灵活性扩展

• 解除固定信道尺寸限制：支持多种**(N, SC)**配置，不再局限于(32, 32)。
• 序列长度提升：从128扩展至512，支持高效处理更大输入维度。

2️⃣ 数据集与预训练增强

• 更广场景覆盖：训练场景从15个增至140个，提升跨环境泛化能力。
• MCM掩码比例提升：从15%提高至40%，使**掩码信道建模(MCM)**任务更具挑战性，强化特征提取效果。
• 预训练数据扩容：样本量从82万增至105万，提升表征学习鲁棒性。

3️⃣ 模型架构优化

• 模型容量提升：参数量从60万增至250万，增强表征能力。
• 二维分块处理：信道分块同时涵盖天线与子载波维度，改进空频特征学习。

4️⃣ 训练与效率优化

• 自适应学习率调度：采用AdamW优化器与余弦衰减策略，提升收敛稳定性。
• 计算效率优化：每层注意力头数从12减至8，平衡计算成本与特征提取能力。

LWM版本对比

LWM 1.1的详细改进

解除信道尺寸限制

LWM 1.0仅支持(32, 32)单一配置，限制了其他信道场景的泛化能力。现实中无线系统的天线数(N)与子载波数(SC)存在显著差异。为此，LWM 1.1在20种(N, SC)组合（从(8, 32)到(128, 64)）上预训练，通过分桶批处理将尺寸相近的输入分组（如(32, 64)与(16, 128)信道归入同桶），避免传统批处理的填充浪费，既节省内存又提升训练效率。验证时从各桶均匀抽取20%样本，确保评估全面性。这一改进使LWM 1.1成为能适应真实无线系统多变配置的通用模型。

更大规模、更多样化的预训练数据集

为增强泛化能力，LWM 1.1新增7个城市场景（夏洛特、丹佛、俄克拉荷马等），并将用户位置网格间距从2.5米缩小至1米，通过重新进行射线追踪生成高分辨率信道数据。同时引入多基站信道，最终构建包含130万预训练样本的数据集（验证集占20%）。这种多样性使模型能适应城乡等不同传播环境，显著提升实用性与可靠性。

完整预训练场景列表详见：
LWM 1.1训练场景

支持任务特定嵌入的微调

LWM 1.1允许冻结特定层进行针对性微调，尤其适合易过拟合任务（如LoS/NLoS分类）。模型提供默认分类与回归头，也支持用户自定义模块，确保最大灵活性。

模型容量提升

通过将嵌入维度从64增至128，模型参数量从60万跃升至250万，使其能够表征更复杂的信道关系，在波束预测等挑战性任务中表现更优。

更高难度的MCM任务

将掩码比例从15%提升至40%，迫使模型更深度挖掘天线与子载波间的空间关联，生成的嵌入对不完整或噪声数据更具鲁棒性。

支持更大输入尺寸

最大序列长度从128扩展至512，使模型无需调整即可处理高维信道数据，适应未来无线系统的发展需求。

二维分块实现真实场景学习

LWM 1.1采用二维分块（同时切割天线与子载波维度），更贴合实际信道依赖关系，通过增强MCM任务复杂性促使模型学习更深层次特征。

训练策略优化

采用AdamW优化器配合5轮预热+余弦衰减学习率调度，提升训练稳定性与最终性能。

计算效率提升

将每层注意力头数从12减至8，在保持特征提取能力的同时降低计算负载，更适合资源受限环境部署。

升级必要性

这些改进响应了无线通信任务对灵活性、可扩展性与性能的迫切需求，使LWM 1.1成为推动无线研究的重要工具。

结语

LWM 1.1通过丰富数据集、挑战性预训练目标、扩容模型及高效输入处理，为无线通信研究提供了强大基础。立即访问Hugging Face体验预训练模型与微调功能！

引用格式：

@misc{alikhani2024largewirelessmodellwm,
      title={Large Wireless Model (LWM): 无线信道基础模型}, 
      author={Sadjad Alikhani and Gouranga Charan and Ahmed Alkhateeb},
      year={2024},
      eprint={2411.08872},
      archivePrefix={arXiv},
      primaryClass={cs.IT},
      url={https://arxiv.org/abs/2411.08872}, 
}

🛠 使用指南

1. 安装Conda

通过Anaconda或Miniconda安装包管理器。

2. 创建新环境

conda create -n lwm_env
conda activate lwm_env

3. 安装依赖包

# 安装PyTorch（根据系统选择CUDA版本）
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
# 安装其他依赖
conda install python numpy pandas matplotlib tqdm -c conda-forge
pip install DeepMIMOv3

4-6. 克隆模型与数据集

# 示例：克隆模型仓库
model_repo_url = "https://huggingface.co/wi-lab/lwm-v1.1"
model_repo_dir = "./LWM-v1.1"
if not os.path.exists(model_repo_dir):
    subprocess.run(["git", "clone", model_repo_url, model_repo_dir], check=True)

下游任务与预训练

• 推理与微调：使用downstream.py进行任务适配
• 完整预训练：运行main.py复现训练流程

交互式演示

体验Hugging Face Spaces演示，或通过社区讨论获取支持。