许可证: mit 数据集:

• AutonLab/Timeseries-PILE 评估指标:
• 准确率
• 均方误差
• 平均绝对误差
• F1分数 标签:
• 时间序列
• 预测
• 分类
• 异常检测
• 数据填补
• 变换器
• 预训练模型
• 基础模型
• 时间序列 流水线标签: 时间序列预测

MOMENT-小型版

MOMENT是一系列通用时间序列分析的基础模型。该系列模型具有以下特点：(1) 可作为多样化时间序列分析任务的基础模块（如预测、分类、异常检测和数据填补等）；(2) 具备开箱即用的有效性，即无需（或仅需少量）任务特定样本即可使用（支持零样本预测、少样本分类等场景）；(3) 可通过分布内数据和任务特定数据进行微调以提升性能。

关于MOMENT模型、训练数据和实验结果的详细信息，请参阅论文《MOMENT：开放时间序列基础模型家族》。

MOMENT-1提供三种规格：小型版、基础版和大型版。

使用指南

推荐Python版本： Python 3.11（预计很快将支持更多版本）。

可通过pip安装momentfm包：

pip install momentfm

或从GitHub仓库直接安装最新版本：

pip install git+https://github.com/moment-timeseries-foundation-model/moment.git

加载预训练模型进行不同任务的代码示例如下：

预测任务

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={
        'task_name': 'forecasting',
        'forecast_horizon': 96
    },
)
model.init()

分类任务

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={
        'task_name': 'classification',
        'n_channels': 1,
        'num_class': 2
    },
)
model.init()

异常检测、数据填补与预训练

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={"task_name": "reconstruction"},
)
mode.init()

表征学习

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={'task_name': 'embedding'},
)

教程资源

以下是MOMENT在各任务中的应用教程与可复现实验：

• 预测任务
• 分类任务
• 异常检测
• 数据填补
• 表征学习
• 真实世界心电图(ECG)案例研究——本教程还展示了如何在多GPU环境下对MOMENT进行参数高效微调(PEFT)以解决实际ECG分类问题。

模型详情

模型描述

• 开发团队： Auton实验室，卡内基梅隆大学
• 模型类型： 时间序列基础模型
• 许可协议： MIT许可证

模型来源

• 代码仓库： https://github.com/moment-timeseries-foundation-model/（预训练与研究代码即将发布！）
• 论文： https://arxiv.org/abs/2402.03885
• 演示案例： https://github.com/moment-timeseries-foundation-model/moment/tree/main/tutorials

环境影响

我们在多日训练多个模型的过程中消耗了大量能源，产生了显著的碳足迹。但我们希望通过开源模型能提升未来时间序列建模的效率，从而降低碳排放。

虽然GPU实际功耗会因利用率有所波动，但我们采用总图形功率(TGP)计算训练能耗。计算过程未包含其他设备的能耗。采用匹兹堡地区标准值336.566千克CO2/兆瓦时进行碳排放换算。

• 硬件类型： NVIDIA RTX A6000 GPU
• GPU运行时长： 48小时
• 计算区域： 美国匹兹堡
• 碳排放量(tCO2eq)：

硬件配置

所有模型均在配备128核AMD EPYC 7502 CPU、503GB内存和8块49GiB显存的NVIDIA RTX A6000 GPU的计算集群上训练评估。所有MOMENT变体均在单块A6000 GPU上完成训练（未使用数据/模型并行）。

引用文献

BibTeX格式： 若使用MOMENT请引用我们的论文：

@inproceedings{goswami2024moment,
  title={MOMENT：开放时间序列基础模型家族},
  author={Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
  booktitle={国际机器学习会议},
  year={2024}
}

APA格式：

Goswami, M., Szafer, K., Choudhry, A., Cai, Y., Li, S., & Dubrawski, A. (2024). MOMENT：开放时间序列基础模型家族. 见国际机器学习会议论文集. PMLR.