🚀 MOMENT-Large

MOMENT是用于通用时间序列分析的基础模型家族。该家族的模型具有以下特点：（1）可作为各种时间序列分析任务（如预测、分类、异常检测和插补等）的构建块；（2）具备出色的开箱即用能力，即无需（或只需少量）特定任务的示例（支持零样本预测、少样本分类等）；（3）能够使用分布内和特定任务的数据进行调优，以提升性能。

如需了解MOMENT模型、训练数据和实验结果的详细信息，请参考论文MOMENT: A Family of Open Time-series Foundation Models。

MOMENT-1有3种规格：Small、Base和Large。

🚀 快速开始

环境准备

推荐Python版本：Python 3.11（预计很快将支持更多版本）。

安装指南

你可以使用pip安装momentfm包：

pip install momentfm

或者，直接从GitHub仓库安装最新版本：

pip install git+https://github.com/moment-timeseries-foundation-model/moment.git

💻 使用示例

基础用法

预测

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={
        'task_name': 'forecasting',
        'forecast_horizon': 96
    },
)
model.init()

分类

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={
        'task_name': 'classification',
        'n_channels': 1,
        'num_class': 2
    },
)
model.init()

异常检测、插补和预训练

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={"task_name": "reconstruction"},
)
mode.init()

表征学习

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={'task_name': 'embedding'},
)

教程

以下是使用MOMENT进行各种任务的教程和可复现实验列表：

• 预测
• 分类
• 异常检测
• 插补
• 表征学习
• 真实世界心电图（ECG）案例研究 -- 本教程还展示了如何针对真实世界的心电图分类问题对MOMENT进行微调，包括在多个GPU上进行训练和推理以及参数高效微调（PEFT）。

📚 详细文档

模型详情

模型描述

模型资源

• 仓库：https://github.com/moment-timeseries-foundation-model/ （预训练和研究代码即将发布！）
• 论文：https://arxiv.org/abs/2402.03885
• 演示：https://github.com/moment-timeseries-foundation-model/moment/tree/main/tutorials

环境影响

我们经过多日训练多个模型，这导致了大量的能源消耗和相当大的碳足迹。不过，我们希望发布这些模型能够使未来的时间序列建模工作更加快速高效，从而降低碳排放。

我们使用总图形功率（TGP）来计算训练MOMENT模型的总功耗，尽管GPU的实际总功耗可能会根据训练模型时的GPU利用率略有变化。我们的计算未考虑其他计算资源的电力需求。我们采用匹兹堡每兆瓦时能源消耗的二氧化碳排放标准值336.566 Kg C02/MWH。

硬件

所有模型均在由128个AMD EPYC 7502 CPU、503 GB RAM和8个NVIDIA RTX A6000 GPU（每个GPU拥有49 GiB RAM）组成的计算集群上进行训练和评估。所有MOMENT变体均在单个A6000 GPU上进行训练（无数据或模型并行）。

📄 许可证

本项目采用MIT许可证。

📚 引用

如果你使用了MOMENT，请引用我们的论文：

BibTeX：

@inproceedings{goswami2024moment,
  title={MOMENT: A Family of Open Time-series Foundation Models},
  author={Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
  booktitle={International Conference on Machine Learning},
  year={2024}
}

APA： Goswami, M., Szafer, K., Choudhry, A., Cai, Y., Li, S., & Dubrawski, A. (2024). MOMENT: A Family of Open Time-series Foundation Models. In International Conference on Machine Learning. PMLR.