库名称：transformers 许可证：apache-2.0

使用Caduceus模型

要使用预训练模型进行掩码语言建模，请使用以下代码片段：

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 查看Hub上的`Caduceus`模型集合页面获取可用模型列表
model_name = "kuleshov-group/caduceus-ps_seqlen-131k_d_model-256_n_layer-16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

或者，您可以通过以下方式从头开始实例化模型以训练自己的数据：

from transformers import AutoConfig, AutoModelForMaskedLM

# 在此添加任何配置覆盖，详情请参阅Hub上的`config.json`文件
config_overrides = {}
# 查看Hub上的`Caduceus`模型集合页面获取可用模型列表
config = AutoConfig.from_pretrained(
 "kuleshov-group/caduceus-ps_seqlen-131k_d_model-256_n_layer-16",
 **config_overrides,
) 
model = AutoModelForMaskedLM.from_config(config)

模型详情

这是隐藏维度为256、具有16层MambaDNA的Caduceus-PS模型。 该模型具有反向互补（RC）等变性，因此在训练此模型时（无论是预训练还是下游微调）都不需要RC数据增强。 请注意，模型的隐藏状态将是非RC等变对应模型的两倍。 对于下游任务的训练和推理，为了确保下游输出具有RC不变性，可以在隐藏状态及其RC上运行下游模型，或者在传递给下游模型之前对隐藏状态及其RC进行平均处理。 要对隐藏状态进行RC操作，可以使用：hidden_states.flip(dim=(-2, -1))，这将沿序列长度和通道维度翻转。

该模型在人类参考基因组上进行了预训练，序列长度为131,072，共进行了50k步（每步包含约100万个碱基对/标记）。

更多详情，请参阅我们的论文：Caduceus: 双向等变长程DNA序列建模。

引用

请使用以下BibTeX引用我们的工作：

BibTeX:

@article{schiff2024caduceus,
  title={Caduceus: 双向等变长程DNA序列建模},
  author={Schiff, Yair and Kao, Chia-Hsiang and Gokaslan, Aaron and Dao, Tri and Gu, Albert and Kuleshov, Volodymyr},
  journal={arXiv preprint arXiv:2403.03234},
  year={2024}
}

模型卡联系人

Yair Schiff (yzs2@cornell.edu)