library_name: transformers license: apache-2.0

使用Caduceus模型

要使用预训练模型进行掩码语言建模，请使用以下代码片段：

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 可用模型列表请参阅Hub上的`Caduceus`合集页面
model_name = "kuleshov-group/caduceus-ph_seqlen-131k_d_model-256_n_layer-16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

您也可以从头开始初始化模型以训练自己的数据：

from transformers import AutoConfig, AutoModelForMaskedLM

# 在此添加配置覆盖项，详情请参阅Hub上的`config.json`文件
config_overrides = {}
# 可用模型列表请参阅Hub上的`Caduceus`合集页面
config = AutoConfig.from_pretrained(
 "kuleshov-group/caduceus-ph_seqlen-131k_d_model-256_n_layer-16",
 **config_overrides,
) 
model = AutoModelForMaskedLM.from_config(config)

模型详情

这是隐藏维度为256、具有16层MambaDNA的Caduceus-Ph模型。 该模型本身不具备反向互补（RC）等变性，而是通过RC数据增强进行预训练。 其预期使用方式如下：在下游任务中，应使用RC数据增强训练模型。 在下游任务推理时，应对序列及其RC各运行一次模型，将两次输出的结果取平均值作为最终预测。

该模型在人类参考基因组上进行了预训练，序列长度为131,072，训练50k步（每步约包含100万碱基对/标记）。

更多细节请参阅我们的论文：Caduceus: 双向等变长程DNA序列建模。

引用

请使用以下BibTeX引用我们的工作：

BibTeX:

@article{schiff2024caduceus,
  title={Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling},
  author={Schiff, Yair and Kao, Chia-Hsiang and Gokaslan, Aaron and Dao, Tri and Gu, Albert and Kuleshov, Volodymyr},
  journal={arXiv preprint arXiv:2403.03234},
  year={2024}
}

模型卡片联系人

Yair Schiff (yzs2@cornell.edu)