许可协议：Apache-2.0
标签：

• 条纹鬣狗架构
• 长上下文
• 深度信号处理
• 混合模型
• 生物学
• 基因组学

Evo-1（第二阶段）

最新动态

我们发现并修复了部分投影错误排列的问题，该问题会影响生成质量。如需使用修复后的模型版本，请按以下方式加载：

config = AutoConfig.from_pretrained(model_name, trust_remote_code=True, revision="1.1_fix")
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    trust_remote_code=True,
    revision="1.1_fix"
)

项目简介

Evo是一款能够进行长上下文建模与设计的生物基础模型。

Evo采用条纹鬣狗架构，可在单核苷酸字节级分辨率下建模序列，其计算和内存消耗随上下文长度呈近线性增长。该模型拥有70亿参数，训练数据来自包含约3000亿标记的OpenGenome原核生物全基因组数据集。

我们在论文《从分子到基因组尺度的序列建模与设计：Evo》(原文链接)中详细阐述了Evo模型。

秉承开放科学精神，我们公开了预训练第一阶段和第二阶段15个中间检查点的权重，这些检查点作为分支存放在相应的HuggingFace仓库中。

Evo-1（第二阶段）是我们Evo系列中的长上下文模型，训练上下文长度为131k，并测试生成长度超过650k的序列。

我们提供以下模型检查点：

模型架构

条纹鬣狗是一种深度信号处理的混合架构，由多头注意力和门控卷积组成的鬣狗块构成，性能优于纯解码器Transformer。该架构通过分层专业化设计，鬣狗层承担主要序列处理计算，注意力层则增强特定模式召回能力。

架构亮点：

• 高效自回归生成：通过循环模式实现（单块80GB GPU可生成>500k序列）
• 长上下文训练/微调显著加速（131k长度下速度提升>3倍）
• 在自然语言和生物序列上超越现有架构的扩展律
• 突破计算最优前沿的稳健性（详见预印本）

使用指南

示例代码详见独立仓库。

推理与微调参数配置

深度信号处理模型的优势在于灵活性。根据预训练、微调或推理任务的内存、表达性和因果性需求，可采用不同卷积参数化方案：

主要参数化类别：

• 模态规范：无约束极点（文献1、文献2）或约束极点（文献3、文献4）
• 伴随规范/有理函数：待补充
• 超网络：基础超网络（文献5）、调制超网络（文献6）
• 显式：调制显式（文献7）

条纹鬣狗为混合精度模型，请确保poles和residues保持float32精度，尤其在长提示或训练时。

注意事项

使用条纹鬣狗需安装定制内核，请遵循独立仓库的安装说明。

引用

@article{nguyen2024sequence,
   author = {Eric Nguyen等},
   title = {从分子到基因组尺度的序列建模与设计：Evo},
   journal = {Science},
   volume = {386},
   number = {6723},
   pages = {eado9336},
   year = {2024},
   doi = {10.1126/science.ado9336},
   URL = {https://www.science.org/doi/abs/10.1126/science.ado9336},