数据集: ctheodoris/Genecorpus-30M 许可证: apache-2.0 标签:

• 单细胞测序
• 基因组学

基因变形器（Geneformer）

Geneformer是基于大规模单细胞转录组语料库预训练的基础Transformer模型，能够在网络生物学数据有限的场景下进行上下文感知预测。

• 2021年6月训练的原始模型（约3000万转录组）及虚拟扰动、细胞/基因分类策略的首次报告详见我们的论文
• 2024年4月训练的扩展模型（约9500万转录组）及持续学习、多任务学习和量化策略详见我们的预印本
• 文档参见geneformer.readthedocs.io

模型描述

Geneformer是基于涵盖广泛人体组织的大规模单细胞转录组语料库预训练的Transformer模型。初始版本于2021年6月在Genecorpus-30M（约3000万单细胞转录组）上预训练，排除了可能导致网络重构的高突变负荷细胞（如恶性肿瘤细胞和永生化细胞系）。2024年4月，模型在约9500万非癌转录组上预训练后，又通过约1400万癌症转录组的持续学习获得癌症领域调优版本。

每个单细胞转录组以基因排序值编码形式输入模型：基因按其在当前细胞的表达量（经全语料库表达量标准化）排序。这种非参数化表征能利用预训练语料中每个基因的全局表达模式，突出区分细胞状态的关键基因——例如将普遍高表达的家务基因降权，而使低表达但特异性强的转录因子等基因获得更高排序。这种基于排序的方法对技术噪音更具鲁棒性，因为基因的相对排序比绝对计数更稳定。

转录组编码经过N层Transformer编码器（层数依模型规模而异）。预训练采用掩码学习目标：随机遮盖15%的基因，模型需根据剩余基因的上下文预测被遮盖位置应有的基因。这种完全自监督的方法可利用无标注数据进行训练，从而纳入海量样本。

预训练使Geneformer通过注意力权重自监督地编码了网络层级结构。无论是零样本学习还是小样本微调，模型在染色质动态和网络调控相关的下游任务中均表现出色。例如通过零样本虚拟扰动发现的心肌细胞新转录因子，经实验验证对收缩功能至关重要；基于有限患者数据的虚拟治疗分析提出的心肌病靶点，在iPSC疾病模型中显著改善心肌细胞收缩能力。

仓库包含以下预训练模型： L=层数 | M=预训练细胞数（百万） | i=输入维度 | (预训练日期)

• GF-6L-30M-i2048 (2021年6月)
• GF-12L-30M-i2048 (2021年6月)
• GF-12L-95M-i4096 (2024年4月)
• GF-20L-95M-i4096 (2024年4月)

当前默认模型为GF-12L-95M-i4096。仓库还包含微调模型和癌症调优版GF-12L-95M-i4096_CLcancer。

应用场景

预训练模型可直接用于零样本学习（如虚拟扰动分析），也可针对下游任务（如基因/细胞状态分类）微调。论文中的案例包括：

微调应用：

• 转录因子剂量敏感性
• 染色质动态（双价标记启动子）
• 转录因子调控范围
• 基因网络中心性
• 疾病分类
• 虚拟治疗靶点发现

零样本学习：

• 批次校正
• 基因上下文特异性
• 虚拟重编程
• 转录因子协同效应分析

安装

除预训练模型外，仓库还包含单细胞转录组数据分词处理、模型预训练/微调、细胞嵌入可视化及虚拟扰动等工具链。安装步骤（约20秒）：

# 确保已安装git-lfs (https://git-lfs.com)
git lfs install
git clone https://huggingface.co/ctheodoris/Geneformer
cd Geneformer
pip install .

使用示例参见：

• 转录组分词
• 预训练
• 超参数调优
• 细胞嵌入可视化

注意：需GPU加速运行。强烈建议针对不同下游任务调优超参数（如最大学习率、训练层数等），可显著提升预测性能。

引用文献

• Theodoris CV等. 迁移学习赋能网络生物学预测. 《自然》2023年5月（共同通讯）
• Chen H等. 基因网络动态量化多任务学习框架. 《bioRxiv》2024年8月（共同一作）