license: cc-by-nc-nd-4.0 language:

• en base_model: EleutherAI/pythia-1b library_name: transformers tags:
• 生物
• 单细胞RNA测序

模型概述

这是基于EleutherAI开发的Pythia-1b架构预训练的C2S-Scale-1B模型，通过Cell2Sentence（C2S）框架在CellxGene和人类细胞图谱（Human Cell Atlas）的大量单细胞RNA测序（scRNA-seq）数据集上进行了微调。Cell2Sentence是一种前沿方法，通过将scRNA-seq数据转化为基于表达水平的基因名称有序序列——"细胞句子"，使大型语言模型（LLMs）适应单细胞生物学研究。该模型经过训练可执行广泛的单细胞和多细胞任务，成为各类单细胞及多细胞分析的多功能工具。

训练数据

本模型训练数据涵盖来自CellxGene和人类细胞图谱800多个单细胞RNA测序数据集的超过5700万个人类和小鼠细胞。该数据集包含人类和小鼠多种组织中广泛细胞类型及状态。

模型训练时采用可变长度细胞句子（基因数量），最大上下文长度为8192个标记。在C2S训练前，通过旋转位置嵌入技术扩展了默认Pythia模型的上下文长度。

• 细胞配置：多细胞样本中，每个训练样本包含5-20个细胞，同一样本内各细胞包含相同数量的基因。
• 基因配置：单细胞样本中，每个细胞句子包含100-2048个基因；多细胞样本中，每个细胞的句子包含100-400个基因。

任务能力

本模型设计用于以下任务：

单细胞任务

• 无条件单细胞生成：无条件生成单细胞句子
• 细胞类型预测：预测给定单细胞的细胞类型
• 细胞类型条件生成：基于特定细胞类型生成单细胞句子

多细胞任务

• 无条件多细胞生成：无条件生成多细胞句子
• 组织来源预测：预测细胞群的组织来源
• 细胞类型预测：预测细胞群中各细胞的类型
• 组织条件多细胞生成：基于特定组织生成多细胞句子
• 细胞类型条件多细胞生成：基于各细胞类型生成多细胞句子
• 多细胞到摘要：根据多细胞句子生成研究论文摘要
• 摘要到多细胞：根据研究论文摘要生成多细胞句子

基因集任务

• 基因集名称到基因：根据基因集名称生成字母排序的基因列表
• 基因到基因集名称：根据字母排序的基因列表生成基因集名称

Cell2Sentence相关链接

• GitHub代码库：https://github.com/vandijklab/cell2sentence
• 预印本论文：https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythia相关链接

• 研究论文：https://arxiv.org/pdf/2304.01373
• Hugging Face模型库：https://huggingface.co/EleutherAI/pythia-410m