语言:

• 英文 基础模型: EleutherAI/pythia-410m 库名称: transformers 标签:
• 生物学
• 单细胞RNA测序

概述

这是基于EleutherAI开发的Pythia-410m架构的C2S-Pythia-410m细胞类型预测模型，通过Cell2Sentence（C2S）方法在CellxGene和人类细胞图谱（Human Cell Atlas）提供的多样化单细胞RNA测序（scRNA-seq）数据集上进行了微调。Cell2Sentence是一种创新方法，通过将scRNA-seq数据转化为"细胞句子"（即按表达水平排序的基因名称序列），使大型语言模型（LLMs）能够适应单细胞生物学研究。这种转换使LLMs能够利用其自然语言处理能力执行各种单细胞任务，本模型主要专注于细胞类型预测。

训练数据

该模型基于从CellxGene和人类细胞图谱收集的800多个单细胞RNA测序数据集中的超过5700万个人类和鼠类细胞进行训练。该数据集涵盖了人类和鼠类多种组织中广泛的细胞类型和状态。

本模型训练时每个细胞句子使用前200个基因。

任务

该模型设计用于：

• 细胞类型预测：根据scRNA-seq数据生成的"细胞句子"预测细胞类型。

Cell2Sentence相关链接

• GitHub: https://github.com/vandijklab/cell2sentence
• 论文: https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythia相关链接

• 论文: https://arxiv.org/pdf/2304.01373
• Hugging Face: https://huggingface.co/EleutherAI/pythia-410m