🚀 C2S-Pythia-410m多样单细胞和多细胞任务模型

本项目基于EleutherAI开发的Pythia - 410m架构，构建了C2S - Pythia - 410m多样单细胞和多细胞任务模型。该模型通过Cell2Sentence（C2S）方法在来自CellxGene和人类细胞图谱的大量单细胞RNA测序（scRNA - seq）数据集上进行微调。Cell2Sentence是一种前沿方法，它将scRNA - seq数据转换为“细胞句子”，即基于表达水平排序的基因名称序列，使大语言模型（LLMs）能够应用于单细胞生物学领域。此模型经过训练，可执行广泛的单细胞和多细胞任务，是进行各种单细胞和多细胞分析的多功能工具。

✨ 主要特性

• 基于Pythia - 410m架构，经Cell2Sentence方法微调，适用于单细胞生物学分析。
• 能够执行多种单细胞、多细胞以及基因集相关任务，功能丰富。

📦 安装指南

文档未提及安装步骤，此部分跳过。

💻 使用示例

文档未提供代码示例，此部分跳过。

📚 详细文档

模型概述

这是C2S - Pythia - 410m多样单细胞和多细胞任务模型，基于EleutherAI开发的Pythia - 410m架构，使用Cell2Sentence（C2S）在来自CellxGene和人类细胞图谱的大量单细胞RNA测序（scRNA - seq）数据集上进行微调。Cell2Sentence是一种前沿方法，它将scRNA - seq数据转换为“细胞句子”，即基于表达水平排序的基因名称序列，使大语言模型（LLMs）能够应用于单细胞生物学领域。该模型经过训练，可执行广泛的单细胞和多细胞任务，是进行各种单细胞和多细胞分析的多功能工具。

训练数据

• 该模型在从CellxGene和人类细胞图谱的800多个单细胞RNA测序数据集中收集的超过5700万个人类和小鼠细胞上进行训练。此数据集涵盖了人类和小鼠多种组织的广泛细胞类型和条件。
• 该模型在训练时，每个细胞句子的基因数量可变，最大上下文长度为8192个标记。在C2S训练之前，使用旋转位置嵌入扩展了默认Pythia模型的上下文长度。
  • 细胞：对于多细胞样本，每个训练样本包含5到20个细胞，同一样本中的每个细胞具有相同数量的基因。
  • 基因：对于单细胞样本，每个细胞句子包含100到2048个基因。对于多细胞样本，每个细胞的细胞句子包含100到400个基因。

任务类型

单细胞任务

• 无条件单细胞生成：无条件生成单细胞句子。
• 细胞类型预测：预测给定单细胞的细胞类型。
• 细胞类型条件生成：基于特定细胞类型生成单细胞句子。

多细胞任务

• 无条件多细胞生成：无条件生成多个细胞句子。
• 组织预测：预测一组细胞的组织来源。
• 细胞类型预测：预测一组多个细胞中每个细胞的细胞类型。
• 组织条件多细胞生成：基于特定组织生成多个细胞句子。
• 细胞类型条件多细胞生成：基于每个单个细胞的细胞类型生成多个细胞句子。
• 多细胞到摘要：根据提供的多细胞句子生成研究论文摘要。
• 摘要到多细胞：根据给定的研究论文摘要生成多个细胞句子。

基因集任务

• 基因集名称到基因：根据给定的基因集名称生成按字母顺序排列的基因列表。
• 基因到基因集名称：根据按字母顺序排列的基因列表生成基因集的名称。

相关链接

Cell2Sentence链接

• GitHub：https://github.com/vandijklab/cell2sentence
• 论文：https://www.biorxiv.org/content/10.1101/2023.09.11.557287v3

Pythia链接

• 论文：https://arxiv.org/pdf/2304.01373
• Hugging Face：https://huggingface.co/EleutherAI/pythia-410m

🔧 技术细节

文档未提供足够的技术实现细节（少于50字的具体技术说明），此部分跳过。

📄 许可证

本模型使用CC - BY - NC - ND - 4.0许可证。

📋 信息表格