Marin 8B是一个开源的8B参数规模的大型语言模型，基于Llama架构开发，支持英语文本生成任务。

OLMo 2 1B是艾伦人工智能研究所推出的开放语言模型系列中最小的模型，基于OLMo-mix-1124预训练，并在中期训练阶段使用Dolmino-mix-1124数据集。

Falcon-E-1B-Instruct 是一个基于1.58比特架构的高效语言模型，专为边缘设备优化，具有低内存占用和高性能的特点。

Falcon-E是由TII开发的1.58比特量化语言模型，采用纯Transformer架构，专为高效推理设计

OLMo 2 32B是艾伦人工智能研究院(AI2)推出的开放语言模型系列中规模最大的32B参数模型，基于Apache 2.0许可开源，支持英语语言处理。

Ataraxy系列中最全面的全能选手，主要提升创意写作能力，同时在通用场景下表现优异

基于Llama 2 7B微调的ReLU激活稀疏大语言模型，通过动态参数选择提升计算效率

OpenAI发布的基于Transformer的语言模型，通过大规模语料库预训练而成，具有强大的文本生成能力

BTLM-3B-8k-base是一个具有8k上下文长度的30亿参数语言模型，基于6270亿token的SlimPajama数据集训练而成，性能可媲美开源70亿参数模型。

基于1M tokens小规模数据预训练的RoBERTa模型，采用MED-SMALL架构，适用于文本理解任务。

基于DistilBERT的轻量级文本分类模型，在GLUE的CoLA任务上微调，用于判断句子语法正确性

基于英语语料预训练的Transformer模型，采用ELECTRA类似的目标函数，通过自监督方式学习英语语言的内在表示。

GPT-Neo 2.7B是EleutherAI基于GPT-3架构复现的27亿参数Transformer语言模型，在Pile数据集上训练完成

Transformer-XL是一种采用相对位置编码的因果Transformer架构，能够通过复用先前计算的隐藏状态来捕捉更长上下文，适用于文本生成任务。