license: other license_link: LICENSE pipeline_tag: text-generation library_name: transformers

Instella✨：性能卓越的完全开源语言模型

AMD很高兴推出Instella系列模型——这是一组完全开源的先进30亿参数语言模型（LM），基于AMD Instinct™ MI300X GPU从头训练而成。Instella模型在性能上超越了现有同规模的全开源模型，并与当前顶尖的开源权重模型（如Llama-3.2-3B、Gemma-2-2B和Qwen-2.5-3B）及其指令调优版本表现相当。

图1：预训练模型与指令调优模型在预训练token数量与平均性能间的帕累托前沿。

通过在Instinct MI300X GPU上从头训练Instella，我们展示了AMD硬件在处理高要求大规模AI训练工作负载时的卓越能力和可扩展性，为AI硬件领域提供了可靠选择。秉承AMD对开源的一贯承诺，我们完整公开了Instella模型的所有相关资源见附加资源，包括模型权重、详细训练配置、数据集和代码，以促进AI社区的协作、复现与创新，共同推动技术进步。

核心亮点

• 推出Instella：由AMD开发的30亿参数语言模型系列，基于128块Instinct MI300X GPU从头训练。
• 显著超越现有全开源模型（图1）：在相近规模下性能优势明显，同时通过与顶尖开源权重模型及其指令调优版本的性能对标，弥合了全开源与开源权重模型间的差距。
• 完全开放可获取：完整开源模型权重、训练超参数、数据集和代码，推动AI社区创新协作。
• 基于AMD ROCm软件栈支持，采用FlashAttention-2、Torch Compile和混合分片的完全分片数据并行（FSDP）等高效训练技术，实现大规模集群上的模型训练扩展。

Instella模型系列

本次发布包含以下Instella模型：

Instella模型为纯文本自回归Transformer架构，参数量30亿。模型结构包含36层解码器，每层配备32个注意力头，支持最大4,096 token的上下文长度，使用OLMo分词器构建约5万token的词表。在预训练和微调阶段，我们采用FlashAttention-2、Torch Compile和bfloat16混合精度训练降低显存占用，实现计算加速与资源优化。为平衡集群内节点间内存效率与节点内通信开销，我们使用混合分片的完全分片数据并行（FSDP），将模型参数、梯度和优化器状态在节点内分片，跨节点复制。

训练流程基于开源OLMo代码库适配优化，预训练阶段使用16个节点（每节点8块）共128块Instinct MI300X GPU。模型评估采用OLMES、FastChat MT-Bench和Alpaca标准任务集。更多架构细节、训练流程/超参数及评估结果请参阅我们的博客、Hugging Face模型卡和GitHub仓库。

训练流程

Instella模型的训练包含四个阶段，逐步从基础自然语言理解能力提升至指令跟随及人类偏好对齐：

模型摘要

超参数配置

快速开始

安装指南

首先根据操作系统安装PyTorch。AMD GPU用户可使用rocm/pytorch Docker镜像。

源码安装推荐（适用于训练/微调）：

git clone https://github.com/AMD-AIG-AIMA/Instella.git
cd Instella
# MI300X安装Flash-Attention
GPU_ARCH=gfx942 MAX_JOBS=$(nproc) pip install git+https://github.com/Dao-AILab/flash-attention.git -v
# 安装其他依赖
pip install -e .[all]

使用示例

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "amd/Instella-3B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", trust_remote_code=True)

prompt = [{"role": "user", "content": "开源AI研究有哪些优势？"}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)

tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.8,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

TRL终端对话

可通过TRL命令行与模型交互：

pip install trl
trl chat --model_name_or_path amd/Instella-3B-Instruct --trust_remote_code --max_new_tokens 1024

# <root>:
# 9.8和9.11哪个更大？

# <amd/Instella-3B-Instruct>:
# 9.8比9.11大0.69个单位（9.8 - 9.11 = 0.69），这表明9.8比9.11大0.69。  

性能表现

预训练阶段

模型	参数量	训练Token数	平均分	ARC挑战赛	ARC基础	BoolQ	Hellaswag	PiQA	SciQ	Winnograde	OpenBookQA	MMLU	BBH（3样本）	GSM8k（8样本）
开源权重模型
Gemma-2-2B	2.61B	~2T	59.34	39.46	59.30	74.50	70.50	76.40	96.60	69.80	44.80	53.28	40.75	27.37
Llama-3.2-3B	3.21B	~9T	62.51	47.16	64.91	74.80	73.10	75.90	95.30	70.30	51.20	57.81	47.00	30.10
Qwen2.5-3B	3.09B	~18T	68.30	51.51	67.19	79.10	72.10	77.40	95.50	69.30	51.40	67.22	56.69	63.84
全开源模型
Pythia-2.8b	2.91B	300B	49.83	40.47	60.70	64.80 Phi 2 GGUF 其他 Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。 大型语言模型 支持多种语言 P TheBloke 41.5M 205 Roberta Large MIT 基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法 大型语言模型 英语 R FacebookAI 19.4M 212 Distilbert Base Uncased Apache-2.0 DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。 大型语言模型 英语 D distilbert 11.1M 669 Llama 3.1 8B Instruct GGUF Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。 大型语言模型 英语 L modularai 9.7M 4 Xlm Roberta Base MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 9.6M 664 Roberta Base MIT 基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调 大型语言模型 英语 R FacebookAI 9.3M 488 Opt 125m 其他 OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。 大型语言模型 英语 O facebook 6.3M 198 Llama 3.1 8B Instruct Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。 大型语言模型 Transformers 支持多种语言 L meta-llama 5.7M 3,898 T5 Base Apache-2.0 T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。 大型语言模型 支持多种语言 T google-t5 5.4M 702 Xlm Roberta Large MIT XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。 大型语言模型 支持多种语言 X FacebookAI 5.3M 431 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策