license: apache-2.0
language:

• en

条纹鬣狗-Nous-7B (SH-N 7B)

关于

Together Research的重点研究领域之一是针对Transformer架构的长上下文新架构、改进的训练和推理性能。源于我们团队与学术合作者的研究项目，并植根于受信号处理启发的序列模型，我们很高兴推出条纹鬣狗(StripedHyena)模型。条纹鬣狗是首个在短长上下文评估中与同类最佳开源Transformer模型相媲美的替代模型。

条纹鬣狗-Nous-7B (SH-N 7B)是我们此次发布的聊天模型，是与Nous Research合作开发的。

• 更多内容请阅读我们的博客。
• 在我们的游乐场试用模型！
• 深入了解我们的独立实现及相关研究：1、2、3。

模型架构

条纹鬣狗是一种混合架构，由多头分组查询注意力(gated grouped-query attention)和门控卷积(gated convolutions)组成，排列在Hyena块中，不同于传统的仅解码器Transformer。

• 通过将卷积表示为状态空间模型（模态或规范形式）或截断滤波器，在Hyena块中实现恒定内存解码。
• 比Transformer具有更低延迟、更快解码和更高吞吐量。
• 与Llama-2等优化Transformer架构相比，改进了训练和推理最优缩放规律。
• 支持长达32k的序列训练，能处理更长的提示。

提示格式

条纹鬣狗-Nous 7B使用以下提示格式：

### 指令:\n{提示}\n\n### 响应:\n{响应}  

免责声明

若要在游乐场之外使用条纹鬣狗，需安装自定义内核。请遵循独立代码库的说明。

条纹鬣狗是混合精度模型。请确保将极点(poles)和残差(residues)保持在float32精度，尤其是处理较长提示或训练时。

引用

如果您发现预训练模型或架构对研究或应用有帮助，请考虑引用：

@software{stripedhyena,  
  title        = {{条纹鬣狗：超越Transformer的混合信号处理模型}},  
  author       = { Poli, Michael and Wang, Jue and Massaroli, Stefano and Quesnelle, Jeffrey and Carlow, Ryan and Nguyen, Eric and Thomas, Armin},  
  month        = 12,  
  year         = 2023,  
  url          = { https://github.com/togethercomputer/stripedhyena },  
  doi          = { 10.57967/hf/1595 },  
}