license: mit

SciPhi-Mistral-7B-32k 模型卡片

SciPhi-Mistral-7B-32k 是基于 Mistral-7B-v0.1 微调的大型语言模型（LLM）。该模型经过超过 10 亿个标记（包括常规指令调优数据和合成教科书）的四个训练周期微调，旨在提升模型的科学推理与教育能力。为获得最佳效果，建议遵循 Alpaca 提示指南。

SciPhi-AI 提供免费托管 API 服务（实际部署模型可能变动），当前可用版本为 SciPhi-Self-RAG-Mistral-7B-32k。详见文档说明。

模型架构

基础模型：Mistral-7B-v0.1

架构特性：

• 基于Transformer架构
• 分组查询注意力机制
• 滑动窗口注意力机制
• 支持字节回退的BPE分词器

推荐对话格式

建议按如下格式转换：

messages = [
    {
        "role": "system",
        "content": "你是一个总是用海盗风格回应的友好聊天机器人",
    },
    {"role": "user", "content": "人类一顿饭能吃多少架直升机？"},
]

转换为 --->

### 系统：
你是一个总是用海盗风格回应的友好聊天机器人

### 指令：
人类一顿饭能吃多少架直升机？

### 响应：
...

参考文献

1. Lian, W., Goodson, B., Wang, G., Pentland, E., Cook, A., Vong, C., & Teknium. (2023). MistralOrca：基于过滤版OpenOrcaV1 GPT-4数据集指令调优的Mistral-7B模型. HuggingFace仓库. 链接
2. Mukherjee, S., Mitra, A., Jawahar, G., Agarwal, S., Palangi, H., & Awadallah, A. (2023). Orca：基于GPT-4复杂解释轨迹的渐进式学习. arXiv预印本 arXiv:2306.02707.
3. Longpre, S., Hou, L., Vu, T., Webson, A., Chung, H. W., Tay, Y., Zhou, D., Le, Q. V., Zoph, B., Wei, J., & Roberts, A. (2023). Flan数据集：高效指令调优的数据与方法设计. arXiv预印本 arXiv:2301.13688.
4. Mistral AI. (2023). Mistral-7B-v0.1模型卡片. Mistral-7B-v0.1 是由70亿参数组成的预训练生成文本模型，在所有基准测试中均超越Llama 2 13B。完整细节请参阅论文和发布博客。架构特性：采用分组查询注意力、滑动窗口注意力和字节回退BPE分词器的Transformer模型. 链接

致谢

感谢AI Alignment Lab、vikp、jph00等研究者的贡献。