all-MiniLM-L6-v2是一个小型高效的句子嵌入模型，基于MiniLM架构，适用于句子相似度计算和特征提取任务。

Falcon-E-3B-Instruct 是一个基于1.58比特架构的高效语言模型，专为边缘设备优化，具有出色的推理能力和低内存占用。

Falcon-E-1B-Instruct 是一个基于1.58比特架构的高效语言模型，专为边缘设备优化，具有低内存占用和高性能的特点。

基于Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型，采用精度自适应量化技术，在保持极致内存效率的同时提升推理精度。

PrunaAI提供的压缩版MPT-7B-Chat模型，通过llm-int8技术优化，显著降低内存占用和能耗。

NLLB-200 Distilled 1.3B是Meta开发的神经机器翻译模型，支持200种语言之间的翻译，使用CTranslate2进行高效推理。

BTLM-3B-8k-base是一个具有8k上下文长度的30亿参数语言模型，基于6270亿token的SlimPajama数据集训练而成，性能可媲美开源70亿参数模型。