DeepSeek R1 0528的AWQ量化模型，支持使用vLLM在8块80GB GPU上以全上下文长度运行。

Llama 3.3 70B Instruct AWQ INT4 是 Meta Llama 3.3 70B Instruct 模型的 4 位量化版本，适用于多语言对话用例，优化了文本生成任务。

Dolphin 2.9 Llama3 70B 的 AWQ 量化版本，适用于 vllm 和其他推理引擎。

BioMistral是基于Mistral架构、使用PubMed Central开放获取文本数据继续预训练的医学领域开源模型套件。