Nvidia Llama 3 1 Nemotron Ultra 253B V1 GGUF

由 bartowski 开发

这是NVIDIA Llama-3_1-Nemotron-Ultra-253B-v1模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于不同硬件环境。

大型语言模型

英语

开源协议:其他 #超大规模参数 #多轮对话优化 #高精度量化

下载量 1,607

发布时间 : 4/8/2025

模型介绍

内容详情

替代品

模型简介

基于NVIDIA Llama-3_1-Nemotron-Ultra-253B-v1模型的量化版本，通过llama.cpp工具进行优化，提供多种量化选项以适应不同计算资源需求。

模型特点

多种量化选项

提供从Q8_0到IQ2_M等多种量化类型，满足不同性能和存储需求。

高性能推理

优化后的模型在保持高质量输出的同时，显著降低计算资源需求。

广泛兼容性

支持在LM Studio、llama.cpp及基于llama.cpp的项目中运行。

模型能力

文本生成

自然语言处理

对话系统

使用案例

文本生成

对话系统

用于构建智能对话助手，提供自然流畅的交互体验。

内容创作

辅助生成文章、故事、诗歌等创意内容。

研究与开发

模型优化研究

用于研究大型语言模型的量化技术和性能优化。

文件名	量化类型	文件大小	分割	描述
Llama-3_1-Nemotron-Ultra-253B-v1-Q8_0.gguf	Q8_0	269.25GB	是	极高品质，通常不需要但为最高可用量化。
Llama-3_1-Nemotron-Ultra-253B-v1-Q6_K.gguf	Q6_K	207.88GB	是	极高品质，近乎完美，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q5_K_M.gguf	Q5_K_M	178.55GB	是	高品质，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q5_K_S.gguf	Q5_K_S	174.51GB	是	高品质，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q4_1.gguf	Q4_1	158.80GB	是	传统格式，性能类似Q4_K_S，但在Apple芯片上每瓦特令牌数更优。
Llama-3_1-Nemotron-Ultra-253B-v1-Q4_K_L.gguf	Q4_K_L	152.50GB	是	嵌入和输出权重使用Q8_0。良好品质，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q4_K_M.gguf	Q4_K_M	150.94GB	是	良好品质，大多数用例的默认大小，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q4_K_S.gguf	Q4_K_S	144.38GB	是	品质稍低但节省更多空间，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q4_0.gguf	Q4_0	143.74GB	是	传统格式，支持ARM和AVX CPU推理的在线重打包。
Llama-3_1-Nemotron-Ultra-253B-v1-IQ4_NL.gguf	IQ4_NL	143.23GB	是	类似IQ4_XS，但稍大。支持ARM CPU推理的在线重打包。
Llama-3_1-Nemotron-Ultra-253B-v1-IQ4_XS.gguf	IQ4_XS	135.41GB	是	尚可品质，比Q4_K_S更小但性能相似，推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-Q3_K_XL.gguf	Q3_K_XL	134.54GB	是	嵌入和输出权重使用Q8_0。品质较低但可用，适合低RAM环境。
Llama-3_1-Nemotron-Ultra-253B-v1-Q3_K_L.gguf	Q3_K_L	132.70GB	是	品质较低但可用，适合低RAM环境。
Llama-3_1-Nemotron-Ultra-253B-v1-Q3_K_M.gguf	Q3_K_M	121.88GB	是	低品质。
Llama-3_1-Nemotron-Ultra-253B-v1-IQ3_M.gguf	IQ3_M	113.50GB	是	中低品质，新方法，性能与Q3_K_M相当。
Llama-3_1-Nemotron-Ultra-253B-v1-Q3_K_S.gguf	Q3_K_S	109.72GB	是	低品质，不推荐。
Llama-3_1-Nemotron-Ultra-253B-v1-IQ3_XS.gguf	IQ3_XS	103.32GB	是	较低品质，新方法，性能略优于Q3_K_S。
Llama-3_1-Nemotron-Ultra-253B-v1-IQ3_XXS.gguf	IQ3_XXS	97.62GB	是	较低品质，新方法，性能与Q3量化相当。
Llama-3_1-Nemotron-Ultra-253B-v1-Q2_K_L.gguf	Q2_K_L	95.45GB	是	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Llama-3_1-Nemotron-Ultra-253B-v1-Q2_K.gguf	Q2_K	93.40GB	是	极低品质但意外可用。
Llama-3_1-Nemotron-Ultra-253B-v1-IQ2_M.gguf	IQ2_M	85.44GB	是	相对低品质，使用SOTA技术意外可用。
[Llama-3_1-Nemotron-Ultra-253B-v1-IQ2_S.gguf](https://huggingface.co/bartowski/nvidia_Llama-3_1-Nemotron-Ultra-253B-v1-GGUF/tree/main