base_model: codellama/CodeLlama-70b-Python-hf inference: false language:

• 代码 license: llama2 model_creator: Code Llama model_name: CodeLlama 70B Python model_type: llama pipeline_tag: 文本生成 prompt_template: '{prompt}

  ' quantized_by: TheBloke tags:

• llama-2

CodeLlama 70B Python - GPTQ

• 模型创作者: Code Llama
• 原始模型: CodeLlama 70B Python

模型描述

本仓库包含Code Llama的CodeLlama 70B Python的GPTQ模型文件。

提供了多种GPTQ参数组合；详情请参阅下方“提供的文件”部分，了解提供的选项、参数及用于创建它们的软件。

这些文件使用了由Massed Compute慷慨提供的硬件进行量化。

可用仓库

• 用于GPU推理的AWQ模型
• 用于GPU推理的GPTQ模型，提供多种量化参数选项
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• Code Llama的原始未量化fp16模型，PyTorch格式，用于GPU推理及进一步转换

提示模板：无

{prompt}