🚀 Phi-3 4k Instruct 4位量化版本

这是 Phi-3 4k Instruct 的 4 位量化版本。此版本通过量化技术，在一定程度上减少了模型的内存占用，提高了推理效率。

🚀 快速开始

以下是进行量化操作的代码示例：

bnb_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_use_double_quant = True,
    bnb_4bit_quant_type = 'nf4',
    bnb_4bit_compute_dtype = torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    foundation_model_name,
    device_map = 'auto',
    quantization_config = bnb_config,
    trust_remote_code = True
)

💻 使用示例

基础用法

# 以下代码展示了如何使用量化配置加载模型
bnb_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_use_double_quant = True,
    bnb_4bit_quant_type = 'nf4',
    bnb_4bit_compute_dtype = torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    foundation_model_name,
    device_map = 'auto',
    quantization_config = bnb_config,
    trust_remote_code = True
)

[高级用法]

由于文档未提供高级用法的相关代码，暂不展示。