更新（4月1日）：新增Cuda模型的ggml支持

数据集地址（指令微调版）：https://github.com/teknium1/GPTeacher

注意...目前存在两个不同版本模型。一个由Triton分支生成，另一个由Cuda生成。除非Triton分支被广泛采用，否则请优先使用Cuda版本。

Cuda版本信息（推荐使用）： 运行命令：

CUDA_VISIBLE_DEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca --wbits 4 --true-sequential --groupsize 128 --save gpt-x-alpaca-13b-native-4bit-128g-cuda.pt

历史信息

量化基于GPTQ-for-LLaMa的5955e9c67d9bfe8a8144ffbe853c2769f1e87cdd提交版本

原始模型：https://huggingface.co/chavinlo/gpt4-x-alpaca的GPTQ 4bit量化版

重要说明：本量化使用GPTQ-for-LLaMA的特定分支完成：https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/triton

因此当前版本可能与Oobabooga不兼容。敬请关注后续更新？

历史运行命令：

CUDA_VISIBLE_DEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca --wbits 4 --true-sequential --act-order --groupsize 128 --save gpt-x-alpaca-13b-native-4bit-128g.pt