如何把pytorch训练好的数据打包成gguf文件,并且压缩大小?
1. 首先要把训练好的文件通常是bin放到一个本地文件里,就叫它model文件夹
2. 其次,我们要下载和安装llama.cpp,依次执行:
git clone
github.com cd llama.cpp && make
3. 然后,在用llama.cpp的程序将训练好的文件转化成guff:
首先,转化成f16的gguf:
python ./convert.py ~/Downloads/model --outfile ~/Downloads/newmodel.gguf --outtype f16 --vocab-type bpe
理论上是可以用了,但是因为体积太大的了有16G,你的电脑可能带不动。所以你可以然后量化成q4的gguf,减小1/4的体积
./quantize ~/Downloads/newmodel.gguf ~/Downloads/newmodel.q4_k.gguf q4_k