声明:本站文章均为作者个人原创,图片均为实际截图。如有需要请收藏网站,禁止转载,谢谢配合!!!

SafeTensors:
为了安全,不包含任何执行代码,由hugging face设计,不可以量化,适用微调,开发

GGUF
打包后的单文件,可以在有限资源设备上使用,可以量化,适用本地小设备推理

可以使用格式转换(正向:PyTorch/SafeTensors → GGUF):

python convert_hf_to_gguf.py ./model_dir —outfile model.gguf