本地跑LLM必看!GGUF、AWQ、GPTQ、EXL2/EXL3适用场景、优缺点一览很多新手在本地部署大模型时,很容易混淆模型容器和量化方法这两个概念,这也是看懂GGUF、GPTQ、AWQ、EXL2等名词的关键。容器定义张量在磁盘上如何存储;量化方法定义权重如何压缩至更少比特。 容器...AI合集# GGUF# 大模型# 本地1个月前1390