shoehorn

shoehorn 是一款开源工具，解决本地运行大语言模型时的核心痛点：如何在不浪费显存也不导致 OOM（显存溢出）的前提下，最大化模型质量？ 传统的预设量化（如 Q4_K_M）往往忽略硬件差异，导致要么留下数百 MB 的未利用空间，要么因估算不准而无法加载。shoehorn 通过求解一个复杂的每张量混合精度分配方案，将模型的每一兆字节都用在刀刃上，实现 99.9% 以上的显存利用率。