华为开源 SINQ:新型量化技术让大模型在消费级显卡上高效运行随着大语言模型(LLM)参数规模持续增长,部署成本已成为制约其广泛应用的主要瓶颈之一。 华为苏黎世计算系统实验室近日推出一项名为 SINQ(Sinkhorn-Normalized Quantizati...新技术# SINQ# 华为# 量化技术2个月前0770