部署大型语言模型（LLM）在消费级硬件上是一个巨大的挑战，因为模型大小和计算效率之间存在固有的权衡。量化等压缩方法提供了部分解决方案，但通常会牺牲模……