LC-QAT: Data-Efficient 2-Bit QAT for LLMs via Linear-Constrained Vector Quantization

阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.10531v1。

论文基本信息

论文标题：LC-QAT: Data-Efficient 2-Bit QAT for LLMs via Linear-Constrained Vector Quantization
论文 ID：2606.10531v1
作者：Haoyu Wang, Xingyu Yu, Haiyan Zhao, Fengxiang Wang, Xu Han
发表会议：ICML 2026 (Proceedings of the 43rd International Conference on Machine Learning)
核心领域：大语言模型（LLM）、模型量化、量化感知训练（QAT）

研究背景与挑战

论文指出，大语言模型（LLMs）在资源受限设备上的部署面临巨大的内存和计算挑战，模型量化成为关键技术。特别是在极低比特（1-2 比特）场景下，量化感知训练（QAT）通常优于训练后量化（PTQ），因为它能自适应地调整参数以补偿量化误差。

然而，现有的 QAT 方法主要基于标量量化（Scalar Quantization, SQ）。作者认为，SQ 虽然优化效率高，但在 2 比特精度下会遭受严重的信息丢失，导致性能下降，且需要大量训练数据来恢复精度。

另一方面，向量量化（Vector Quantization, VQ）具有更高的表示能力，能保留更多信息。但将 VQ 融入端到端 QAT 面临核心困难：传统的 VQ 涉及耗时的最近邻搜索和离散码本查找，这使得量化过程不可微，阻碍了基于梯度的端到端优化。现有的尝试依赖昂贵的坐标下降或束搜索，导致参数更新效率低下且不同步。

核心方法：LC-QAT

为了解决上述问题，作者提出了一种名为 LC-QAT 的框架。这是一种针对 2 比特权重量化（weight-only）的端到端向量量化感知训练框架。

线性约束码本参数化

LC-QAT 的核心创新在于用线性约束参数化替代了无约束码本。论文提出，每个权重矩阵中的码字（codeword）可以通过对离散四元向量应用共享的线性映射来生成。

具体而言，码字 $c$ 由以下公式生成： $c = Az + B$ 其中 $z \in \{0, 1, 2, 3\}^d$ 是离散四元向量， $A \in \mathbb{R}^{d \times d}$ 和 $B \in \mathbb{R}^d$ 是浮点参数。这种形式定义了一个结构化码本，所有码字都位于由 $A$ 和 $B$ 确定的仿射子空间中。

可微分训练流程

通过这种参数化，LC-QAT 将离散的索引选择转化为简单的舍入和钳位操作，随后进行线性投影。这使得梯度能够无需显式索引搜索即可通过量化过程传播。

在论文提供的 图 1 中，作者对比了两种训练流程：

传统无约束码本训练：涉及耗时的最近邻搜索（Nearest Neighbor Search）和码本查找（Codebook Lookup），该过程不可微（Non-differentiable）。
LC-QAT 线性约束训练：使用四元向量（Quaternary Vector），通过直接舍入（Direct Rounding）和线性投影（Linear Projection）生成权重。该过程是可微的（Differentiable），且在前向传播中无需显式码本查找。

这种设计使得向量量化的权重能够在标准反向传播下进行训练，解决了 VQ-QAT 难以端到端优化的根本限制。

初始化策略与优化分析

LC-QAT 的成功很大程度上依赖于高质量的初始化。作者提出了一种基于线性约束码本的初始化方法，并结合了 LDLQ 算法和 Hadamard 变换来消除异常值。

参数初始化

参数 $A$ 和 $B$ 的初始化公式如下： $A = sG, \quad B = -sG\mu\mathbf{1}$ 其中 $G$ 是随机正交矩阵， $\mu$ 是中心化常数， $s$ 是缩放因子。这种初始化确保了码本具有近似零均值、单位方差和弱维度间相关性。

损失景观分析

为了验证初始化的质量，作者分析了损失景观（Loss Landscape）。在 图 2 中，论文展示了 Qwen-3-1.7B 模型在 WikiText-2 上的交叉熵损失景观：

图 2a 显示，LC-QAT 的初始化点非常接近 FP16 基线，表明性能退化显著较低。相比之下，基于 SQ 的初始化点与全局最小值偏差较大。
图 2b 显示，LC-QAT 的初始化位于低损失盆地（low-loss basin），并表现出与全精度模型相似的鞍点结构。
图 2c 显示，基于 SQ 的初始化偏离了最优区域，且附近缺乏局部最小值。

作者认为，这是因为向量量化在训练后压缩过程中保留了更多信息。因此，LC-QAT 从参数空间中更有利的区域开始优化，降低了后续微调的优化难度，并提高了数据效率。

实验结果与结论

论文在多个大规模 LLM 和基准测试上进行了实验，主要结论如下：

数据效率：LC-QAT 具有极高的数据效率。实验表明，该方法仅使用 0.1% 至 10% 的训练数据，就能匹配或超越最先进的 SQ 和 VQ 基于的 QAT 方法。
性能表现：LC-QAT 在最终准确率上优于先前的 VQ-QAT 方法，并且在数据效率上显著优于 SQ-QAT 方法。随着训练预算的增加，这种优势在不同基准测试中保持一致。
可扩展性：该方法被确立为极低比特模型部署的实用且可扩展的解决方案。

总结

LC-QAT 通过引入线性约束参数化，成功解决了向量量化在 QAT 中不可微的问题。该方法不仅提供了高质量的 PTQ 初始化，还实现了无需显式码本查找的端到端优化。实验结果证实，LC-QAT 在 2 比特精度下能够以极少的数据实现高性能，为 LLM 的极端低比特部署提供了新的思路。