KDPhys: An Attention Guided 3D to 2D Knowledge Distillation for Real-time Video-Based Physiological Measurement

阅读笔记

以下为个人阅读笔记，原文见 arXiv:2601.00714v1。

论文精读：KDPhys - 基于注意力引导的 3D 到 2D 知识蒸馏实时视频生理测量

1. 研究背景与动机

随着远程医疗（Telehealth）和远程健康监测需求的激增，尤其是 SARS-CoV-2 大流行期间，基于摄像头的非接触式生理监测技术受到了广泛关注。远程光电容积脉搏波描记法（rPPG）通过捕捉皮肤光学性质的细微变化来反映搏动性血容量变化，从而提取心率等生理信号。

尽管现有的深度学习方法（如 DeepPhys, EfficientPhys 等）在 rPPG 信号提取上表现出色，但仍面临效率与精度的权衡问题：

• 2D CNN 模型：计算效率高，适合实时应用，但难以有效捕捉跨帧的全局时间信息。
• 3D CNN 模型：能够利用视频序列的全局时空信息，精度较高，但计算复杂度高，推理时间长，难以在边缘设备上部署。

本文提出了一种名为 KDPhys 的框架，旨在解决上述矛盾。核心思想是利用知识蒸馏（Knowledge Distillation, KD）技术，将 3D CNN 教师模型学习到的全局时空特征迁移到轻量级的 2D CNN 学生模型中。据作者所知，这是知识蒸馏技术在 rPPG 领域的首次应用。

2. 核心方法：KDPhys 框架

KDPhys 的整体训练与推理流程如下图所示。该框架通过知识蒸馏机制，使得轻量级的学生模型能够继承教师模型的强大特征提取能力，同时保持低计算成本。

图注：KDPhys 方法的整体框架。左图 (a) 为包含知识蒸馏的训练模式，右图 (b) 为推理过程。输入为连续帧的帧差。注意力特征蒸馏（AFD）损失促进教师模型向学生模型的特征知识转移，而 DILATE 损失引导学生模型对齐真实 PPG 信号。摘自 PDF 第 3 页，对应论文 Figure 1。

框架的主要组件包括：

1. 输入处理：输入为连续帧的帧差（frame difference），这有助于捕捉运动信息。
2. 教师模型（Teacher）：基于 3D CNN，负责提取全局时空表示。
3. 学生模型（Student）：基于 2D CNN，结构更轻量，旨在实时推理。
4. 损失函数：结合了特征蒸馏损失（AFD Loss）和信号回归损失（DILATE Loss），共同构成总损失（Total Loss）。

3. 网络架构与知识蒸馏策略

为了实现 3D 教师模型与 2D 学生模型之间的兼容性，作者对架构进行了特定修改。3D 时空特征表示被投影到学生网络的 2D 平面上，以对齐内部表示。

图注：KDPhys 网络架构细节及修改。展示了 3D 教师模型与 2D 学生模型之间的特征对齐与蒸馏过程。摘自 PDF 第 3 页，对应论文 Figure 2。

关键架构设计：

• 特征对齐：将 3D 特征投影到 2D 平面，确保学生模型能理解教师模型的特征空间。
• 回归头设计：学生模型未使用全连接层回归 2D 特征到 1D PPG 信号，而是采用了 ConvTranspose 层 结合 TSM（Temporal Shift Module） 和 自适应平均池化 2D（AAP） 模块。AAP 模块通过平均特征图值来降低计算复杂度，同时保留回归任务所需的关键信息。
• 注意力机制：在教师和学生模型的每一层后都集成了注意力掩码（Attention Masks），以提取显著的空间特征。

注意力特征蒸馏（AFD）： 传统的蒸馏方法通常对教师模型的所有特征赋予同等权重。KDPhys 采用了注意力特征蒸馏（AFD）技术，计算通道权重，优先蒸馏重要特征。实验表明，相比基础 KD 方法，AFD 使 MAE 降低了 13%，RMSE 降低了 20%。

4. 损失函数设计：DILATE

在预测 PPG 信号时，检测时间变化与准确预测信号形状同样重要。针对非平稳生理信号（如 PPG, ECG），作者引入了 DILATE 损失函数（DIstortion Loss including shApe and TimE）。

• 功能：DILATE 损失函数同时惩罚形状误差和时间定位误差。
• 优势：相比常用的均方误差（MSE）或 Pearson 损失函数，DILATE 能更好地处理 PPG 信号的波形形态和时序对齐问题。
• 效果：使用 DILATE 损失相比 MSE 损失，MAE 降低了 46%。

5. 实验结果与分析

作者在三个基准数据集上进行了广泛的定性和定量评估。实验结果展示了 KDPhys 在精度、效率和鲁棒性方面的优势。以下图片展示了部分实验结果与对比分析（摘自 PDF 第 8 页）。

图注：实验结果可视化图之一。摘自 PDF 第 8 页。

图注：实验结果可视化图之二。摘自 PDF 第 8 页。

图注：实验结果可视化图之三。摘自 PDF 第 8 页。

图注：实验结果可视化图之四。摘自 PDF 第 8 页。

主要性能指标：

• 参数量：仅 0.23M 参数，约为现有方法的一半。
• 推理速度：比现有方法快 56.67%。
• 精度：在所有数据集上的平均 MAE 为 1.78 bpm，相比最先进方法降低了 18.15%。
• 鲁棒性：在不同环境条件和活动场景下的额外实验证明了模型的适应性和鲁棒性。

6. 总结与展望

本文提出的 KDPhys 框架成功地将 3D CNN 的全局时空感知能力迁移到了轻量级的 2D CNN 模型中，实现了实时视频生理测量的精度与效率的平衡。

主要贡献总结：

1. 首创性：首次将知识蒸馏技术应用于 rPPG 领域，实现了 3D 到 2D 的全局时间关系蒸馏。
2. 注意力蒸馏：引入注意力特征蒸馏（AFD），显著提升了特征迁移的有效性。
3. 专用损失函数：提出 DILATE 损失函数，有效解决了 PPG 信号形状与时序的联合优化问题。

该研究为边缘设备上的实时非接触式健康监测提供了强有力的技术支撑，未来可进一步探索在更多生理参数（如血氧、呼吸率）及复杂动态场景中的应用。