阅读笔记

以下为个人阅读笔记，原文见 arXiv:2604.01675v1。

HOT: 基于谐波约束最优传输的远程光电容积脉搏波域适应

1. 研究背景与动机

远程光电容积脉搏波（Remote Photoplethysmography, rPPG）技术能够从面部视频中非接触地测量生理信号（如血容量脉冲 BVP 和心率）。尽管基于深度学习的 rPPG 方法在单一数据集上表现优异，但在实际部署中，由于**域偏移（Domain Shift）**的存在，模型性能往往会显著下降。

这种性能退化主要源于模型过度拟合了与外观相关的因素，例如光照条件、相机特性以及颜色响应等。这些因素在不同数据集或拍摄环境中差异巨大，导致在源域训练的模型难以泛化到目标域。现有的方法大多隐式地通过架构设计或特征正则化来处理域偏移，缺乏显式的数据级域转换策略。

为了直观展示现有方法与本文方法的差异，论文提供了对比示意图：

图 1：现有 rPPG 方法与本文方法的对比。传统方法在源域训练后直接部署到目标域，导致性能下降；本文利用无标签目标域样本合成具有目标域外观的源数据，鼓励外观不变性学习（摘自 PDF 第 1 页嵌入图）。

2. 核心方法：FDA 与 HOT

针对上述挑战，本文提出了 HOT (Harmonic-Constrained Optimal Transport) 框架。该框架包含两个核心组件：频域适应（Frequency Domain Adaptation, FDA）和基于谐波约束的最优传输（HOT）。整体架构如下所示：

图 2：HOT 整体架构。展示了从源域视频输入，经过 FDA 生成外观偏移样本，再到通过 HOT 进行生理一致性对齐的流程（摘自 PDF 第 1 页嵌入图）。

2.1 频域适应 (FDA)

FDA 是一种建模 rPPG 外观变化的原则性策略。其核心思想是：低频频谱分量编码了域依赖的外观特征（如光照、肤色），而高频分量则更多保留了语义内容（如心脏诱导的信号）。

FDA 通过以下步骤实现：

1. 频域变换：对源域视频帧 $x_t$ 和目标域参考帧 $x_r$ 进行通道级的 2D 离散傅里叶变换，得到幅度谱 $A$ 和相位谱 $\Phi$。
2. 频谱替换：定义一个中心低频区域 $\Omega_\beta$，构建二值掩码 $M_\beta$。仅将源域帧的低频幅度分量替换为目标域帧的低频幅度分量，保留源域的高频幅度和相位。
3. 逆变换：结合适应后的幅度谱和原始相位谱，通过逆傅里叶变换得到风格化帧 $\tilde{x}_t$。

这一过程确保了生成的训练样本在外观上模拟了目标域的变化，同时保留了底层的生理动力学。具体过程可视化如下：

图 3：FDA 频域适应过程示意图。展示了如何替换低频幅度谱以转移外观特征（摘自 PDF 第 3 页嵌入图）。

2.2 谐波约束最优传输 (HOT)

仅通过嵌入相似度来强制原始样本与 FDA 转移样本之间的一致性，可能会导致几何上一致但生理上不兼容的对应关系。为了解决这个问题，本文提出了 HOT。

HOT 将时间对齐建模为一个最优传输问题，并在传输成本中引入了谐波正则化项。心脏信号具有显著的谐波特性（周期性），HOT 利用这一先验知识来指导对齐过程，使得传输计划偏向于外观变化下具有生理一致性的 token 对应关系。这种方法确保了在外观发生变化的同时，生理信号的时序结构得到保持。

3. 实验验证与分析

论文在多个跨数据集实验中对提出的 FDA + HOT 框架进行了验证。实验结果表明，该方法能有效增强 rPPG 模型在不同数据集间的鲁棒性和泛化能力。

为了进一步分析各组件的贡献及模型性能，论文提供了详细的实验结果图表。以下是部分关键实验结果的可视化展示：

图 4：实验结果对比或消融分析示意图（摘自 PDF 第 4 页嵌入图）。

图 5：跨数据集性能评估或可视化结果（摘自 PDF 第 6 页嵌入图）。

图 6：敏感性分析或进一步的结果展示（摘自 PDF 第 7 页嵌入图）。

4. 总结与展望

本文首次将频域适应（FDA）引入 rPPG 的域泛化研究中，并提出了谐波约束最优传输（HOT）来保证生理一致性。主要贡献总结如下：

1. FDA 框架：利用无标签目标数据生成外观偏移的训练视频，更好地模拟目标域变化。
2. HOT 方法：在 Sinkhorn 传输中施加谐波约束，鼓励原始表示与 FDA 转移表示之间的生理一致性对齐。
3. 实验验证：广泛的跨数据集实验和消融研究证明，FDA + HOT 框架能一致地提升跨域 rPPG 估计性能。

未来的研究方向可能包括探索更复杂的生理约束、扩展到更多生理信号（如呼吸率）的估计，以及在更极端的环境变化下验证模型的鲁棒性。