阅读笔记

以下为个人阅读笔记，原文见 arXiv:2507.14885v1。

BeatFormer：基于无监督频谱缩放注意力的运动鲁棒性远程心率估计

1. 论文基本信息

2. 研究背景：rPPG 的困境与机遇

远程光电容积脉搏波（rPPG）技术通过面部视频捕捉心脏信号，在临床监测和人机交互领域具有巨大潜力。然而，当前的 rPPG 研究面临着一个核心矛盾：数据驱动方法的泛化性与手工特征方法的鲁棒性之间的权衡。

• 深度学习的局限：虽然深度学习模型在 rPPG 估计上取得了显著进展，但它们高度依赖大规模、多样化的数据集进行训练。这导致模型在面对皮肤色调、光照变化、视频压缩以及身体运动等偏差时，泛化能力下降，且计算成本高昂。
• 手工方法的短板：相比之下，传统的手工特征方法（如 CHROM、POS）利用生理先验知识，在未见过的场景（如运动场景）中表现出更好的泛化性和计算效率。然而，它们通常基于线性假设，难以捕捉复杂的非线性生理关系，限制了其在复杂条件下的性能。
• 混合方法的必要性：为了结合两者的优势，作者提出了一种混合方法。既需要深度学习强大的脉动信息提取能力，又需要传统方法的生理先验来增强对运动的鲁棒性。

此外，现有的基于频域的方法通常依赖快速傅里叶变换（FFT），存在分辨率权衡问题，难以在短时间窗口内保证运动分离。近期研究引入了 Chirp-Z 变换（CZT），允许在特定频带（如心率带宽）内进行可调整分辨率的频谱分析，这为提升短窗口下的估计精度提供了新思路。

3. 核心方法：BeatFormer 详解

为了解决上述问题，作者提出了 BeatFormer，这是一个轻量级的频谱注意力模型。其核心创新在于集成了缩放正交复数注意力（Zoomed Orthonormal Complex Attention, ZOCA） 和 频域能量测量，并引入了一种无需标签的 频谱对比学习（Spectral Contrastive Learning, SCL） 策略。

3.1 整体架构

BeatFormer 的整体流程设计旨在从 RGB 视频轨迹中分离出脉动信息，同时抑制运动干扰。模型首先将 RGB 轨迹分段并进行重叠，利用 CZT 将其转换到频域。随后，通过 BeatFormer 模块过滤脉动信息，结合正交正则化和基于能量的加权。最后，通过逆 CZT（ICZT）转换回时域，并通过重叠相加操作重构 rPPG 信号。

训练阶段采用频谱对比学习（SCL），利用频域中的有意义变换来强制显式先验，从而实现无标签训练。

图 1：BeatFormer 整体架构（摘自 PDF 第 3 页）

3.2 关键组件：CZT 与频谱注意力

Chirp-Z 变换 (CZT)

传统的离散傅里叶变换（DFT）在 z 平面的单位圆上等间距采样，而 CZT 允许沿 z 平面中的一般螺旋轮廓计算 z 变换。这使得 CZT 不受单位圆约束，能够针对特定频段（如心率范围）进行“缩放”分析。

其数学定义如下： $CZT(x[n]) = \sum_{n=0}^{N-1} x[n] \cdot z_k^{-n}$ 其中 $z_k = A \cdot W^{-k}$，$A$ 是复数起点，$W$ 是描述轮廓点之间复数比率的复数标量。这种灵活性使得 CZT 能够在短时间窗口内提供更高的频率分辨率，从而更准确地分离心率信号与运动噪声。

图 2：CZT 变换原理示意（摘自 PDF 第 5 页）

缩放正交复数注意力 (ZOCA)

BeatFormer 的核心模块是 ZOCA。与传统的时空注意力不同，ZOCA 在频域中操作。它学习频谱滤波器，以分离脉动信息和运动变化。

• 隐式生理先验：模型不依赖无约束的数据驱动权重，而是结合隐式生理先验，增强了对训练数据噪声（如光照变化、运动）的鲁棒性。
• 计算效率：相比现有模型，ZOCA 减少了参数数量和计算成本，同时保持了强大的特征提取能力。

图 3：ZOCA 模块细节与频谱滤波机制（摘自 PDF 第 6 页）

3.3 无监督训练：频谱对比学习 (SCL)

为了摆脱对 PPG 或心率标签的依赖，作者提出了频谱对比学习（SCL）。

• 显式生理假设：SCL 基于显式的生理假设，通过最大化类内相似性和最小化类间差异来增强模型训练。
• 频域变换：与传统的时空增强不同，SCL 专注于提供有意义频率表示的视频变换。
• 效果：这种方法使得 BeatFormer 在无需标签的情况下，也能达到与监督方法相当的性能，甚至在显著运动失真下表现出更强的鲁棒性。

4. 实验验证与性能分析

作者在多个公开的 rPPG 基准数据集上验证了 BeatFormer 的有效性，包括 PURE、UBFC-rPPG 和 MMPD。

• 跨数据集评估：实验重点展示了模型在跨数据集评估中的表现，特别是在运动场景下。
• 运动鲁棒性：结果表明，BeatFormer 在处理运动干扰方面优于许多现有的深度学习方法，这得益于其结合了生理先验的频谱注意力机制。
• 效率与性能平衡：模型在保持轻量级（参数少、计算快）的同时，实现了高精度的心率估计。

图 4：不同数据集下的性能对比结果（摘自 PDF 第 8 页）

图 5：运动场景下的鲁棒性分析（摘自 PDF 第 8 页）

5. 总结与启示

BeatFormer 论文提出了一种新颖的混合方法，成功地将深度学习的非线性建模能力与传统方法的生理先验相结合。

• 主要贡献：

  1. 提出了轻量级频谱滤波器 Transformer（BeatFormer），集成缩放正交复数注意力和频域能量测量。
  2. 引入基于显式生理假设的频域自对比学习方法，实现了无需标签的鲁棒训练。
  3. 通过大量实验验证了频域 rPPG 估计在运动场景下的优势，特别是利用 CZT 的特性。

• 未来展望： 该研究为 rPPG 领域提供了一个新的方向，即利用频域变换（如 CZT）和注意力机制来解决运动鲁棒性问题。未来的工作可以进一步探索更复杂的生理先验集成，以及在更多样化的真实世界场景（如低光照、遮挡）中的泛化能力。