阅读笔记

以下为个人阅读笔记，原文见 arXiv:2604.01679v1。

论文精读：BTS-rPPG - 基于正交蝴蝶时间移位的光电容积脉搏波测量

1. 研究背景与动机

远程光电容积脉搏波测量（Remote Photoplethysmography, rPPG）是一种通过面部视频中由血液循环引起的细微外观变化来无接触感知生理信号的技术。尽管基于深度学习的 rPPG 方法在时空表征学习上取得了显著进展，但在时间动态建模方面仍面临挑战。

现有方法大多依赖于时间移位（Temporal Shifting）或卷积算子，这些操作主要聚合相邻帧的信息，导致时间感受野受限，主要局限于局部时间建模。然而，心脏引起的外观变化是在更长的时间跨度上演变的，局部交互限制了模型捕捉对生理信号建模至关重要的长程时间依赖性的能力。

为了解决这一局限性，本文提出了 BTS-rPPG，这是一种基于**正交蝴蝶时间移位（Orthogonal Butterfly Temporal Shifting, BTS）**的时间建模框架。该方法受快速傅里叶变换（FFT）中蝴蝶通信模式的启发，通过基于 XOR 的蝴蝶配对调度建立结构化的帧交互，逐步扩展时间感受野，实现远距离帧之间的高效信息传播。

2. 核心方法：BTS-rPPG 框架

BTS-rPPG 的核心创新在于引入了结构化的时间交互机制，以替代传统的局部邻域聚合。整体框架包含输入表示模块、BTS 增强的 Swin Transformer 骨干网络以及预测头。

2.1 整体架构

如图 2 所示，BTS-rPPG 的处理流程分为三个主要部分：

1. 输入表示（Input Representation）：融合 RGB 帧及其归一化差分帧（Normalized Difference Frames, NDF），以强调细微的时间外观变化，并将其嵌入为 patch 级 token。
2. 骨干网络（Backbone）：采用 Swin Transformer 架构，并在其阶段中集成了 BTS 模块。
3. 预测头（Predictor Head）：将处理后的特征回归到目标 rPPG 波形。

图 2：BTS-rPPG 框架概览（摘自 PDF 第 3 页嵌入图）。展示了从输入表示到 BTS 增强骨干网络再到预测头的完整流程。其中 II) 部分展示了 OFT 机制，III) 部分展示了 BTS 的层级通信模式。

2.2 正交蝴蝶时间移位 (BTS)

传统方法的时间通信模式主要局限于相邻帧之间的特征交换，限制了长程交互。BTS-rPPG 引入了受 FFT 启发的蝴蝶通信模式。

图 1：时间通信模式对比（摘自 PDF 第 1 页嵌入图）。(a) 现有方法主要在相邻帧之间交换特征，限制了长程时间交互；(b) 提出的 BTS-rPPG 采用蝴蝶启发的层级通信方案，类似于 FFT 风格的稀疏多阶段混合，逐步将时间交互从局部扩展到全局尺度。

BTS 机制通过 XOR 基于的蝴蝶配对调度（XOR-based butterfly pairing schedule）建立结构化的帧交互。这种设计使得时间感受野能够随着网络深度的增加而逐步扩展，从而有效地将信息从短程传播到长程依赖，非常适合具有短期连续性和长程周期性依赖的 rPPG 信号。

2.3 正交特征传输 (OFT)

在直接跨帧交换特征时，可能会引入冗余信息。许多基于移位算子（如 TCS）的方法在特征高度相关的帧之间传输特征，导致冗余传播。

为了解决这个问题，作者引入了**正交特征传输（Orthogonal Feature Transfer, OFT）**机制。该机制在时间移位之前，根据目标上下文对源特征进行过滤，仅保留正交分量用于跨帧传输。

图 3：OFT 机制细节（摘自 PDF 第 3 页嵌入图）。展示了 OFT 如何通过保留与目标上下文正交的特征分量来抑制冗余传输信息，从而促进互补的时间交换。

通过仅传输与目标表示互补的信息，OFT 减少了冗余，鼓励了帧之间更有效的时序交互。

3. 实验与结果

作者在多个基准数据集上进行了广泛实验，以验证 BTS-rPPG 在捕捉长程生理动态方面的有效性。

图 4：定量实验结果对比（摘自 PDF 第 6 页嵌入图）。展示了 BTS-rPPG 在不同数据集上的性能表现，通常优于现有的时间建模策略。

实验结果表明，BTS-rPPG 能够持续提高 rPPG 估计性能。此外，论文还通过消融研究分析了 BTS 和 OFT 组件的贡献。

图 5：消融研究与设计分析（摘自 PDF 第 7 页嵌入图）。展示了不同组件对最终性能的贡献分析。

4. 总结与展望

本文提出的 BTS-rPPG 框架通过引入正交蝴蝶时间移位（BTS）和正交特征传输（OFT）机制，有效解决了现有 rPPG 方法中时间感受野受限和特征冗余的问题。

主要贡献总结：

1. 引入了 BTS，一种通过 XOR 基于的蝴蝶配对调度建立长程帧通信的结构化时间交互机制。
2. 提出了 OFT，在时间移位前过滤源特征，仅保留正交分量，减少冗余时间通信。
3. 在多个基准数据集上的实验证明，BTS-rPPG 能有效捕捉长程生理动态，并一致性地提高了 rPPG 估计性能。

未来的工作可以进一步探讨该机制在其他时序生理信号分析任务中的适用性，以及在更复杂环境干扰下的鲁棒性。