阅读笔记

以下为个人阅读笔记，原文见 arXiv:2404.06483v2。

RhythmMamba：基于状态空间模型的快速轻量远程生理测量

1. 研究背景与核心挑战

远程光电容积脉搏波（Remote Photoplethysmography, rPPG）是一种通过面部视频非接触式测量生理信号的技术，在医疗健康、情感计算及防伪等领域具有巨大潜力。其核心原理是利用光学手段测量皮下血管中血容量随心脏收缩和舒张的变化，这种变化会导致成像传感器上产生人眼不可见的周期性颜色信号变化。

尽管 rPPG 应用前景广阔，但现有的深度学习方法面临着两个核心难题的权衡：

1. 长上下文中的周期性模式理解：rPPG 信号具有显著的周期性，需要模型能够捕捉长距离的时间依赖关系。
2. 视频片段中的时空冗余处理：视频数据包含大量时空冗余，需要高效的计算复杂度。

传统的卷积神经网络（CNN）感受野有限，难以捕捉长距离依赖；而基于 Transformer 的架构虽然能捕捉长依赖，但其二次计算复杂度在处理长视频序列时效率低下。这种计算复杂度与长距离依赖捕捉能力之间的权衡，阻碍了 rPPG 方案在移动设备上的部署。

近期，Mamba 模型凭借其选择性状态空间模型（SSM）和并行扫描机制，在保持线性复杂度的同时实现了长距离依赖建模，为 rPPG 任务提供了新的思路。然而，直接将 Mamba 应用于 rPPG 任务效果不佳，因为将时空信息嵌入 token 序列会导致空间信息显著干扰 Mamba 对时间信息的理解。

2. RhythmMamba 整体架构

为了解决上述问题，作者提出了 RhythmMamba，这是一种基于状态空间模型的远程生理测量架构。该模型将 rPPG 任务视为时间序列任务，通过特定的模块设计来增强 Mamba 对 rPPG 信号的学习能力。

如图 3 所示，RhythmMamba 的整体框架主要由四个部分组成：

1. Frame Stem（帧茎）：利用 diff-fusion、自注意力机制和帧平均池化提取 rPPG 特征，并将所有空间信息嵌入到通道中。
2. Multi-temporal Constraint Mamba（多时间约束 Mamba）：核心骨干网络，通过多时间约束机制增强对周期性的学习。
3. Frequency Domain Feed-forward（频域前馈）：在频域进行通道间的空间交互，更好地辨别 rPPG 信号的周期性。
4. rPPG Predictor Head（预测头）：输出最终的生理信号。

输入为 RGB 视频 $X \in \mathbb{R}^{3 \times T \times H \times W}$，经过 Frame Stem 处理后变为 $X_{stem} \in \mathbb{R}^{T \times C}$，其中 $C$ 为通道数，$T$ 为序列长度。这种设计将空间维度压缩至通道维度，使模型专注于时间序列的建模。

3. 关键技术创新

RhythmMamba 的创新点主要体现在对 rPPG 信号特性的深度适配上，具体包括以下三个方面：

3.1 帧茎（Frame Stem）与时序化视角

作者发现，直接将时空信息嵌入 token 序列会干扰 Mamba 对时间序列的理解。因此，设计了 Frame Stem 将单帧的空间信息嵌入到通道中。这种设计将 rPPG 任务转化为纯粹的时间序列任务，使得脉冲波的周期性变化可以被建模为状态空间中的状态转移。

3.2 状态转移视角的 rPPG 建模

考虑到 Mamba 的线性建模特性，rPPG 信号的相位变化可以被视为状态空间内的状态转移。rPPG 的周期性性质允许信号通过有限数量的状态来表示。如图 1 所示，$h(t)$ 代表状态向量，$x(t)$ 代表输入向量，$y(t)$ 代表输出向量。通过这种视角，模型能够更有效地捕捉脉搏波的周期性波动。

3.3 多时间约束与频域前馈

为了进一步提升 Mamba 对 rPPG 信号的学习能力，作者设计了两个关键模块：

• 多时间约束（Multi-temporal Constraint）：通过让单个 Mamba 块学习具有不同时间长度的相同序列，模型可以同时受到长序列周期性和短序列趋势的约束。
• 频域前馈（Frequency Domain Feed-forward）：Mamba 学习到的时间特征在频域中进行通道间的空间交互。这种频域操作有助于更好地辨别 rPPG 信号的周期性本质，弥补了纯时间建模在空间特征交互上的不足。

4. 实验结果与性能评估

作者在多个数据集上进行了广泛的实验，包括数据集内（intra-dataset）和跨数据集（cross-dataset）场景。实验结果表明，RhythmMamba 在保持高精度的同时，显著提升了计算效率。

如图 2 所示，在 MMPD 数据集上的数据集内测试中，RhythmMamba 展现出了卓越的性能与效率平衡：

• 吞吐量（Throughput）：相比现有方法提升了 319%。
• GPU 显存占用（Peak GPU Memory）：仅为 23%。
• 精度：达到了最先进（SOTA）的水平。

图中的圆圈直径表示峰值 GPU 显存，可以看出 RhythmMamba 不仅更快、更轻量，而且随着规模增加，由于其线性复杂度的优势，这些优势变得更加明显。这证明了该模型非常适合在移动设备上进行部署。

5. 总结与展望

RhythmMamba 是首个将状态空间模型（SSM）应用于 rPPG 领域的工作。其主要贡献包括：

1. 提出了基于 SSM 的 RhythmMamba，将周期性变化建模为状态转移，并结合多时间约束和频域前馈学习 rPPG 的准周期模式。
2. 设计了 Frame Stem，将空间信息嵌入通道，降低了状态转移的维度，解决了空间信息干扰时间理解的问题。
3. 在多个场景下实现了 SOTA 性能，同时具备极高的推理速度和极低的显存占用。

该研究为远程生理测量提供了一种高效、轻量且准确的解决方案，为未来在移动设备和边缘计算场景下的健康监测应用奠定了坚实基础。代码已开源，可供社区进一步探索与验证。