Reperio-rPPG: Relational Temporal Graph Neural Networks for Periodicity Learning in Remote Physiological Measurement

阅读笔记

以下为个人阅读笔记，原文见 arXiv:2511.05946v1。

论文概览

本文提出了一种名为 Reperio-rPPG 的新型框架，旨在解决远程光电容积描记法（rPPG）中生理信号内在周期性建模不足的问题。通过结合关系卷积网络（Relational Convolutional Networks）与图 Transformer（Graph Transformer），该模型能够更有效地捕捉心率信号中的周期结构。此外，作者还引入了一种定制的 CutMix 数据增强策略，以提升模型在复杂真实场景下的泛化能力。实验在 PURE、UBFC-rPPG 和 MMPD 三个基准数据集上进行，结果显示该方法在多种运动状态和光照条件下均达到了最先进（SOTA）的性能。

研究背景与挑战

rPPG 技术的兴起与局限

心率（HR）是评估身体健康状态的关键生理信号。传统的监测方法（如 ECG 和 PPG）依赖接触式电极或可穿戴设备，虽然准确但存在佩戴不便、皮肤敏感等问题。相比之下，基于面部视频的非接触式 rPPG 技术利用 RGB 摄像头捕捉皮肤颜色的细微变化来估算生命体征，具有无创、可扩展的优势，广泛应用于远程医疗、驾驶员疲劳检测等领域。

然而，非接触式方法对光照条件、肤色差异和主体运动非常敏感。尽管深度学习（CNN、Transformer）在一定程度上缓解了这些问题，但在真实世界环境中实现稳定准确的性能仍是一个开放挑战。

现有方法的不足

早期的 rPPG 方法主要依赖经典信号处理（如盲源分离）或基于颜色空间转换的模型。随后，基于 CNN 的方法（如 DeepPhys, PhysNet）通过提取时空特征提升了性能。近期，Transformer 架构（如 PhysFormer, RhythmFormer）被引入以建模长距离时空依赖。

尽管这些模型能提取有意义的特征，但大多数方法将血容量脉搏（BVP）视为通用时序信号，未能充分利用其准周期性（quasi-periodic nature）这一基本特征。心跳是循环发生的，BVP 信号在每个周期内（intra-cycle）和周期间（inter-cycle）都存在结构化模式。现有的基于移位（shift-based）、注意力（attention-based）或频率感知（frequency-aware）的设计，仍难以捕捉生理信号的固有规律和相位一致性，未能充分利用跨周期模式来建模真正的周期性。

核心方法：Reperio-rPPG

为了解决上述问题，作者提出了一种基于图（Graph-based）的时序建模视角。将视频帧视为节点，通过边编码它们随时间和相位的交互方式。这种方法允许模型自适应地学习关系，而非依赖固定的移位，从而同时捕捉局部和全局结构，聚合长距离且相位一致的上下文。

整体架构设计

Reperio-rPPG 框架整合了 Swin Transformer、关系图卷积网络（R-GCN）和图 Transformer。Swin Transformer 负责鲁棒的空间特征提取，而 R-GCN 与 Graph Transformer 则专门用于捕捉 rPPG 信号的周期特征和时序依赖。

图 1：Reperio-rPPG 整体框架示意图（摘自 PDF 第 5 页嵌入图）

周期性建模机制

在时序建模中，作者将帧作为节点，构建图结构来编码帧之间的交互。这种图结构能够适应性地学习关系，捕捉局部和全局结构。图神经网络（GNN）非常适合学习时序数据中的隐藏关系，特别适用于 rPPG 任务。

图 2：时序图神经网络与周期性建模细节（摘自 PDF 第 6 页嵌入图）

通过显式的图公式化，模型能够直接模拟心率的周期性。这种方法不仅利用了帧之间的时间依赖，还利用了生理信号固有的相位一致性，弥补了现有方法在跨周期模式利用上的不足。

数据增强策略

针对现有 rPPG 数据集多样性有限的问题，作者引入了一种定制的数据增强策略，结合了以下技术：

1. Temporal CutMix (TCM)：在时间维度上进行混合增强。
2. Normalized Difference Frames (NDF)：归一化差帧，增强信号对比度。
3. Multi-Scale Plane-Orthogonal-to-Skin (MPOS)：多尺度皮肤正交平面，提升空间特征鲁棒性。

图 3：定制数据增强策略示意图（摘自 PDF 第 8 页嵌入图）

这一组合策略显著提高了 rPPG 模型的鲁棒性和泛化能力，使其能够更好地应对真实场景中的噪声和变化。

实验设置与结果

数据集与评估指标

作者在三个广泛使用的基准数据集上进行了广泛实验：

• PURE
• UBFC-rPPG
• MMPD

这些数据集涵盖了不同的采集条件和受试者状态，能够全面评估模型的性能。

图 4：实验数据集分布与预处理流程（摘自 PDF 第 9 页嵌入图）

性能对比

实验结果表明，Reperio-rPPG 不仅在受控实验室条件下表现优异，在具有挑战性真实世界场景（如多样化光照变化、主体运动、复杂背景）中也 consistently 且 substantially 优于最先进的方法。

图 5：主要实验结果对比（摘自 PDF 第 11 页嵌入图）

鲁棒性分析

模型在多种运动状态（静止、旋转、说话、行走）和光照条件（自然光、低 LED、高 LED）下均表现出显著的鲁棒性。这证明了引入周期性学习和图神经网络结构的有效性。

图 6：不同运动与光照条件下的鲁棒性分析（摘自 PDF 第 14 页嵌入图）

总结与展望

Reperio-rPPG 通过引入关系时序图神经网络，成功地将生理信号的内在周期性纳入模型设计，解决了传统 rPPG 方法在细粒度时序动态捕捉上的不足。结合定制的数据增强策略，该框架在多个基准数据集上实现了 SOTA 性能，并展现了强大的环境适应性。

未来的研究方向可能包括：

1. 进一步探索更复杂的图结构以捕捉多模态生理信号（如呼吸率与心率的耦合）。
2. 在更多样化的真实世界数据集上验证模型的泛化能力。
3. 优化计算效率，以便在移动端或边缘设备上部署。

代码已公开在 https://github.com/deconasser/Reperio-rPPG，为后续研究提供了宝贵的资源。