阅读笔记

以下为个人阅读笔记，原文见 arXiv:2603.19752v1。

论文精读：PhysNeXt - 下一代双分支结构化注意力融合网络用于远程光电容积脉搏波测量

1. 论文基本信息

• 论文标题: PhysNeXt: Next-Generation Dual-Branch Structured Attention Fusion Network for Remote Photoplethysmography Measurement
• 论文 ID: 2603.19752v1
• 作者: Junzhe Cao, Bo Zhao, Zhiyi Niu, Dan Guo, Yue Sun, Haochen Liang, Yong Xu, Zitong Yu
• 机构: 哈尔滨工业大学（深圳）、大湾区大学、合肥工业大学、澳门理工大学
• 核心领域: 计算机视觉 (cs.CV)、生物信号处理、远程光电容积脉搏波 (rPPG)

2. 研究背景与挑战

远程光电容积脉搏波（rPPG）技术通过普通 RGB 摄像头捕捉面部皮肤因心脏搏动引起的细微颜色变化，从而实现非接触式的心率及生命体征测量。相较于传统的接触式测量（如心电图 ECG），rPPG 具有无创、低成本、易于集成等优势，在远程医疗、驾驶安全监测及人机交互等领域具有广泛应用前景。

然而，现有的基于深度学习的 rPPG 方法主要分为两类，各自存在局限性：

1. 原始视频输入 (Video Input)：
   • 优势：保留了完整的时空信息，能够捕捉细微的与心跳相关的信号。
   • 劣势：引入了大量的噪声，如运动伪影（Motion Artifacts）和光照变化，且数据量大，计算复杂度高。
2. 时空图输入 (STMap Input)：
   • 优势：将多个感兴趣区域（ROI）的时间颜色变化堆叠成紧凑的二维表示，显著减少了数据量和计算复杂度，适合 2D 卷积网络学习。
   • 劣势：压缩过程丢失了原始视频中的一些高频细节，可能导致脉搏波形恢复精度下降。

核心问题：如何在一个模型中有效整合这两种信息结构的优势，既保留细节又降低噪声干扰，是当前的研究难点。

3. 核心方法：PhysNeXt 架构

为了解决上述挑战，作者提出了 PhysNeXt，这是一个双输入深度学习框架，联合利用视频帧（Video Frames）和时空图（STMap）表示。该网络旨在通过协同增强脉冲信号提取的鲁棒性。

3.1 输入对比与双流设计

论文首先对比了三种输入方式：仅视频输入、仅 STMap 输入以及本文提出的视频与 STMap 双流输入。双流设计旨在结合两者的互补特性。

图 1：输入模式对比（视频、STMap 及双流输入）。摘自 PDF 第 2 页嵌入图。

3.2 整体网络框架

PhysNeXt 包含两个并行的分支：

1. STMap 分支：以 STMap 为输入，骨干网络采用 RhythmNet。
2. 视频分支：以原始视频帧序列为输入，骨干网络采用 PhysNet。

两个分支在多个时间尺度上通过交互模块进行特征对齐和信息交换，最终通过融合解码器预测 rPPG 信号。

图 2：PhysNeXt 整体网络框架。摘自 PDF 第 5 页嵌入图。

4. 三大创新模块详解

PhysNeXt 的核心贡献在于其三个关键组件的设计，分别针对特征提取、跨模态交互和信号解码进行了优化。

4.1 时空差异建模单元 (Spatio-Temporal Difference Modeling Unit, STDMU)

• 位置：嵌入在 STMap 分支的多个层中。
• 功能：显式增强对心跳引起的皮肤颜色变化的建模。
• 原理：通过捕捉时间和空间上的差异，STDMU 能够更敏锐地识别出由心脏搏动导致的细微颜色波动，弥补 STMap 压缩过程中可能丢失的高频细节。

4.2 跨模态交互模块 (Cross-Modal Interaction Module)

• 位置：位于视频编码器和 STMap 编码器之间。
• 功能：实现可靠的特征互补。
• 机制：
  1. 频域波形匹配 (Frequency-domain waveform matching)：利用频域相关性对齐两种模态的特征。
  2. 置信度门控调制 (Confidence-gated modulation)：控制信息流动的方向和强度。
  • 该模块确保只有高置信度的特征在模态间传递，避免噪声干扰，实现特征的有效融合。

4.3 结构化注意力融合解码器 (Structured Attention Fusion Decoder)

• 位置：解码阶段。
• 功能：进一步集成多源信号，提高 rPPG 波形恢复精度。
• 机制：
  • 引入全局状态 Token (Global State Token) 和多个可学习查询 Token (Learnable Query Tokens)。
  • 使用掩码多头注意力 (Masked Multi-Head Attention) 控制不同 Token 之间的交互。
  • 这种设计实现了多源信息的细粒度融合，使得模型能够更准确地重构脉搏波形。

5. 实验验证与性能

作者在四个基准数据集上对 PhysNeXt 进行了评估，包括数据集内（Intra-dataset）和数据集间（Cross-dataset）的测试。

• 性能表现：实验结果表明，PhysNeXt 在具有挑战性的条件下（如运动干扰、光照变化）能够实现更稳定、更细粒度的 rPPG 信号恢复。
• 对比优势：验证了联合建模视频和 STMap 表示的有效性，优于单一输入模式的方法。
• 可视化结果：论文提供了详细的实验对比图表和信号恢复示例，展示了模型在不同场景下的鲁棒性。

图 3：实验结果可视化（具体见原文）。摘自 PDF 第 13 页嵌入图。

图 4：性能对比或信号恢复示例。摘自 PDF 第 14 页嵌入图。

6. 总结与展望

PhysNeXt 提出了一种新颖的双分支结构化注意力融合网络，成功解决了 rPPG 领域中视频输入噪声大与 STMap 输入信息丢失之间的矛盾。

• 主要贡献：

  1. 设计了 STMap 分支的时空差异建模单元。
  2. 提出了基于频域匹配和置信度门控的跨模态交互模块。
  3. 引入了结构化注意力机制的融合解码器。
  4. 在多个基准数据集上取得了优越性能。

• 未来意义：该工作为远程生理信号测量提供了新的思路，即通过多模态表示的互补融合来提升系统的鲁棒性。代码即将开源，有助于推动该领域的进一步研究。