ZH ·
🌏 English

远程光电容积脉搏波(rPPG)研究前沿综述:2025年最新进展

🔌 正在连接 arXiv 数据库接口进行检索

⏳ 检索已返回部分信息,请稍等 …

Ching-Yi Lai 等人的 UMCL: Unimodal-generated Multimodal Contrastive Learning for Cross-compression-rate Deepfake Detection 提出了一种用于跨压缩率(CCR)深度伪造检测的新型单模态生成多模态对比学习框架。该框架通过将单模态视觉数据转换为三种互补特征(抗压缩的rPPG信号、时间动态特征和预训练视觉语言模型的语义嵌入),并通过亲和力驱动的语义对齐(ASA)策略实现特征对齐。此外,跨质量相似性学习(CQSL)策略进一步增强了特征在不同压缩率下的鲁棒性。该成果于2024年9月发表于 IJCV。

Real-Time Mobile Video Analytics for Pre-arrival Emergency Medical Services 提出了 TeleEMS 系统,用于急救医疗服务(EMS)中的实时移动视频分析。该系统融合音频和视频数据,通过 EMS-Stream 通信骨干支持多方视频流,并集成了三个实时分析模块:基于领域专用 LLM(EMSLlama)的音频-症状分析、基于 rPPG 的视频-生命体征分析,以及通过多模态多任务模型(PreNet)的联合文本-生命体征分析。

Ba-Thinh Nguyen 等人的 Reperio-rPPG: Relational Temporal Graph Neural Networks for Periodicity Learning in Remote Physiological Measurement 提出了一种新型 rPPG 框架,通过关系卷积网络和图变换器捕获生理信号的周期性结构,并设计了针对性的 CutMix 数据增强策略以提升泛化性。

Taixi Chen 等人的 TYrPPG: Uncomplicated and Enhanced Learning Capability rPPG for Remote Heart Rate Estimation 提出了一种基于 Mambaout 结构的高效 rPPG 算法。其核心创新包括门控视频理解块(GVB)和综合监督损失函数(CSL),GVB 结合 2D/3D-CNN 显著增强了视频分析能力。该成果于2025年发表于 IEEE WI-IAT 的 AI4SG 研讨会。

Xulin Ma 等人的 Non-Contact Health Monitoring During Daily Personal Care Routines 发布了首个长期 rPPG 数据集 LADH,包含 21 名参与者在 5 种日常护理场景下的同步 RGB/红外视频及生理信号。研究表明,结合 RGB 和红外输入可提升心率估计精度,且多任务学习能同时优化多项生理指标。该成果于2025年发表于 IEEE BSN。

Fangling Jiang 等人的 Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection 提出了一种基于知识图谱提示学习的新型框架,通过融入知识图谱实体生成细粒度提示,并利用因果图理论消除虚假相关性,增强了 3D 面具攻击检测的泛化能力。该成果于2025年10月发表于 TPAMI。

Zahra Maleki 等人的 SkinMap: Weighted Full-Body Skin Segmentation for Robust Remote Photoplethysmography 提出了一种新颖的皮肤分割技术,通过加权全身皮肤区域检测有效去除干扰区域(如嘴部、眼睛),并在运动和说话条件下保持心率估计准确性。作者还发布了新数据集 SYNC-rPPG 以模拟真实场景。

Tianwen Zhou 等人的 Editing Physiological Signals in Videos Using Latent Representations 提出了一种基于隐式表示的生理信号编辑框架。通过 3D VAE 编码视频并结合目标心率提示,利用自适应层归一化和 FiLM 调制实现视频中心率信号的精确编辑,适用于生物信号匿名化或合成。

Shuyang Chu 等人的 To Remember, To Adapt, To Preempt: A Stable Continual Test-Time Adaptation Framework for Remote Physiological Measurement in Dynamic Domain Shifts 提出了名为 PhysRAP 的持续测试时适应框架,通过冻结生理相关参数防止灾难性遗忘,并采用预emptive梯度修改策略避免过适应。

Bo Zhao 等人的 PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement 从流体力学纳维-斯托克斯方程出发,设计了零计算量轴向交换模块、自适应空间滤波器和门控 TCN,实现了高效且具理论解释性的 rPPG 测量。

Constantino Álvarez Casado 等人的 Design, Implementation and Evaluation of a Real-Time Remote Photoplethysmography (rPPG) Acquisition System for Non-Invasive Vital Sign Monitoring 提出了一种优化用于低功耗设备的实时 rPPG 系统,能够在 30 帧/秒的速率下连续可靠运行,并支持 HTTP 视频流和 RESTful API 接口。

Konstantin Egorov 等人的 Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation 提出了一个包含 600 名受试者在静息和运动后状态下的 3600 段同步视频数据集,并搭配了多模态生理指标。该成果于2025年9月发表于 ACMMM 2025。

Jiankai Tang 等人的 Contact Sensors to Remote Cameras: Quantifying Cardiorespiratory Coupling in High-Altitude Exercise Recovery 研究了高海拔环境下运动恢复期的心肺耦合(CRC)特征,验证了基于 rPPG 的非接触式 CRC 测量与血氧仪结果高度相关(Pearson r=0.96)。该成果于2025年9月发表于 UbiComp 25。

Joaquim Comas 等人的 BeatFormer: Efficient motion-robust remote heart rate estimation through unsupervised spectral zoomed attention filters 提出了一种轻量级频谱注意力模型 BeatFormer,结合缩放正交复数注意力机制和频域能量测量,并通过无监督频谱对比学习(SCL)实现免标签训练。

Kang Cen 等人的 Robust and Generalizable Heart Rate Estimation via Deep Learning for Remote Photoplethysmography in Complex Scenarios 设计了一个端到端 rPPG 提取网络,通过差分帧融合模块和时序移位模块(TSM)增强脉搏波特征表示,在 MMPD 数据集上达到领先性能。

Zhipeng Li 等人的 Exploring Remote Physiological Signal Measurement under Dynamic Lighting Conditions at Night: Dataset, Experiment, and Analysis 发布了首个夜间动态光照条件下的 rPPG 数据集 DLCN,包含 98 名受试者在 4 类典型夜间场景下的 13 小时视频。

Jiho Choi 等人的 Periodic-MAE: Periodic Video Masked Autoencoder for rPPG Estimation 提出了一种通过自监督学习提取周期性信号的通用表示方法。该框架创新性地引入帧掩码采样和生理频带限制约束,显著提升了跨数据集性能。

Jiyao Wang 等人的 Align the GAP: Prior-based Unified Multi-Task Remote Physiological Measurement Framework For Domain Generalization and Personalization 提出了一种统一框架 GAP,同时解决多源跨域泛化(MSSDG)和测试时个性化适应(TTPA)问题,在真实驾驶数据集上验证了其有效性。

Jiyao Wang 等人的 Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving 开发了多任务驾驶员监控系统 VDMoE,利用 RGB 视频和 rPPG 信号联合检测认知负荷与疲劳状态,通过混合专家(MoE)框架整合多模态输入。

Jitesh Joshi 等人的 Efficient and Robust Multidimensional Attention in Remote Physiological Sensing through Target Signal Constrained Factorization 提出了目标信号约束分解模块(TSFM),将生理信号特征显式融入注意力机制,支持从 RGB 和热成像视频中同步估计 rPPG 与呼吸信号。

Yiping Xie 等人的 PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing 首次将大语言模型(LLM)引入 rPPG 领域,通过文本原型引导(TPG)实现跨模态对齐,并在四个基准数据集上达到 SOTA 性能。

Kegang Wang 等人的 Memory-efficient Low-latency Remote Photoplethysmography through Temporal-Spatial State Space Duality 提出了一种基于时空状态空间对偶性的高效 rPPG 算法 ME-rPPG,仅需 3.6 MB 内存和 9.46 ms 延迟即可完成实时推断。

Rufei Ma 等人的 RF-BayesPhysNet: A Bayesian rPPG Uncertainty Estimation Method for Complex Scenarios 首次将贝叶斯神经网络引入 rPPG,通过变分推理建模不确定性,显著提升了复杂场景下的测量可靠性。

Banafsheh Adami 等人的 rPPG-SysDiaGAN: Systolic-Diastolic Feature Localization in rPPG Using Generative Adversarial Network with Multi-Domain Discriminator 开发了一种多判别器生成对抗网络,有效解决了现有模型对 PPG 信号完整波形(收缩期-舒张期)重建不足的问题。

Gyutae Hwang 等人的 Phase-shifted remote photoplethysmography for estimating heart rate and blood pressure from facial video 提出两阶段深度学习框架,通过双路 rPPG 网络生成相位差信号,结合有界血压网络分析血压,该成果于2024年1月发表于计算机视觉会议。

Hang Shao 等人的 Remote Photoplethysmography in Real-World and Extreme Lighting Scenarios 设计了一种端到端视频 Transformer 模型,通过全局干扰共享和主体背景参考等机制,实现了自然面部视频下的户外 rPPG 监测。

Theodore Curran 等人的 Estimating Blood Pressure with a Camera: An Exploratory Study of Ambulatory Patients with Cardiovascular Disease 首次在心血管疾病高风险人群(包括房颤患者)中验证了 rPPG 血压监测技术的可行性。

Bochao Zou 等人的 RhythmMamba: Fast, Lightweight, and Accurate Remote Physiological Measurement 提出了一种基于状态空间模型(Mamba)的方法,在保持线性计算复杂度的同时,实现了吞吐量的大幅提升。

Bochao Zou 等人的 RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention 提出了一种周期性稀疏注意力机制,通过预注意力阶段过滤无关计算,解决了 Transformer 在长序列处理中的效率瓶颈。

Zheng Wu 等人的 CardiacMamba: A Multimodal RGB-RF Fusion Framework with State Space Models for Remote Physiological Measurement 开发了一种融合 RGB 与射频(RF)信号的多模态框架,降低了肤色偏差,增强了模态缺失场景下的鲁棒性。

Zijie Yue 等人的 Bootstrapping Vision-language Models for Self-supervised Remote Physiological Measurement 提出了一种基于视觉语言模型(VLM)的自监督学习框架,为突破 rPPG 数据标注瓶颈提供了新方案。该成果于2024年9月发表于 IJCV。

Bingjie Wu 等人的 Semi-rPPG: Semi-Supervised Remote Physiological Measurement with Curriculum Pseudo-Labeling 提出了一种结合课程伪标记和一致性正则化的半监督学习方法,该成果于2024年9月发表于 IEEE TIM。

Alexey Protopopov 等人的 A Robust Remote Photoplethysmography Method 提出了一种对运动和环境光干扰更具鲁棒性的方法,在红外相机上表现优异,MAE 低至 1.95 BPM。

Yuting Zhang 等人的 Advancing Generalizable Remote Physiological Measurement through the Integration of Explicit and Implicit Prior Knowledge 提出了一种融合显式与隐式先验知识的框架,有效提升了跨域泛化能力。

主要研究方向

  1. 多模态融合与跨域泛化:结合 RGB、红外、射频等数据提升鲁棒性。
  2. 高效轻量化模型:如基于 Mamba 或 Transformer 的轻量级架构,适配移动端。
  3. 动态环境与噪声抑制:重点解决运动伪影和极端光照下的信号提取。
  4. 自监督与无监督学习:通过 MAE 或 VLM 减少标注依赖。
  5. 多任务指标估计:从单一心率扩展至血压、呼吸等联合估计。
  6. 临床应用验证:在心血管疾病患者等医疗场景中的实证研究。

研究趋势分析

  1. 多模态化:从单一 RGB 转向 RGB-IR-RF 多传感器融合。
  2. 范式转移:从监督学习转向自监督/无监督学习。
  3. 真实化:从实验室受控环境向户外、动态、长时监测场景演进。
  4. 多维化:从单纯的心率估计向血压、血氧、呼吸等生命体征联合评估发展。
  5. 高效化:模型向状态空间模型(SSM)和轻量级 Transformer 优化,以实现实时低功耗部署。
  6. 临床级应用:更加重视跨场景泛化能力及在医疗辅助诊断中的可靠性验证。