阅读笔记

以下为个人阅读笔记，原文见 arXiv:2111.09748v1。

论文精读：The Way to my Heart is through Contrastive Learning: Remote Photoplethysmography from Unlabelled Video

1. 论文概览

本文提出了一种全新的远程光电容积脉搏波（rPPG）估计方法。rPPG 技术旨在通过观察人脸或皮肤的视频来测量血容量变化，从而推断生理信号（如心率）。与当前需要昂贵生理真值数据进行监督学习的 rPPG 方法不同，本文采用了一种完全自监督的训练方法，无需任何标注数据。

核心创新点在于利用对比学习（Contrastive Learning），结合对目标信号频率和时间平滑性的弱先验假设。作者在四个 rPPG 数据集上评估了该方法，结果显示其性能可与甚至优于近期的监督深度学习方法，且无需任何标注。此外，论文还引入了一个可学习的显著性重采样模块（Learned Saliency Resampling Module），不仅减少了对手工特征的需求，还为模型行为提供了可解释性。

下图展示了模型的整体输入输出流程：仅从人脸视频输入，模型即可推断出 PPG 信号和心率，并生成可解释的显著性热力图，显示模型关注的面部区域（如额头中心）。

2. 研究背景与痛点

理解人的生理状态在健康监控、人力资源管理及人机交互等领域至关重要。传统的生理信号估计方法（如心电图 ECG 或接触式 PPG）需要与受试者进行物理接触，设置繁琐，限制了其可扩展性。

近年来，计算机视觉和机器学习的发展推动了从视频中被动监控生理信息的研究。现有的 rPPG 方法通常分为三个阶段：预处理（减少干扰）、PPG 信号提取和心率估计。早期的方法依赖于信号处理和手工特征（如特定区域的颜色或运动），而近年来的研究倾向于使用深度学习来学习对光照变化、运动干扰等具有鲁棒性的特征表示。

然而，监督式深度学习在 rPPG 领域面临一个主要瓶颈：标注数据的成本极高。为了训练模型，需要在采集视频的同时让受试者佩戴接触式 PPG 或 ECG 传感器。这不仅难以规模化采集，而且数据分布的变化（如从训练到部署）会严重影响模型在实际场景中的性能。

3. 核心方法：基于对比学习的自监督框架

为了解决数据标注昂贵的问题，本文提出了一种基于自监督学习的视角。作者构建了一个对比学习框架，该框架基于对目标生理信号的三个基本假设：

1. A1 频率范围假设：目标信号位于特定范围内（设定为 40 到 250 次/分钟），涵盖了绝大多数人类心率。
2. A2 时间平滑性假设：目标信号在短时间间隔内通常不会剧烈变化（即 $t$ 时刻的心率与 $t+W$ 时刻相似，$W$ 为秒级）。
3. A3 视觉主导性假设：信号在目标频率范围内具有某种可见的表现形式，且是该范围内主导的视觉信号。

基于这些假设，模型可以在没有真值标签的情况下进行训练。下图展示了该方法的整体架构概览。流程首先从源视频中采样一个长度为 $W$ 的视频片段，随后通过对比学习损失函数进行优化，旨在提取与生理信号相关的特征表示。

这种方法的优势在于它不需要昂贵的地面真值（Ground Truth）生理训练数据，而是利用视频数据本身的统计特性（如频率分布和时间连续性）来指导网络学习。通过设置对比学习损失，模型能够区分包含目标生理信号的片段与不包含该信号的片段，从而学会回归 PPG 信号并追踪心率。

4. 可解释性增强：显著性重采样模块

深度学习模型通常被视为“黑盒”，特别是在没有标注数据的情况下，很难理解模型是如何做出预测的。为了解决这一问题，作者引入了一个前端基于显著性的采样模块（Saliency-based Sampling Module）。

该模块受相关工作启发，旨在强调输入数据中与后端 PPG 估计器最相关的部分。通过允许模型学习在哪里采样输入图像，该方法不仅减少了对人工设计特征的需求，还提供了对模型行为的透明度。

4.1 正则化对显著性的影响

作者研究了正则化对计算出的显著性估计的影响。通过调整正则化参数，可以控制显著性图的平滑度和聚焦程度，从而帮助模型更准确地定位面部中生理信号最强的区域。

4.2 可解释的行为示例

显著性图不仅是一个副产品，它还能揭示模型发现的感兴趣信号的空间位置。如图 4 所示，模型生成的显著性图主要集中在受试者的额头、鼻子和脸颊部分。这与传统认知中 rPPG 信号最强的区域相吻合，证明了模型学习到了合理的空间特征，而非随机噪声。

这种可解释性对于理解模型的失败模式至关重要。例如，如果显著性图集中在非皮肤区域，可能意味着模型受到了光照或运动伪影的干扰。该模块可以独立应用于监督模型和对比模型，具有较好的通用性。

5. 实验评估与结果

作者在四个 rPPG 数据集上评估了提出的方法。实验结果表明，尽管完全未使用标注数据进行训练，该自监督方法取得的性能与近期的监督深度学习方法相当，甚至在某些情况下更优。

主要实验发现包括：

• 无标注训练的有效性：证明了基于对比学习和弱先验假设的自监督框架在 rPPG 任务上的可行性。
• 鲁棒性：提出的损失函数对地面真值中的不同步问题具有鲁棒性。
• 模块通用性：显著性采样模块可以附加到监督基线和对比模型上，均能带来性能提升或可解释性增强。

此外，作者统一了现有的免费 PPG 视频数据集，并发布了完整的训练和评估代码管道，以促进该方向的可复现性研究。

6. 总结与贡献

本文的主要贡献可以总结为以下几点：

1. 自监督 rPPG 框架：首次展示了仅通过对比学习和弱先验假设，即可在无标注视频数据上训练深度神经网络来估计 PPG 信号和心率。
2. 新颖的损失函数：提出了对地面真值不同步具有鲁棒性的监督和无监督损失函数。
3. 可解释性模块：引入了可学习的显著性重采样模块，提供了模型行为的空间透明度，减少了对手工特征的依赖。
4. 开源与复现：统一了数据集并发布了完整代码，鼓励社区在计算机视觉健康监控这一新兴方向上进行可复现的进步。

这项工作为低成本、非接触式健康监测提供了新的技术路径，通过摆脱对昂贵标注数据的依赖，极大地扩展了 rPPG 技术的潜在应用场景。