阅读笔记

以下为个人阅读笔记，原文见 arXiv:2303.07944v1。

论文精读：Non-Contrastive Unsupervised Learning of Physiological Signals from Video

1. 论文基本信息

• 论文标题: Non-Contrastive Unsupervised Learning of Physiological Signals from Video
• 论文 ID: 2303.07944v1
• 作者: Jeremy Speth, Nathan Vance, Patrick Flynn, Adam Czajka
• 机构: University of Notre Dame
• 核心贡献: 提出了首个用于生理信号回归的非对比无监督学习框架（SiNC），摆脱了对接触式 PPG 传感器标签的依赖。

2. 研究背景与动机

基于摄像头的生命体征估计（Camera-based vitals estimation）是远程健康监测领域的重要方向。通过 RGB 视频提取微弱的周期性信号（如血容量脉冲和呼吸），可以实现低成本的远程健康监控。目前的远程光电容积脉搏波（rPPG）研究主要由深度学习驱动，但现有的方法大多依赖于带有接触式 PPG 传感器真值（Ground Truth）的基准数据集进行监督训练。

然而，收集大规模、多样化的标注视频数据面临巨大挑战：

1. 数据量大：高质量视频数据体积庞大。
2. 采集困难：在实验室环境中难以录制代表真实世界活动的多样化人群。
3. 同步与噪声：同步接触测量与视频在技术上具有挑战性，且接触测量本身也包含噪声。

虽然对比无监督学习（Contrastive Unsupervised Learning）为解决数据稀缺问题提供了新思路，但现有的无监督 rPPG 方法均基于对比学习框架，需要构建正负样本对。本文提出了一种**非对比无监督学习（Non-Contrastive Unsupervised Learning）**框架，仅需利用视频数据本身，通过施加周期性先验和频域约束，即可直接从未标记视频中学习生理信号特征。

3. 核心方法：SiNC 框架

本文提出的方法名为 SiNC（Signal from Non-contrastive），其核心思想是利用生理信号的强先验知识（如带宽有限性和周期性）来约束解空间，而无需计算样本间的距离或对比损失。

3.1 整体架构

如图 1 所示，SiNC 框架与传统的监督学习和对比无监督学习形成了鲜明对比。

• 监督学习：需要真值标签 $y$，通过最小化预测波形与真值之间的误差进行训练。
• 对比无监督学习：需要构建正负样本对，通过拉近相似样本、推远不相似样本来学习特征。
• SiNC（本文方法）：直接在预测波形的频域上施加损失函数。通过惩罚生理带宽之外的功率、鼓励带宽内的稀疏分布以及最大化批次间的方差，模型能够自动学习出与生理信号相关的视觉特征，无需任何标签或样本对比较。

3.2 损失函数设计

为了在无标签情况下引导模型学习，作者设计了三个关键的损失函数，均在频域（FFT 变换后）计算：

1. 带宽损失（Bandwidth Loss, $L_B$）： 生理信号（如心率）通常位于特定的频率范围内。该损失惩罚模型预测信号在正常生理带宽之外的功率。这迫使模型忽略与生理信号无关的噪声频率，学习到对无关频率的不变性。

2. 稀疏性损失（Sparsity Loss, $L_S$）： 真实的生理信号在频域上通常表现为稀疏的峰值（即能量集中在特定频率附近）。该损失鼓励模型在生理带宽内的功率谱分布更加稀疏，即能量集中在主峰附近，而非均匀分布。

3. 批次方差损失（Batch-wise Variance Loss, $L_V$）： 为了防止模型坍塌（Collapse），即所有输入都预测为相同的常数信号，该损失鼓励不同批次输入对应的功率谱之间保持足够的方差。这确保了模型能够捕捉到不同视频样本中生理信号的差异性。

总损失函数为这三者的加权和：$L_{total} = L_B + L_S + L_V$。

4. 实验验证与结果

4.1 无标签数据训练

本文进行了首次利用非 rPPG 专用、无标签视频数据训练鲁棒心率估计器的实验。这意味着训练数据不需要专门采集生理信号，只需普通的视频数据即可。这极大地降低了数据收集门槛，使得模型能够利用更广泛、更具代表性的视频数据进行训练。

4.2 损失函数消融实验

为了验证各个损失分量的有效性，作者在 UBFC-rPPG 数据集上进行了消融实验。图 2 展示了训练 20 个 epoch 后，使用不同损失组合的模型预测结果。

• 第一列展示了仅使用部分损失的情况。
• 后续列展示了组合使用所有损失后的效果。
• 实验结果表明，单独使用某些损失可能导致频谱分布不理想，而结合带宽、稀疏性和方差损失（即完整的 SiNC 框架）能够最有效地提取出清晰的周期性信号特征。

4.3 性能评估与可视化

图 3 进一步展示了模型在不同场景下的性能表现或信号质量对比。通过可视化分析，可以看到 SiNC 方法能够在没有真值标签的情况下，恢复出与真实生理信号高度一致的波形。这证明了仅凭周期性先验和频域约束，深度学习模型确实具备从视频中“发现”生理信号的能力。

5. 总结与展望

本文提出的 SiNC 框架是相机生命体征测量领域的一个重要突破。

1. 摆脱标签依赖：首次实现了非对比无监督学习用于生理信号回归，打破了 rPPG 研究对接触式传感器标签的依赖。
2. 数据扩展性：使得利用海量未标记视频数据训练模型成为可能，有助于提升模型在不同肤色、光照和运动条件下的鲁棒性。
3. 通用性潜力：由于归纳偏置（Inductive Biases）有限且仅依赖周期性假设，该方法理论上可推广至从视频中提取其他周期性或准周期性信号（如呼吸率等），为多参数无接触健康监测提供了新的技术路径。

代码已随论文公开，为后续研究提供了可复现的基础。这一工作标志着基于视频的生理信号分析从“监督学习”向“自监督/无监督学习”迈出了关键一步。