阅读笔记

以下为个人阅读笔记，原文见 arXiv:2404.13449v1。

论文精读：SiNC+ - 基于无监督学习的自适应摄像头生命体征监测

1. 研究背景与动机

随着计算机视觉技术的发展，基于摄像头的生命体征监测（Camera-based Vitals）已成为非接触式健康监测的重要方向。通过 RGB 视频提取微弱的周期性信号，如血容量脉搏（Blood Volume Pulse, BVP）和呼吸信号，可以实现低成本的远程生理参数估算。这一技术核心通常被称为远程光电容积脉搏波描记法（Remote Photoplethysmography, rPPG）。

尽管深度学习在 rPPG 领域取得了显著进展，但现有的方法主要依赖于监督学习，需要大量的带有接触式传感器（如 PPG 或 ECG）真值标签的视频数据进行训练。然而，收集此类数据面临巨大挑战：

1. 数据量大且质量要求高：需要长时间的高质量视频录制。
2. 多样性不足：在实验室环境下难以覆盖多样化的肤色、光照条件和运动场景。
3. 同步困难：视频与接触式生理信号的精确同步在技术上具有挑战性，且接触式测量本身也包含噪声。

为了解决数据稀缺问题，无监督学习（Unsupervised Learning）被视为一种有前景的解决方案。然而，现有的无监督 rPPG 方法多采用对比学习（Contrastive Learning），需要构建正负样本对，且通常缺乏对周期性信号先验信息的直接利用。此外，对比学习通常需要多主体数据集来形成负样本对，限制了其在单主体个性化场景中的应用。

2. 核心方法：SiNC+ 框架

本文提出了 SiNC+（Signal-based Non-contrastive），这是首个用于信号回归的非对比式无监督学习框架。该框架的核心思想是：仅需对信号的周期性和有限带宽做出最小假设，即可直接从无标签视频中挖掘出血容量脉搏信号。

2.1 框架概览

SiNC+ 摒弃了传统的对比学习范式（即不需要计算样本间的距离或构建正负对），而是直接在频域上对预测信号施加约束。其损失函数由三个主要部分组成，旨在塑造预测信号的功率谱特性：

1. 带宽限制（Bandwidth）：惩罚目标生理频带之外的功率，迫使模型关注相关频率。
2. 稀疏性（Sparsity）：鼓励目标频带内的功率集中在峰值频率附近，模拟真实生理信号的频谱特性。
3. 批次方差（Batch-wise Variance）：鼓励不同输入样本的功率谱之间存在方差，防止模型坍缩（Collapse）到单一解。

下图展示了 SiNC+ 框架与传统监督学习及对比式无监督学习的对比。可以看到，SiNC+ 直接将损失应用于预测结果，通过塑造频率谱来学习特征，而非依赖标签或样本对之间的距离度量。

图 1：SiNC+ 框架概览（摘自 PDF 第 2 页嵌入图，对应文中 Figure 1 描述）。展示了监督、对比式无监督与非对比式无监督（本文方法）的损失计算差异。

2.2 损失函数设计

SiNC+ 的损失函数 $L_F$ 可以表示为： $L_F = L_{bandwidth} + L_{sparsity} + L_{variance}$

• $L_{bandwidth}$：通过限制功率谱在特定生理带宽（如心率 0.8-3.5 Hz）之外为零，学习对无关频率的不变性。
• $L_{sparsity}$：在带宽内鼓励功率谱稀疏分布，即能量集中在基频及其谐波上。
• $L_{variance}$：在批次级别上鼓励功率谱的方差，确保模型能够区分不同样本的生理特征，避免输出恒定信号。

这种设计使得模型无需接触式真值标签，仅凭视频数据中的视觉特征和生理信号的物理先验即可进行训练。

3. 技术细节与原理分析

3.1 为何选择非对比式学习？

现有的无监督 rPPG 方法多采用对比学习（如 Gideon et al. [8]），通过频率重采样创建负样本。然而，这种方法存在局限性：

• 负样本不精确：重采样后的频率是已知的，直接惩罚与已知频谱的差异比“排斥”对更准确。
• 频谱重叠：即使心率不同，快速傅里叶变换（FFT）产生的频谱主瓣零点间隔可能较宽（例如 30 bpm），导致不同心率样本的频谱重叠，使得“排斥”操作不准确。

SiNC+ 通过直接优化频谱形状，避免了构建负样本对的复杂性。文中指出，即使不同主体具有相同的心率，通过批次方差约束也能保证模型学习到有效的特征表示。

3.2 频谱特性分析

为了说明频谱稀疏性和带宽限制的重要性，论文分析了 FFT 分解的特性。下图展示了频谱主瓣的零点分布情况，说明了为何简单的频谱距离度量在对比学习中可能失效（频谱重叠问题）。

图 2：频谱主瓣零点分析（摘自 PDF 第 2 页嵌入图，对应文中 Figure 2 描述）。展示了不同心率下频谱重叠的情况，解释了为何对比学习中的负样本排斥可能不准确。

通过鼓励稀疏功率谱，SiNC+ 能够更准确地定位基频，即使在频谱存在重叠的情况下也能有效区分信号。

4. 实验与应用场景

4.1 通用性与跨域应用

SiNC+ 的一个显著优势是其通用性。由于框架仅依赖于带宽限制和周期性假设，通过调整目标信号的带宽限制，同一方法可应用于不同的生理信号。

• 脉搏监测：使用典型的心率带宽（约 0.8-3.5 Hz）。
• 呼吸监测：通过调整带宽限制至呼吸频率范围（约 0.1-0.5 Hz），成功实现了基于摄像头的无监督呼吸估算。这是首次利用无监督学习进行远程呼吸估算的实验。

4.2 非 rPPG 专用数据训练

大多数现有的 rPPG 研究依赖于专门采集的基准数据集。本文进行了首次实验，利用非专门用于 rPPG 的无标签视频数据来训练鲁棒的脉搏率估算器。这证明了 SiNC+ 能够从通用视频数据中学习视觉特征，极大地扩展了潜在的训练数据来源。

4.3 个性化与自适应微调

传统的无监督深度学习方法通常旨在大规模数据集上训练。SiNC+ 展示了其在单主体数据上的微调能力。通过在单个受试者的短片段无标签视频上进行微调，模型可以实现个性化和自适应的信号回归。这对于隐私敏感的应用场景（如家庭健康监测）具有重要意义，允许模型在本地数据上适应特定用户的生理特征和成像条件。

5. 总结与展望

本文提出的 SiNC+ 框架为基于摄像头的生命体征监测带来了新的范式。其主要贡献包括：

1. 提出了首个用于信号回归的非对比式无监督学习框架。
2. 成功将 SiNC 应用于无接触脉搏和呼吸波形测量。
3. 首次展示了在无标签、非 rPPG 专用视频数据上训练远程脉搏估算器的可行性。
4. 验证了框架在单主体数据上进行个性化微调的有效性。

SiNC+ 通过利用频域先验和批次方差约束，有效规避了对昂贵标签数据的依赖。未来，随着该框架在更多生理信号和复杂场景下的验证，有望推动非接触式健康监测技术从实验室走向实际部署，特别是在数据隐私和个性化需求日益增长的背景下。