阅读笔记

以下为个人阅读笔记，原文见 arXiv:2506.09718v2。

论文精读：日常个人护理场景下的非接触式健康监测

1. 论文概览

本文题为《Non-Contact Health Monitoring During Daily Personal Care Routines》（日常个人护理场景下的非接触式健康监测），由青海大学、清华大学及华盛顿大学等机构的研究者共同完成。论文针对远程光电容积描记法（rPPG）在长期个人护理场景（如高海拔环境下的照镜 routine）中面临的环境光照变化、手部遮挡及动态面部姿态等挑战，提出了名为 LADH (Long-term Altitude Daily Health) 的长时 rPPG 数据集，并设计了多模态融合模型 FusionPhysNet。

研究核心贡献在于：

1. 构建了首个包含同步 RGB 和红外（IR）视频的长时 rPPG 数据集，涵盖 5 种常见个人护理场景。
2. 验证了 RGB 与 IR 视频融合输入能显著提升非接触生理监测的准确性与鲁棒性（心率估计 MAE 达 4.99 BPM）。
3. 证明了多任务学习（同时预测心率、呼吸率、血氧）能增强模型对多种生理指标的性能。

2. 研究背景与挑战

传统的生命体征测量方法（如心率 HR、血氧饱和度 SpO2、呼吸率 RR）通常需要笨重或侵入式的设备，限制了其在日常生活中的连续监测实用性。rPPG 技术利用摄像头检测皮肤反射率的微小变化，提供了一种非侵入式的替代方案。

然而，在真实世界环境中，rPPG 面临诸多挑战：

• 环境干扰：衣物、头发、化妆品、头部运动及环境光照变化。
• 场景局限：现有的公共基准数据集（如 PURE、UBFC-rPPG、SUMS）大多是在受控的实验室条件下采集的，通常涉及静止坐姿，未能捕捉日常个人护理活动（如刷牙、梳头）中的生理变化。
• 遮挡问题：个人护理过程中频繁的手部动作会导致面部遮挡，影响信号提取。

为了解决这些问题，本研究聚焦于日常个人护理场景，旨在填补长期、综合性用户研究中的鲁棒性研究空白。

3. LADH 数据集详解

LADH 数据集是本研究的核心基础，旨在支持 rPPG 方法在日常个人护理场景中的评估。

3.1 数据采集设置

数据采集在模拟的日常个人护理场景中进行。研究招募了 21 名研究生（年龄 23-28 岁）作为参与者。硬件配置包括：

• 摄像头：WN-12207K3321SM290 相机模块，同时捕获 RGB 和 IR 模态的面部视频（640×400 分辨率，30 FPS）。
• 生理真值设备：CMS50E 脉搏血氧仪（用于 PPG 和 SpO2，采样率 20 Hz）和 HKH-11C 呼吸传感器（用于呼吸模式，采样率 50 Hz）。
• 同步：所有视频帧和生理信号通过基于 PhysRecorder 的数据采集平台以毫秒级精度同步收集。

下图展示了数据采集时的实验设置，特别是参与者在刷牙时的场景，体现了真实环境下的遮挡挑战。

(摘自 PDF 第 1 页嵌入图，对应文中 Fig. 1：刷牙时的数据采集实验设置)

3.2 采集协议与场景

数据采集协议包含五种状态，部分参与者进行了为期 10 天的纵向研究（11 人），其余为单日记录（10 人）。具体场景如下：

1. 坐姿静止：佩戴传感器，面向摄像头，保持最小运动。
2. 坐姿个人护理：进行刷牙和梳头活动（包含面部遮挡）。
3. 站姿静止：与坐姿静止相同的传感器配置。
4. 站姿个人护理：站立状态下重复刷牙和梳头动作。
5. 运动后：进行中等强度运动（深蹲、高抬腿等）以诱导生理变化，随后坐姿记录。

下图直观展示了日常数据采集协议，参与者在不同状态下进行不同活动。

(摘自 PDF 第 2 页嵌入图，对应文中 Fig. 2：日常数据采集协议的视觉说明)

3.3 数据集对比

与现有数据集相比，LADH 具有显著优势。下表总结了 LADH 与 PURE、UBFC-rPPG、MMPD 和 SUMS 等数据集的对比：

LADH 引入了面部遮挡和变化的室内光照等挑战，为研究非接触生理信号测量的鲁棒性提供了宝贵资源。

4. 方法：FusionPhysNet

为了有效利用 LADH 数据集并解决多模态融合问题，作者提出了 FusionPhysNet 模型。该模型基于 PhysNet 架构进行了扩展。

4.1 输入嵌入与多模态融合

FusionPhysNet 引入了输入嵌入策略，处理来自两个模态（RGB 和 IR）的面部视频。两个视频流被预处理为帧序列，并通过共享的 3D 卷积编码器进行时空特征提取。通过整合两个模态的特征，模型能够更全面地理解个体的生理状态，有效结合表层和深层生理信号。这种多模态融合框架显著增强了模型在复杂现实场景中的性能。

4.2 神经网络架构

模型的整体架构如图所示。作者在 PhysNet 骨干网络基础上，在 FusionNet 中引入了模态感知融合机制。具体而言，采用了一种门控特征选择策略，根据全局上下文表示自适应地调节每个模态的贡献。这种设计使模型能够在变化的环境条件下（如光照变化）动态强调信息量更大的模态，从而增强生理信号估计框架的鲁棒性和泛化能力。

(摘自 PDF 第 2 页嵌入图，对应文中 Fig. 3：FusionPhys 模型架构，输入为面部 RGB 和面部 IR 帧，PPG、RR 和 SpO2 估计任务同时训练)

4.3 联合训练与损失函数

受多任务训练框架启发，作者将呼吸率（RR）估计纳入联合训练机制，允许同时优化心率（HR）、血氧（SpO2）和呼吸率（RR）预测任务。此外，引入了一种专门设计的损失函数来联合处理这三个目标。通过同时优化这三个目标，模型被引导学习更全面、信息量更大的特征表示。损失函数公式如下：

$\text{Loss} = \text{MSE}_{\text{BVP}} + \text{MSE}_{\text{RR}} + 0.002 \times \text{MSE}_{\text{SpO2}} \times (100 - \text{Mean}(\text{SpO2}))$

其中 $\text{MSE}_{\text{BVP}}$ 代表血容量脉冲（BVP）信号的均方误差，$\text{MSE}_{\text{RR}}$ 代表呼吸率误差。

5. 实验结果与分析

5.1 评估设置

评估采用了受试者独立（subject-independent）和按天划分（day-wise partitioning）两种方式。实验发现，按天划分能增强测量精度，这表明模型在不同日期的数据分布变化中具有一定的泛化能力。

5.2 主要发现

1. 多模态融合优势：结合 RGB 和 IR 视频输入，即使在刷牙和梳头期间存在频繁的面部遮挡，也能显著提高非接触生理监测的准确性。
2. 心率估计精度：在 LADH 数据集上，模型实现了 4.99 BPM 的心率估计平均绝对误差（MAE）。
3. 多任务学习增益：多任务学习在同时估计心率和呼吸率时增强了性能，证明了联合优化有助于捕捉复杂的生理动态。

6. 总结与展望

本文通过构建 LADH 数据集和提出 FusionPhysNet 模型，有效推进了非接触式健康监测在日常个人护理场景中的应用。研究不仅解决了光照变化、遮挡和动态姿态等实际挑战，还验证了多模态（RGB+IR）和多任务学习的有效性。

未来工作可能包括：

• 扩大数据集规模，涵盖更多样化的人群和环境。
• 探索更高效的轻量化模型，以便部署在边缘设备（如智能镜子）上。
• 进一步研究长期监测中的漂移问题，确保长期使用的稳定性。

代码与数据集已开源，地址为：https://github.com/McJackTang/FusionVitals。