跳到正文
VitalLens 2.0: High-Fidelity rPPG for Heart Rate Variability Estimation from Face Video
cs.CV · · 收录于 arXiv 日报 20260614

VitalLens 2.0: High-Fidelity rPPG for Heart Rate Variability Estimation from Face Video

作者：Philipp V. Rouast

高精度 rPPG 模型，支持心率变异性 (HRV) 稳健估计。

阅读原文 (arXiv) PDF
rPPG 心率变异性 高精度

论文信息摘要

论文要解决什么

推出 VitalLens 2.0，通过新架构和大数据集提升精度。不仅能估计心率和呼吸率，还能稳健估计 HRV 指标。

论文方法概览

  • Backbone: （阅读笔记待补充）
  • 关键模块: （阅读笔记待补充）
  • 损失函数: （阅读笔记待补充）

读后要点

个人理解，欢迎指正

论文摘要要点：推出 VitalLens 2.0，通过新架构和大数据集提升精度。不仅能估计心率和呼吸率，还能稳健估计 HRV 指标。

局限与疑问

（阅读笔记待补充，欢迎讨论）

阅读笔记

以下为个人阅读笔记，原文见 arXiv:2510.27028v1。

论文精读：VitalLens 2.0 - 高保真 rPPG 心率变异性估计

1. 论文基本信息

  • 论文标题: VitalLens 2.0: High-Fidelity rPPG for Heart Rate Variability Estimation from Face Video
  • 论文 ID: 2510.27028v1
  • 作者: Philipp V. Rouast (Rouast Labs)
  • 核心领域: 计算机视觉 (Computer Vision), 远程光电容积脉搏波描记法 (rPPG), 生理信号估计
  • 主要目标: 提出一种新型深度学习模型，能够从面部视频中高保真地重建生理波形，从而准确估计心率 (HR)、呼吸率 (RR) 以及心率变异性 (HRV) 指标。

2. 研究背景与动机

远程光电容积脉搏波描记法 (rPPG) 利用标准视频信号估算生理信息，为非侵入式健康监测提供了巨大潜力。作者之前的版本 VitalLens 1.0 已经实现了实时心率和呼吸率的估计。然而，VitalLens 2.0 旨在实现从简单的“速率估计”（即寻找主频）到“高保真波形重建”的跨越。

这一转变的核心挑战在于，要准确分析心率变异性 (HRV)，需要精确到亚秒级的搏动间期 (Inter-Beat Intervals, IBIs) 时间准确性。传统的 rPPG 方法往往难以捕捉细微的搏动间变化，导致 HRV 指标估计不准。VitalLens 2.0 通过改进模型架构和扩大训练数据规模，致力于解决这一难题，实现更鲁棒的生理波形重建。

3. 核心贡献与创新

VitalLens 2.0 的显著提升主要归功于以下两个关键发展：

  1. 大规模且精心策划的训练数据集:

    • 结合了内部数据 (PROSIT) 和公开数据集 (Vital Videos)。
    • 所有样本均经过人工策划，确保视频和标签的高质量。
    • 最终训练集包含 1,413 名 独特的个体，相比 VitalLens 1.0 在规模和多样性上有了显著增加。
    • 数据涵盖了多样化的拍摄地点、光照条件、摄像头类型、背景以及未脚本化的参与者行为（包括手持设备带来的显著相机运动）。

  2. 新型模型架构与训练方法:

    • 基于 EfficientNet 骨干网络构建端到端深度卷积神经网络。
    • 引入了新颖的时序注意力机制 (temporal-attentive mechanisms)，专门用于提取高保真生理波形。
    • 设计重点在于最小化信号噪声，并保留收缩期峰值的精确时间位置，这是可靠提取 IBI 和进行 HRV 分析的关键前提。

4. 数据集详解

为了验证改进效果，作者建立了一个新的、大规模的组合测试集。该测试集与训练集和验证集在参与者层面完全分离 (participant-disjoint)，以确保评估的鲁棒性和无偏性。

4.1 训练数据集构成

训练集由 PROSIT 和 Vital Videos 的训练部分组合而成。根据文中表格信息，具体构成如下：

  • PROSIT (内部): 128 名参与者，5,700 个片段，16.8 小时。
  • Vital Videos (欧盟): 589 名参与者，2,238 个片段，9.3 小时。
  • Vital Videos (非洲): 383 名参与者，2,869 个片段，7.7 小时。
  • Vital Videos (南亚): 313 名参与者，3,887 个片段，10.8 小时。
  • 总计: 1,413 名参与者，14,694 个片段，44.6 小时。

数据集在人口统计学特征上保持良好平衡，包括性别均衡，并涵盖了所有六种 Fitzpatrick 皮肤类型。生理指标分布广泛，涵盖了广泛的心率变异性状态。

4.2 测试数据集构成

测试集包含来自四个公开和私有数据集的 422 名 独特个体，共 1,081 个视频片段。

  • 来源: PROSIT (内部), Vital Videos (欧盟/非洲/南亚), UBFC-Phys, UBFC-rPPG。
  • 处理: 所有视频片段被处理为 20-60 秒的持续时间，适合时域 HRV 分析。
  • 质量控制: 排除了已知标签质量或同步问题的样本（如 UBFC-Phys 的部分数据），以确保基准测试的公平可靠。

5. 模型架构与训练策略

5.1 模型架构

VitalLens 2.0 是一个端到端的深度卷积神经网络。

  • 输入: 人脸视频帧序列。
  • 输出: 两个连续时间序列信号——脉搏 (PPG) 波形和呼吸 (RESP) 波形。
  • 下游指标: 从这些波形中，使用行业标准信号处理技术衍生出心率 (HR)、呼吸率 (RR) 和 HRV 指标（如 SDNN, RMSSD, LF/HF）。
  • 核心设计: 架构特别关注最小化信号噪声，并保留收缩期峰值的精确时间位置。

5.2 训练与验证方法

  • 严格分离: 遵循严格的参与者分离方法。1,413 名训练个体用于优化参数，独立的验证集用于监控过拟合和超参数调整。
  • 基线对比: 为了公平比较，所有基于学习的基线模型（如 DeepPhys, MTTS-CAN, EfficientPhys）都在相同的 1,413 人训练数据集上从头重新训练。
  • 内部基线:
    • VitalLens 1.0: 原始模型，在较小数据集上训练。
    • VitalLens 1.1: 原始架构，在新的大数据集上重新训练。
    • 这种对比有助于隔离架构改进带来的性能增益与数据改进带来的增益。

5.3 HRV 计算流程

从预测的 PPG 波形估计 HRV 指标遵循多阶段信号处理流程：

  1. 峰值检测: 考虑信号显著性、宽度和相对于滚动频率估计的周期性，识别有效峰值。
  2. 过滤: 仅保留高置信度峰值。
  3. IBI 计算: 从峰值序列计算搏动间期 (IBIs)。
  4. 清洗: 插值超出生理合理范围的异常间隔（例如由于漏检或误检）。
  5. 指标计算: 从清洗后的 IBI 序列计算时域 (SDNN, RMSSD) 和频域 (LF/HF) 指标。

6. 实验结果与评估

6.1 评估指标

  • 波形级别: 皮尔逊相关系数 (r) 和信噪比 (SNR)。
  • 生理指标级别: 平均绝对误差 (MAE)，针对 HR, RR, SDNN, RMSSD, LF/HF。
  • 报告策略: 首先对属于单个个体的所有片段指标进行平均，然后再对这些个体分数进行平均。这防止了拥有更多视频片段的个体不成比例地影响聚合结果。

6.2 性能表现

在包含 422 名个体的组合测试集上，VitalLens 2.0 在几乎所有指标上都显著优于其他方法，确立了学习型 rPPG 模型的新最先进水平 (SOTA)。

关键性能数据 (按个体平均 MAE):

  • 心率 (HR): 1.57 bpm
  • 呼吸率 (RR): 1.08 bpm
  • HRV-SDNN: 10.18 ms
  • HRV-RMSSD: 16.45 ms

6.3 对比分析

VitalLens 2.0 显著优于：

  • 手工算法: 如 POS, G, CHROM。
  • 其他学习方法: 如 DeepPhys, MTTS-CAN, EfficientPhys。
  • 前代模型: 显著优于 VitalLens 1.0 架构。

文中 Figure 1 的描述展示了 VitalLens 2.0 生成的波形与真实值 (Ground Truth) 及其他模型 (VitalLens 1.0, POS) 的视觉对比。结果显示 VitalLens 2.0 实现了更高的保真度，能够准确重建收缩期峰值的精确时间。

7. 总结与展望

VitalLens 2.0 代表了 rPPG 技术的重要进步，成功将应用范围从简单的心率/呼吸率监测扩展到了高保真心率变异性 (HRV) 分析。通过结合大规模多样化数据集和优化的时序注意力网络架构，该模型在多个公开和私有数据集上均达到了新的性能基准。

该模型现已通过 VitalLens API 向开发者开放，使得开发者能够将稳健的实时 HRV 分析集成到其应用程序中。这一进展为非侵入式健康监测在移动设备和远程医疗场景中的广泛应用奠定了坚实基础。

本篇笔记收录于 arXiv 日报 20260614。更多综述见 博客归档 。