반응형
Title: SleepVST: Sleep Staging from Near-Infrared Video Signals using Pre-Trained Transformers
Authors: Jonathan F. Carter et al.
Conference: CVPR 2024
Summarization
- 카메라 기반 수면 모니터링의 발전:
- 최근 카메라 기반 생리 신호 모니터링 기술이 발전하며, 비접촉 방식으로 호흡과 심박수를 정확하게 측정할 수 있게 되었음. 이들은 수면 단계의 중요한 지표임.
- SleepVST는 이러한 생리 신호를 활용하여 최신 기술을 적용한 수면 단계 분류 모델로, 접촉 센서와 근적외선 비디오로부터 수면 단계를 분류할 수 있음.
- 카메라 기반 수면 모니터링 방식에는 rPSG와 vPSG가 존재하는데, 모두 비접촉 방식으로 수면 중의 생리적 신호를 모니터링. rPSG는 원격 측정 기술을 이용해 심박수, 호흡률 등의 생체 신호를 피부 색의 헤모글로빈 수치 차이에서 나타나는 PPG정보 바탕으로 캡처하는 방식이며, vPSG는 비디오를 활용하여 수면 중 움직임, 호흡 패턴 등을 감지하고, 이를 바탕으로 수면 단계를 분석. vPSG는 특히 움직임을 통해 수면의 단계가 바뀌는 부분을 볼 때 수면 기사들이 돌려보는 역할으로 현재까지 주로 쓰이며, NIR를 사용하여 어두운 환경에서도 고해상도 데이터를 얻을 수 있다는 장점존재.
- SleepVST의 기능:
- 접촉 센서 데이터를 기반으로 사전 훈련된 SleepVST는 SHHS와 MESA 데이터셋에서 우수한 성능을 보였으며, Cohen’s kappa 점수가 각각 0.75와 0.77을 기록함.
- Transfer Learning을 통해 이 모델은 비디오 데이터만으로 수면 단계를 분류할 수 있으며, 비디오 데이터셋에서 78.8%의 정확도와 Cohen's κ 0.71을 달성함.
- 임상 환경에서의 활용 가능성:
- 이 모델은 특히 폴리솜노그래피(PSG)가 어렵거나 비실용적인 임상 및 노인 돌봄 환경에서 비접촉 방식으로 수면 모니터링을 가능하게 함.
- 기존 수면 비디오 연구에서는 PSG를 대체하기 어렵다고 생각이 들었음 (성능만 확인하였을 때) 그러나, 이 CVPR의 실린 이 논문으로 인해 videoPSG 시장을 개척하지 않았나 라고 생각함.
Introduction
- 수면 장애는 심혈관 질환, 신경퇴행성 질환 등 다양한 건강 문제와 관련이 있음. 정확한 수면 모니터링은 전통적으로 폴리솜노그래피(PSG)를 필요로 하지만, 이는 번거롭고 비용이 많이 듦.
- 카메라 기반 생리 신호 모니터링은 비침습적인 대안으로 제시됨. SleepVST는 근적외선 비디오에서 추출한 심장 및 호흡 신호를 이용하여 수면 단계를 분류하는 모델임.
- 기존의 수면 모니터링 방식은 주로 센서에 의존, SleepVST는 비디오 신호에서 bio정보 추출하여 수면 단계를 정확하게 예측.
- 이러한 비디오 기반 생체 신호 모니터링 기술은 CVPR에서 주목받는 영상 기반 생리학적 측정(Camera-Based Physiological Measurement) 분야에서 중요한 발전이라고 여기지 않았나 생각함.
Methodology
- 접촉 센서 데이터 기반 사전 훈련:
- 모델은 SHHS 및 MESA 데이터셋의 ECG(심전도) 및 호흡 신호를 기반으로 먼저 훈련됨.
- 이후, 이 모델을 비디오 데이터에 전이하여 근적외선 비디오에서 심장 및 호흡 신호를 추출하여 수면 단계를 분류함.
- 위의 그림 Figure 2 와 같이, 신호를 잘 추출해 낸 것을 확인할 수 있다.
- 비디오 데이터로의 전이 학습:
- SleepVST는 비디오 데이터에서 추출된 심장 및 호흡 파형뿐만 아니라, 비디오에서 추출한 움직임 특징을 함께 사용하여 수면 단계를 분류함. 이러한 움직임 특징은 영상의 광류(optical flow) 기반으로 측정된 신체 움직임 정보를 포함함.
Performance
- SleepVST는 센서 기반 및 비디오 기반 수면 단계 분류에서 모두 최신 성능을 보여줌.
- SHHS 데이터셋: Cohen’s κ = 0.75, 정확도 = 83%.
- MESA 데이터셋: Cohen’s κ = 0.77, 정확도 = 85%.
- 비디오 데이터셋 (Oxford Sleep Volunteers): Cohen’s κ = 0.71, 정확도 = 78.8%.
Discussion
- 기존 방법과의 비교:
- SleepVST는 여러 데이터셋에서 기존의 심호흡 수면 단계 분류 및 비디오 기반 모델을 능가하는 성능을 보임.
- 넓은 활용 가능성:
- 이 접근법은 비디오에서 심장 및 호흡 파형을 통해 부정맥 또는 수면 무호흡증과 같은 생리적 현상을 감지하는 데에도 활용될 수 있음.
- 내 생각.
- 성능 빼면, 왜 CVPR에 실렸는지 와닿지는 않는다.
반응형
