ABSTRACT
Despite the increasing focus on the mental health of older adults and active senior populations, assessment tools still lag behind those for physical health monitoring. To bridge this gap, this study introduces an AI chatbot-based multimodal stress monitoring system that utilizes emotion recognition and heart rate variability (HRV). The system analyzes chatbot conversations, video, audio, and heart rate signals to assess facial expressions, speech emotions, and HRV, allowing for stress evaluation and user stratification into risk groups. Negative emotions are quantified and combined with HRV data to generate a stress score. Facial and speech emotion models were trained on the RAVDESS, CREMA, and TESS datasets, yielding 21,000 augmented samples through a BiLSTM network. Additionally, a deep learning-based HRV model utilized data from smartwatches to predict stress levels. By integrating facial, vocal, and HRV features through weighted fusion, the system produces a comprehensive stress index that categorizes users Healthy, Caution, Risk. This approach facilitates continuous monitoring at home, supporting early detection for preventive care and informed clinical decision-making.
-
KEYWORDS: Mental health monitoring, Multimodal stress detection, AI chatbot, Emotion recognition, Heart rate variability
-
KEYWORDS: 정신건강 모니터링, 멀티모달 스트레스 감지, AI 챗봇, 감정인식, 심박변이도
1. 서론
현대 사회에서 정신건강 문제는 전 세계적인 공중보건 과제로 부상하고 있다. 세계보건기구(WHO)에 따르면 우울증은 전 세계적으로 2억 8천만 명 이상이 겪는 질환으로 보고되며 고령화가 가속됨에 따라 중·장년층과 은퇴 이후의 고령층에서 정신 건강 문제 또한 두드러지게 나타나고 있다[
1]. 이른바 ‘액티브 시니어(Active Senior)’라 불리며 은퇴 후에도 활발한 사회활동을 이어가는 세대는 신체적 건강 못지않게 정신적 건강 관리가 중요함에도 불구하고, 사회적 관계 축소, 경제적 부담, 신체 기능 저하 등 복합적인 요인으로 인해 우울감과 스트레스에 취약하다[
2]. 이러한 배경에서 정신건강 문제를 조기에 발견하고 효과적으로 관리할 수 있는 방안의 필요성 또한 커지고 있다.
최근에는 기존의 대면 상담이나 병원 기반 치료에서 벗어나, 인공지능(AI)과 디지털 기술을 활용한 정신건강 관리 서비스가 활발히 연구되고 있다. 특히 코로나19 팬데믹 이후 비대면 의료 및 디지털 헬스케어 수요가 급격히 증가하면서 모바일 애플리케이션, 온라인 상담 플랫폼, VR 및 AI 챗봇 등을 활용한 다양한 정신건강 관리 서비스가 도입되고 있다[
3-
5].
선행연구에서는 문자 메시지를 활용하여 우울증 증상을 탐지하거나 소셜 미디어 사용 시간과 활동 데이터를 분석하여 정신건강 상태를 예측하는 시도가 이루어졌다. 또한 SNS 게시글 분석을 통한 우울증 발병 가능성 추정, 전화와 문자를 통한 정신건강 진단 및 원격 치료를 제공하는 시스템이 제안되기도 하였다[
6,
7]. 그러나 이들 연구는 대부분 텍스트 기반 데이터에 국한되어 있다는 한계를 지닌다.
일부 연구에서는 얼굴 표정을 분석하여 감정을 추정하거나, 심박변이도(Heart Rate Variability, HRV)와 같은 생체 신호를 활용해 스트레스 수준을 평가하기도 하였다[
8-
11]. 이러한 접근 역시 단일 모달리티에 초점을 맞추고 있어 사용자의 정신건강 상태를 종합적으로 반영하기 어렵고 측정 정확성이 제한될 수 있다. 이 때문에, 최근의 디지털 헬스케어 연구는 다중 모달리티(Multi-modality) 기반 접근으로 확장되는 추세이다. 이는 단일 데이터가 가지는 한계를 보완하고 다양한 신호를 융합하여, 보다 정밀한 분석을 가능하게 한다. 그러나 감정 인식과 스트레스 예측을 동시에 수행하거나, 복잡한 생체 측정 기기 없이도 일상적인 환경에서 활용할 수 있는 시스템은 부족한 실정이다[
12,
13].
이에 본 연구에서는 기존 한계를 극복하고 일상 환경에서 활용 가능한 AI 챗봇 기반 멀티모달 정신건강 모니터링 시스템을 제안한다. 제안된 시스템은 사용자가 챗봇과 상호작용하는 과정에서 오디오와 비디오 데이터를 동시에 수집하고, 스마트워치를 통해 심박수 데이터를 획득하는 방식을 취한다. 이후 다양한 머신러닝 기법을 적용하여 멀티모달 스트레스 지수를 산출함으로써 사용자의 스트레스 수준을 평가한다.
제안된 시스템은 감정 인식과 생체신호 분석을 통합한 접근을 통해 별도의 전문 장비 없이 카메라와 마이크, 스마트워치만 으로 스트레스 수준 평가가 가능해 접근성과 편의성이 높다. 또한 일상적 환경에서 사용자의 상태를 반영하므로 단순한 진단이 아닌, 지속적 모니터링과 건강관리의 개념으로서 예방적 차원의 정신건강 관리에 기여할 수 있다. 따라서 본 연구는 멀티 모달리티 데이터를 통합적으로 분석하는 대화형 AI 챗봇 기반 스트레스 모니터링 시스템을 제안하며 이를 통해 기존 연구의 한계를 보완하고 고령층을 포함한 현대인의 정신건강 관리에 실질적으로 기여할 수 있을 것으로 기대한다.
2. 연구 방법
2.1 연구 목표 및 방법
본 연구는 AI 챗봇과의 대화에서 비디오, 오디오, 심박수 데이터를 머신러닝을 통해 분석하여 사용자의 스트레스 수준을 평가하는 것을 목표로 하였다.
Fig. 1은 개발된 스트레스 모니터링 시스템의 개략도이다. 멀티 모달리티를 활용하여 스트레스를 평가하는 방법은 다음과 같다.
1) 오디오와 비디오를 통해 수집된 사용자의 음성과 표정에서 특징을 추출하여 감정인식을 수행한 다음 멀티모달 감정인식 모델을 통해 종합한다.
2) AI 챗봇과 대화하는 동안 측정한 심박수 데이터를 심박변이도로 변환한 후, HRV 기반 스트레스 예측 모델에 입력하여 스트레스 여부를 이진분류한다.
3) 멀티모달 감정인식과 HRV기반 스트레스를 시간순으로 정렬하여 부정적 감정과 HRV 기반 스트레스가 동시에 검출된 경우 스트레스가 있는 것으로 간주한다.
4) 전체 결과 중 스트레스로 판단된 비율을 ‘AI 스트레스 지수(AI Stress Score)’로 정의하고, 이를 사용자의 스트레스 자각 척도(Perceived Stress Scale, PSS)와 비교하여 실제 스트레스 수준과 매핑한다.
2.2 표정 감정인식
실시간 표정 감정 인식을 위해 Ryumina et al. (2022)이 제안한 end-to-end 프레임워크를 활용하였다[
14]. 이 모델은 대규모 표정 인식 데이터셋인 AffectNet과 FER2013으로 학습되었다[
15,
16].
영상 스트림의 각 프레임에서 얼굴 영역을 탐지하고 주요 특징점을 식별하는 데에는 Google의 Media Pipe Face Mesh 솔루션을 활용하였다. 탐지된 얼굴 특징점들을 기반으로 사각형 경계를 설정하였으며 이를 통해 전체 프레임에서 얼굴 부분만을 관심 영역 (Region of Interest, ROI)으로 추출하였다. 이렇게 추출된 얼굴 ROI는 모델의 입력 크기와 동일하게 224 × 224 픽셀로 조정된 후 PyTorch 텐서(Tensor)로 전처리되었다.
전처리가 완료된 텐서는 표정 감정 인식 모델에 입력되었으며 7개 감정 클래스(중립, 행복, 슬픔, 놀람, 공포, 혐오, 분노)에 대한 로짓(Logit) 값이 산출되었다. 이 값에 식(1)과 같이 소프트맥스(Softmax) 함수를 적용하여 각 감정의 확률 분포를 얻을 수 있으며 zi는 i번째 감정 클래스에 대한 로짓을 의미하고 Pi는 해당 감정일 확률을 나타낸다.
이 확률 분포 벡터에서 가장 높은 값을 가진 클래스를 해당 프레임의 최종 인식 감정으로 결정하였으며 이 확률값은 인식 결과의 신뢰도(Confidence Score)와 함께 기록된다.
2.3 음성 감정인식
2.3.1 데이터셋
음성 감정인식 모델은 공개 데이터셋 ‘TESS (Toronto Emotional Speech Set; Pichora-Fuller & Dupuis, 2010)’와 ‘RAVDESS (Ryerson Audio-Visual Database of Emotional Speech and Song; Livingstone & Russo, 2018)’를 활용하여 학습되었다[
17,
18]. TESS 데이터셋은 분노(Anger), 혐오(Disgust), 두려움(Fear), 행복(Happiness), 기쁜 놀람(Pleasant Surprise), 슬픔(Sadness), 중립(Neutral), 평온(Calm)의 8가지 감정을 표현하였으며 RAVDESS 데이터셋은 TESS와 동일한 감정에 평온(Calm)을 제외한 총 7가지 감정을 포함한다.
또한 모델의 일반화 성능 향상을 목표로 다음의 데이터 증강 기법을 사용하여 TESS와 RAVDESS 두 가지 데이터셋을 확장하였다.
1) 오디오의 최대 진폭을 기준으로 표준편차 0.002를 갖는 백색 가우시안 잡음(White Gaussian Noise)을 추가한다.
2) 오디오의 음 높이를 각각 1 반음 상향 및 하향 조정한다.
증강한 데이터는 2초 내외의 오디오 파일 21,004개이며 구성은
Table 1과 같다. 이러한 증강을 통해 오디오 데이터의 감정 내용은 왜곡하지 않으면서도 실사용 환경에서의 잡음이나 발화톤의 변화에 더욱 유연하게 대응하고자 하였다.
2.3.2 특징 추출
오디오 데이터로부터 세 가지 주요 음향 특징이 추출되었다. 먼저, MFCC (Mel-frequency Cepstral Coefficients)는 인간 청각 시스템의 주파수 인지 특성을 모방한 대표적인 음성 특징으로 목소리의 톤과 음색 등 소리의 질감을 반영한다. 음성의 동적 변화를 고려하기 위해 MFCC의 시간 변화율 또한 1차 및 2차 미분하여 각각 추가적인 특징으로 추출하였다. 더불어 각 주파수 대역에서 피크와 밸리 간의 차이를 측정하여 음성의 밝기와 음색 차이를 반영하는 스펙트럼 대비(Spectral Contrast) 및 각 시간 프레임에서의 전체적인 소리의 크기와 강도를 나타내는 RMS (Root Mean Square) 값을 특징으로 활용하였다.
2.3.3 머신러닝 아키텍처 및 모델 성능 평가
음성 데이터의 특징은 총 4가지 아키텍처를 통해 학습되었다. 비언어적 맥락 파악에 유리한 머신러닝 아키텍쳐들을 서로 비교하여 가장 우수한 모델을 사용하고자 하였으며 비교대상으로 선정된 모델은 LSTM (Long Short-term Memory), GRU (Gated Recurrent Unit), BiLSTM (Bidirectional LSTM), Transformer이다.
모델 학습은 입력 데이터 크기, 옵티마이저, 가중치 감쇠, 배치 사이즈, 활성화 함수, 에폭을 통제하여 수행되었다. 구체적인 학습 파라미터는
Table 2와 같다.
4가지 모델의 학습 결과는 F1-Score와 Confusion Matrix를 기준으로 평가하였다. F1-Score는 정밀도(Precision)와 재현율(Recall)의 조화평균으로써 두 지표 간의 균형을 고려하여 모델의 종합적인 분류 성능을 평가하는 지표이다. 정밀도는 모델이 예측한 긍정 결과 중 실제로 맞은 비율을 의미하고 재현율은 실제 긍정 사례 중 모델이 긍정 사례를 정확하게 찾아낸 비율을 의미한다. F1-Score는 이 두 값을 동시에 고려함으로써 모델의 전반적인 성능을 평가할 수 있다.
Table 3에서 확인할 수 있듯 실험한 모델 모두 전반적으로 준수한 성능을 보였다. 특히 BiLSTM이 가장 안정적인 성능을 보였는데 특정 감정에서 예측 정확도가 떨어지거나 혼동이 두드러지는 경향이 가장 적었다.
LSTM, GRU, Transformer로 학습된 모델은 일부 감정에서 F1-Score가 떨어지는 약점을 보였다. LSTM은 평온(Calm)과 슬픔(Sad)을 일부 혼동하였고 GRU는 슬픔(Sad)을 두려움(Fear)이나 평온(Calm)으로 오인하는 경향이 관찰되었으며 Transformer 모델은 슬픔(Sad)과 중립(Neutral)을 혼동하는 양상을 보였다.
결과적으로, F1-Score와 Confusion Matrix 모두에서 안정적인 성능을 보인 BiLSTM 모델을 음성 감정인식 모델로 최종 선정하였다.
2.4.1 데이터셋
HRV기반 스트레스 분석에는 공개 데이터셋인 SWELL Knowledge Work (SWELL-KW) (Koldijk et al., 2014)을 사용하였다[
19]. SWELL 데이터셋은 일상적 사무 업무를 수행하는 25인의 참가자에게 ‘시간 압박’과 ‘업무 방해’ 스트레스를 주면서 심전도(ECG), 피부 전도도, 안면 근전도를 측정한 데이터셋이다. 본 연구에서는 심전도 데이터만을 사용하여 학습을 수행하였다. 또한 ‘시간 압박’과 ‘업무 방해’를 ‘스트레스 있음’ 상태인 1로 정의하고 기존 데이터셋의 ‘no stress’ 라벨을 ‘스트레스 없음’ 상태인 0으로 정의한 뒤 이진 분류하였다.
SWELL 데이터셋의 심전도 데이터를 HRV(심박변이도)로 가공하는 방법은 다음과 같다.
1) 심전도 신호에서 심장 박동에 해당하는 R-peak를 감지한다.
2) 연속된 R-peak 사이의 시간 간격인 RR-interval을 측정한다.
3) RR-interval을 바탕으로 평균 심박수를 계산하고 이로부터 식(2)와 같이 HRV의 특징인 RMSSD (Root Mean Square of Successive Differences)을 추출한다.
RMSSD는 연속적인 RR-interval의 제곱에 대한 평균을 구한 뒤 그 값에 제곱근을 취하여 계산되며 이때 RRi는 i번째 심박과 그 다음 심박 사이의 시간 간격, N은 전체 간격의 개수를 의미한다.
이는 안정 및 휴식 상태에서의 부교감신경 활성도를 반영하는 대표적 지표로서 HRV 기반 스트레스 예측 모델의 입력으로 활용되었다. 총 36,920개의 RMSSD 데이터가 학습에 사용되었다.
2.4.2 머신러닝 아키텍처 및 모델 성능평가
HRV 기반 스트레스 예측 모델은 HRV를 통해 스트레스 유무를 이진 분류하는 것을 목표로 한다. 데이터 전처리 단계에서 모든 연속형 특징을 표준화(Standardization; 평균 0, 분산 1) 처리하여, 서로 다른 범위의 특징들이 학습 과정에서 균등하게 기여하도록 하였으며 학습 파라미터는
Table 4와 같이 설정하였다.
모델 구조는 다층 퍼셉트론(Multi-Layer Perceptron, MLP)을 채택하여 설계하였다. 입력층은 HRV 특징 벡터 차원에 맞추어 구성하였고 은닉층은 각각 50개와 20개의 노드를 갖는 두 개의 레이어로 이루어졌다(
Fig. 3). 출력층은 이진 분류를 위해 단일 뉴런과 시그모이드 활성함수를 적용하였다. HRV 특징은 구조화된 실수형 데이터로서 저차원 요약이 가능하다. 따라서 적은 수의 파라미터로 비선형성을 학습하면서도 과적합 위험을 줄일 수 있다.
학습 결과 곡선은
Fig. 4에 제시하였으며, 최종적으로 모델은 검증 정확도 98.2%, 검증 손실 0.051을 기록하여 안정적인 학습 성능을 보였다.
표정 인식은 특정 시점에서의 정적인 특징을 포착하는 반면, 음성 인식은 일정 구간(예: 2초)의 연속적인 신호를 분석하여 감정을 추정한다. 시간적 처리 단위 차이로 인해 두 모달리티가 동일한 시간축에서 유기적으로 연결되지 못할 경우 결합된 결과의 신뢰성이 저하될 수 있다.
해당 문제를 해결하기 위해 음성 감정인식 시점의 표정 변화를 동적 시퀀스 형태로 모델에 입력하여 학습하는 방법을 고안하였다. 음성 분석 구간(약 2초) 내에서 동일 간격으로 표정을 다섯 차례 추출하여 시퀀스로 구성하고 해당 시퀀스를 음성 인식 결과와 함께 학습시킴으로써 Ground Truth와의 대응성을 강화하는 방법이다. 즉, 하나의 음성인식 결과는 다섯 개의 표정인식 결과와 매칭되며 하나의 모델 입력으로 사용된다. 이때 프레임의 개수는 예비 실험을 통해 경험적으로 결정되었으며, 다섯 개의 대표 프레임을 사용하는 것이 계산 효율성과 인식 정확도 간의 균형을 가장 잘 유지하는 것으로 나타났다.
이러한 접근은 단일 시점의 표정 인식 결과와 일정 기간의 음성 인식 결과를 단순 병합하는 기존 방식의 한계를 보완한다. 이로써, 서로 다른 시간적 스케일을 갖는 모달리티 간의 상호보완적 관계를 효과적으로 반영하였다.
Fig. 5는 멀티모달 감정인식 학습에 사용된 데이터셋의 일부이다. 본 연구에서 개발한 감정인식 모델로 RAVDESS를 감정 분석하여 데이터셋을 구성하였다.
Fig. 5에 제시하였듯 하나의 행은 데이터 라벨 정보인 파일 이름과 오디오 및 비디오 감정인식 결과, 예측 확신도를 담고 있다. 이를 시퀀스로
Table 5와 같이 LSTM 기반 학습을 수행하였으며 학습된 데이터는 2,353개이다.
2.6 AI 스트레스 지수 도출
‘AI 스트레스 지수(AI Stress Score)’는 멀티모달 감정인식과 HRV 기반 스트레스 예측 결과를 정량적으로 통합하기 위해 제안되었다. 이 지수는 챗봇과의 대화 세션 전체에서 스트레스 반응이 얼마나 빈번하게 나타나는지를 백분율로 나타낸 값이다.
AI 스트레스 지수는 2초마다 동기적으로 생성되는 데이터 쌍을 기반하여 산출된다. 해당 데이터 쌍이 '스트레스 이벤트'에 해당하는지를 판단하는 방법은
Table 6를 예로 들어 설명할 수 있다.
2초마다 수집되는 감정 및 HRV 데이터 쌍은 하나의 ‘분석 단위(Analysis Unit)’로 간주되는데, 이때 각 분석 단위 i에 대해 ‘스트레스 이벤트’의 발생 여부 StressEventi는 식(4)와 같이 정의한다.
StressEventi
식(3)과 같이 Snegative는 슬픔(Sad), 분노(Angry), 두려움(Fear), 혐오(Disgust)를 포함하는 부정 감정의 집합을 의미한다. 즉, 특정 분석 단위에서 감정이 부정적이면서, 동시에 HRV 기반 스트레스가 탐지될 경우에만 스트레스 이벤트가 발생한 것으로 간주한다.
따라서
Table 6의 경우, 부정 감정과 HRV 기반 스트레스가 동시에 검출된 8초와 10초 두 개의 분석 단위만 스트레스 이벤트가 발생한 것으로 판단한다.
멀티모달 정신건강 모니터링 시스템은 감정인식과 생체신호를 통합적으로 고려하므로 종래의 정신건강 지표와는 다른 판단 척도를 요한다. 이에 AI 스트레스 지수와 실제 스트레스 수준 간의 관계성을 탐색하고자 자체 테스트를 설계하였다.
해당 테스트는 스트레스 측정에 널리 쓰이는 ‘지각된 스트레스 척도(Perceived Stress Scale, PSS)’를 활용하여 설계되었으며 본 연구에서는 국립 정신건강 센터의 한국인 정신건강 척도 연구에서 제시한 PSS 10문항을 사용하였다[
20]. 실제 사용자의 지각된 스트레스 수준과 AI 스트레스 지수를 매칭하여 Ground Truth를 측정하는 것을 목표로 하였으며 20대 남성 2인과 여성 1인, 총 3인으로 테스트를 수행하였다. 테스트 방법은 다음과 같다.
1) 참가자들은 ‘지각된 스트레스 척도(Perceived Stress Scale, PSS)’ 10문답 설문지를 작성한다.
2) 참가자들은 심박수 기록이 가능한 스마트워치를 착용한 채, AI 챗봇과 대화하며 비디오 일기를 녹화 및 녹음하였다.
3)약 2주의 간격을 두고 1), 2)를 반복하여 총 9건의 데이터를 수집하였다.
테스트 결과는 PSS 척도와 AI 스트레스 지수 체계를 통해 각각 분석되었으며 특정 범위의 AI 스트레스 지수가 어느 수준의 PSS 점수에 해당하는지 매핑하는 방식을 취하였다.
2.8 AI 챗봇 시스템 구성
2.8.1 STT (Speech To Text) 음성인식 챗봇
본 시스템의 핵심 상호작용 매체인 AI 챗봇은 사용자와의 대화를 통해 스트레스 분석에 필요한 데이터를 수집하도록 설계되었다.
액티브 시니어와 노년층을 타깃으로 하므로 타이핑 입력 없이 음성만으로 소통하는 음성-텍스트 변환(Speech-to-Text, STT) 기반의 인터페이스를 채택하였다. STT 기능은 OpenAI가 개발한 대규모 다국어 음성 인식 모델을 기반으로 구현하였다[
21].
사용자가 웨이크 워드(Wake Word)를 발화하면 시스템은 자동으로 대화 내용 녹음, 영상 녹화, 그리고 STT 로그 기록을 시작한다. 모든 로그에는 타임스탬프가 부여되어, 멀티모달 데이터 분석 시 시간 정렬을 맞추는 기준으로 사용된다. 생성된 대화 로그는
Fig. 6과 같이 실시간으로 화면에 표시되며 세션 종료 후 분석을 위해 CSV 파일 형태로 저장된다. 세션 종료 역시 웨이크 워드를 통해 이루어지는데 세션 시작과 종료를 알리는 웨이크 워드는 각각 “Start Recording”, “Stop Recording”으로 설정하였다.
2.8.2 챗봇 프롬프트 설계
챗봇의 대화 생성 기능은 Cerebras API를 통해 Llama3.1-8B 모델 기반으로 구현되었다. 사용자의 감정 상태나 스트레스 수준을 자연스럽게 파악하기 위해, 임상적으로 널리 사용되는 ‘지각된 스트레스 척도(PSS)’의 질문 항목들을 챗봇의 대화 프롬프트에 통합하였다.
프롬프트에 명시된 챗봇의 역할은 임상적인 테스트 도구가 아닌, 친근하고 공감 지능이 높은 정신 건강 상담사로서 사용자와 주기적으로 대화하며 경청하고 지지하는 역할을 수행한다. 사용자의 상태 요약 및 진단, 점수화는 프롬프트에서 명시적으로 금지하였다. 대화의 목적과 원칙, 소통 방식은 다음과 같다.
1) 최근 스트레스 수준을 자연스럽게 되돌아보는 것을 목표로, 지각된 스트레스 척도(PSS)에서 영감을 받은 질문을 하되 척도를 직접 언급하거나 설문조사처럼 질문해서는 안 된다.
2) 주요 대화 주제는 일상적인 내용을 다루면서도 ‘예상치 못한 일에 대한 감정적 반응’, ‘삶에 대한 통제감’, ‘긴장감이나 스트레스 감각’, ‘문제 해결에 대한 자신감’, ‘상황이 순조로운지 또는 벅차게 느껴지는지’, ‘통제 불가능한 상황에 대한 대처 방식’으로 설정한다.
3) 따뜻하고 부드러우며 공감하는 어조를 유지하고 정해진 답이 없는 개방형 질문을 하여 사용자의 생각을 유도한다.
이러한 프롬프트로 구성된 챗봇과의 대화는
Fig. 6의 예시를 통해 자세히 확인할 수 있다.
예를 들어 “지난 한 달 동안 해야 할 모든 일들을 잘 대처할 수 없다고 느낀 적이 얼마나 있었나요?”라는 설문 문항에 대해 “어떤 점이 특히 힘들거나 스트레스를 주는지, 혹시 매듭이 풀리지 않는 것처럼 느껴지는 특정 프로젝트나 과제가 있는지 좀 더 자세히 말씀해 주시겠어요?”라고 변주함으로써 스트레스의 구체적인 원인을 추가 질문하여 대화를 이어갔다.
또한 "지난 한 달 동안 개인적인 문제들을 처리하는 자신의 능력에 대해 자신감을 느낀 적이 얼마나 있었나요?"와 같은 설문 문항에 대해 “지금까지 해온 준비 과정이 불안한 마음을 진정시키는 데 도움이 되었나요, 아니면 아직 불안감이 좀 남아있나요?"와 같이 불안감 진정 여부를 물으며 스트레스 대처 방식과 그 효능을 파악하려 하였다.
이를 통해 시스템은 정형화된 설문조사의 불편함 없이 일상적인 대화 속에서 사용자의 스트레스 관련 경험을 유도하고 관련 데이터를 효과적으로 수집할 수 있다.
3. 연구 결과
3.1 멀티모달 감정인식 모델 예측 결과
Table 7과
Fig. 7은 멀티모달 감정인식 모델의 학습 결과이다. 대부분의 감정에서 F1-Score가 0.94 이상이며 분노(Angry), 혐오(Disgust), 놀람(Surprise) 감정에서는 0.99 이상의 높은 정확성을 보였다. 이는 특징이 뚜렷한 감정들에 대해 모델이 성공적으로 학습했음을 의미하며
Fig. 7 Confusion Matrix를 통해 특정 감정을 다른 감정으로 오인하는 경우 또한 드물었다는 사실 또한 확인할 수 있다.
그러나, 중립(Neutral) 감정에서는 F1-Score 0.86으로 다소 약세를 보였는데,
Fig. 7을 통해 평온(Calm)의 6.7 % 가량이 중립으로 오인되었음을 알 수 있다. 중립과 평온은 분노, 혐오, 놀람과는 달리 음성의 고저나 강세에서 뚜렷한 표정 특징을 보이지 않는다. 즉, 감정 자체가 가진 표정과 음성 특성이 뚜렷하지 않아 학습에서도 어려움을 보였다고 할 수 있다.
중립 외에도 일부 혼동이 발생한 지점은 감정적 유사성을 보인다. 슬픔(Sad)이 중립이나 두려움(Fear)으로 오인되거나, 행복(Happy)이 평온으로 오인되는 경향이 관찰되었는데 이는 음성의 리듬 및 높낮이 변화, 속도 등 운율적 특징을 반영하는 특징 추출법을 추가 사용하여 구분할 수 있을 것으로 예상한다.
3.2 AI스트레스 지수와 PSS 간 상관관계 분석
본 연구의 2.7절에서는 AI 스트레스 지수가 실제 사용자의 주관적 스트레스 수준과 어떠한 관계를 갖는지 탐색하기 위한 자체 테스트 설계를 다루었다. 실험은 참가자 3인이 2주 간격으로 수행한 3회의 세션, 총 9건의 데이터로 구성되었다.
Table 8은 테스트를 통해 얻은 결과로써 세션 번호는 시간순으로 매겼으며 참가자 개인은 A, B, C로 구분하여 나타내었다.
두 지표 간의 상관관계를 시각적으로 분석하기 위해
Fig. 8과 같이 산점도를 작성하였다. 산점도에서 가로축은 AI 스트레스 지수, 세로축은 PSS 설문 점수를 나타낸다. 그래프에서 확인할 수 있듯 AI 스트레스 지수가 증가함에 따라 PSS 점수 또한 증가하는 상관관계가 관찰되었다.
산출된 AI 스트레스 지수를 실제 스트레스 수준으로 해석하기 위해 임상적으로 통용되는 PSS 점수 해석 기준을 참고하였다. 일반적으로 PSS 점수는 13점 이하를 ‘정상’, 16점 이상을 ‘중간 수준 스트레스’, 19점 이상을 ‘높은 수준의 스트레스’로 해석한다.
Fig. 8 그래프에서 AI 스트레스 지수가 50% 이상인 참가자들은 PSS 점수 18점 이상을 보였으며 AI 스트레스 지수가 30% 이하인 참가자들은 한 경우를 제외하고는 13점 이하의 PSS 점수를 보였다. 이러한 관계를 바탕으로 AI 스트레스 지수의 해석 기준을 0 -3 0% ‘ 건강(Healthy)’, 31-50% ‘주의(Caution)’, 50% 이상 ‘위험(Risk)’ 단계로 정의하였다.
추가적으로, 단일 모달리티의 기여도를 파악하기 위해
Figs. 9 및
10과 같이 각 모달리티를 개별적으로 피어슨 상관분석(Pearson Correlation Analysis)하였다. 피어슨 상관계수(r)는 두 변수 간의 선형적 관계 강도와 방향을 나타낸다. r이 1에 가까울수록 강한 양의 상관관계를 나타내며 -1에 가까울수록 강한 음의 상관관계를 의미한다. 또한 유의확률(p-value)은 이러한 상관이 우연히 발생했을 가능성을 나타내며, 일반적으로 p < 0.05 일 경우 통계적으로 유의한 관계로 판단한다.
분석 결과, HRV 기반 스트레스 지수는 PSS 점수와 중간 정도의 유의한 양의 상관관계(r = 0.69, p = 0.042)를 보였으며 이는 생리적 반응을 반영한 HRV 특성이 자가보고식 스트레스 수준과 일관된 경향을 나타냄을 시사한다. 반면 부정 감정 비율은 PSS 점수와 양의 상관(r = 0.49, p = 0.178)을 보였으나 통계적으로 유의한 수치에는 미치지 못했다.
HRV와 감정 정보를 융합한 멀티모달 AI 스트레스 지수는 PSS와 가장 높은 상관관계(r = 0.79, p = 0.011)를 나타냈다. 이러한 결과는 HRV 기반 생리적 특성이 스트레스 인식과 직접적으로 연관되어 있으며 감정 기반 지표가 이를 보완함으로써 멀티모달 통합 접근이 단일 모달보다 더 신뢰도 높은 정신건강 평가를 가능하게 함을 의미한다.
4. 결론 및 고찰
현대 사회에서 정신건강은 개인의 삶의 질과 사회적 비용 측면에서 공중보건 과제로 부각되고 있으며 이를 해결하기 위한 다양한 연구가 진행되어 왔다. 그러나 기존 연구들은 단일 모달리티 기반 접근법이 다수였으며 측정 장비와 비용 면에서 일상적인 모니터링으로 발전시키기에 한계가 존재하였다.
본 연구는 이러한 한계를 극복하기 위해 AI 챗봇을 기반으로 표정, 음성, 심박변이도(HRV) 데이터를 융합한 멀티모달 정신건강 모니터링 시스템을 제안하였다. 사용자는 별도의 전문 장비를 착용하거나 복잡한 시스템을 이용할 필요 없이, 단순히 비디오 일기를 기록하는 일상적 행위를 통해 간편하면서도 효과적으로 정신건강을 모니터링할 수 있다.
개발된 멀티모달 감정인식 모델은 대부분의 감정에서 높은 정확도와 안정성을 보였다. 특히 분노-행복, 행복-슬픔 등 차이가 뚜렷한 감정 구별에 강점을 보였다. 향후 특징 추출 단계를 강화하거나 HRV 데이터를 모델의 입력 특징으로 직접 통합함으로써 모델의 성능을 고도화할 수 있을 것으로 기대한다.
피어슨 상관분석 결과 HRV와 감정 정보를 융합한 멀티모달 AI 스트레스 지수가 가장 높은 상관관계를 보여, 생리적 및 정서적 신호를 통합하는 접근이 단일 모달리티보다 더 정확하고 신뢰도 높은 정신건강 지표임을 확인하였다. 이때, HRV 기반 스트레스 지수는 PSS 점수와 유의한 양의 상관관계를 보였으며 부정 감정 비율은 통계적으로 유의하지는 않았으나 양의 상관관계를 나타내어 보조 지표로서의 사용 가능성을 보였다. 이러한 결과는 사용자의 스트레스 수준을 비침습적·지속적으로 평가할 수 있는 가능성을 제시하며 개인 맞춤형 디지털 헬스케어 서비스의 기반으로 확장될 수 있음을 시사한다.
AI 기반 멀티모달 스트레스 모니터링 시스템은 개인이 자신의 정서 상태를 용이하게 확인하고 정신건강 위험을 조기에 인지할 수 있도록 하는 데 실질적으로 기여할 수 있다. 축적된 로그 데이터는 임상 및 상담 현장에서 환자의 장기적 정서 변화를 객관적으로 파악하는 데 보조 자료로 활용 가능하며 특히 비대면 환경에 적용 가능하다는 점에서 정신건강 관리 서비스의 접근성을 높인다.
본 연구에서 제안한 AI 스트레스 지수는 제한된 참가자(3명)로부터 수집된 소규모 샘플(총 9개)을 기반으로 검증되었으므로, 통계적 일반화에는 한계가 있다. 따라서 본 연구의 결과는 방법론적 개념 제시와 적용 가능성 검증에 초점을 두었다. 스트레스 지수의 세 구간(건강: 0–30%, 주의: 31–50%, 위험: >50%)은 예비 분석과 기존 스트레스 척도 문헌을 참고하여 경험적으로 설정한 것으로, 향후 더 많은 참가자 데이터를 통해 임계값의 통계적 타당성을 검증할 예정이다. 이로써 디지털 헬스케어 분야의 학문적·산업적 발전에 기여할 수 있을 것으로 기대한다.
FOOTNOTES
-
ACKNOWLEDGEMENT
이 논문은 2022년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임(No. RS-2022-KI002563, 2022년 산업혁신인재 성장지원사업).
Fig. 1Overview of the multimodal stress monitoring system
Fig. 2Confusion matrices of trained audio emotion recognition models
Fig. 3Learning structure of HRV stress detection model
Fig. 4Validation of HRV stress detection model
Fig. 5Example of training data construction based on multimodal (facial expression and voice) emotion recognition
Fig. 6Sample dialogue with the AI chatbot
Fig. 7Confusion matrices of trained multimodal emotion recognition model
Fig. 8Scatter plot analysis of the AI stress index and PSS score
Fig. 9Scatter plot showing the relationship between HRV-based stress ratio and PSS score
Fig. 10Scatter plot showing the relationship between negative emotion ratio and PSS score
Table 1.Overview of the augmented dataset
Table 1.
|
Emotion class |
Number of samples |
|
Neutral |
2,348 |
|
Calm |
1,504 |
|
Happy |
3,104 |
|
Sad |
3,104 |
|
Angry |
3,104 |
|
Fear |
3,104 |
|
Disgust |
2,368 |
|
Surprise |
2, 368 |
Table 2Learning parameters of audio emotion recognition model
Table 2
|
Data split (Train: Validation) |
0.8: 0.2 |
|
Optimizer |
AdamW |
|
Learning rate |
5e-05 |
|
Batch size |
16 |
|
Loss function |
Softmax |
|
Epochs |
20 |
Table 3Performances of models (F1-Score)
Table 3
|
Models /Emotion |
LSTM |
GRU |
BiLSTM |
Transformer |
|
Angry |
0.98 |
0.99 |
0.99 |
0.98 |
|
Calm |
0.91 |
0.92 |
0.94 |
0.90 |
|
Disgust |
0.97 |
0.97 |
0.98 |
0.97 |
|
Fear |
0.96 |
0.95 |
0.96 |
0.95 |
|
Happy |
0.96 |
0.97 |
0.97 |
0.96 |
|
Neutral |
0.96 |
0.96 |
0.96 |
0.96 |
|
Sad |
0.94 |
0.92 |
0.94 |
0.93 |
|
Suprise |
0.98 |
0.98 |
0.99 |
0.98 |
Table 4Learning parameters of HRV stress detection model
Table 4
|
Data split (Train: Validation) |
0.9: 0.1 |
|
Optimizer |
Adam |
|
Learning rate |
1e-3 |
|
Batch size |
10 |
|
Activation function |
Relu |
|
Epochs |
100 |
Table 5Learning parameters of multimodal emotion recognition model
Table 5
|
Data split (Train: Validation) |
0.8: 0.2 |
|
Optimizer |
Adam |
|
Learning rate |
1e-4 |
|
Batch size |
32 |
|
Activation function |
Relu |
|
Epochs |
100 |
Table 6Example of stress event decision rules using multimodal data
Table 6
|
Time stamp |
Multimodal emotion prediction |
HRV-stress (0 or 1) |
Stress event (0 or 1) |
|
00:02 |
Happy |
0 |
0 |
|
00:04 |
Sad |
0 |
0 |
|
00:06 |
Neutral |
1 |
0 |
|
00:08 |
Angry |
1 |
1 |
|
00:10 |
Sad |
1 |
1 |
Table 7Performance of multimodal emotion recognition model (F1-Score)
Table 7
|
Models/Emotion |
Multimodal emotion LSTM |
|
Angry |
1.00 |
|
Calm |
0.94 |
|
Disgust |
0.99 |
|
Fear |
0.96 |
|
Happy |
0.98 |
|
Neutral |
0.86 |
|
Sad |
0.94 |
|
Suprise |
0.99 |
Table 8Results of PSS score and AI stress index measurement
Table 8
|
Session No |
Participants |
PSS |
AI stress index |
|
1-A |
A |
8 |
28.813 |
|
1-B |
B |
24 |
32.927 |
|
1-C |
C |
17 |
57.143 |
|
2-A |
A |
8 |
27.273 |
|
2-B |
B |
21 |
53.333 |
|
2-C |
C |
14 |
49.153 |
|
3-A |
A |
8 |
11.864 |
|
3-B |
B |
21 |
26.010 |
|
3-C |
C |
14 |
39.063 |
REFERENCES
- 1. Malani, P. N., Solway, E., Kirch, M., Singer, D. C., Roberts, J. S., Kullgren, J. T., (2025), Loneliness and social isolation among us older adults, JAMA, 333(3), 254-257.
- 2. Dent, E., Morley, J., Cruz-Jentoft, A., Woodhouse, L., Rodríguez-Mañas, L., Fried, L., Woo, J., Aprahamian, I., Sanford, A., Lundy, J., (2019), Physical frailty: ICFSR international clinical practice guidelines for identification and management, The Journal of Nutrition Health & Aging, 23(9), 771-787.
- 3. Abbaspur-Behbahani, S., Monaghesh, E., Hajizadeh, A., Fehresti, S., (2022), Application of mobile health to support the elderly during the covid-19 outbreak: A systematic review, Health Policy and Technology, 11(1), 100595.
- 4. Ministry of Health and Welfare, National Center for Mental Health. 2021;National mental health survey 2021 (Publication Registration No. 11-1352629-000065-01). https://mhs.ncmh.go.kr/board.es?mid=a10301000000&bid=0005&nPage=1&b_list_cnt=9&ord=&dept_cd=&tag=&list_no=16&listNo=&act=view&view_sdate_param=&keyField=&keyWord=%EC%A0%95%EC%8B%A0%EA%B1%B4%EA%B0%95.
- 5. Lim, Y., Cha, J., Shin, J., Choi, A., (2020), VR based mental health therapy platform, Proceedings of the Korea Computer Congress, 1312-1314.
- 6. Shin, J., Yoon, H., Lee, S., Park, S., Liu, Y., Choi, J. D., Lee, S.-J., (2023), Fedtherapist: Mental health monitoring with user-generated linguistic expressions on smartphones via federated learning, Proceedings of the Conference on Empirical Methods in Natural Language Processing, 11971-11988.
- 7. Arslan, C., (2010), An investigation of anger and anger expression in terms of coping with stress and interpersonal problem-solving, Educational Sciences: Theory and Practice, 10(1), 25-43.
- 8. Lerner, J. S., Dahl, R. E., Hariri, A. R., Taylor, S. E., (2007), Facial expressions of emotion reveal neuroendocrine and cardiovascular stress responses, Biological Psychiatry, 61(2), 253-260.
- 9. Li, Z., Snieder, H., Su, S., Ding, X., Thayer, J. F., Treiber, F. A., Wang, X., (2009), A longitudinal study in youth of heart rate variability at rest and in response to stress, International Journal of Psychophysiology, 73(3), 212-217.
- 10. Martinez, G. J., Grover, T., Mattingly, S. M., Mark, G., D’Mello, S., Aledavood, T., Akbar, F., Robles-Granda, P., Striegel, A., (2022), Alignment between heart rate variability from fitness trackers and perceived stress: Perspectives from a large-scale in situ longitudinal study of information workers, JMIR Human Factors, 9(3), e33754.
- 11. Kim, H.-G., Cheon, E.-J., Bai, D.-S., Lee, Y. H., Koo, B.-H., (2018), Stress and heart rate variability: A meta-analysis and review of the literature, Psychiatry Investigation, 15(3), 235.
- 12. Bruin, J., Stuldreher, I. V., Perone, P., Hogenelst, K., Naber, M., Kamphuis, W., Brouwer, A.-M., (2024), Detection of arousal and valence from facial expressions and physiological responses evoked by different types of stressors, Frontiers in Neuroergonomics, 5, 1338243.
- 13. Vanitha, L., Suresh, G., Chandrasekar, M., Punita, P., (2017), Development of four stress levels in group stroop colour word test using HRV analysis, Biomedical research-India, 28(1), 98-105.
- 14. Ryumina, E., Dresvyanskiy, D., Karpov, A., (2022), In search of a robust facial expressions recognition model: A large-scale visual cross-corpus study, Neurocomputing, 514, 435-450.
- 15. Mollahosseini, A., Hasani, B., Mahoor, M. H., (2019), AffectNet: A database for facial expression, valence, and arousal computing in the wild, IEEE Transactions on Affective Computing, 10(1), 18-31.
- 16. Goodfellow, I. J., Erhan, D., Carrier, P. L., Courville, A., Mirza, M., Hamner, B., Cukierski, W., Tang, Y., Thaler, D., Lee, D.-H., (2013), Challenges in representation learning: A report on three machine learning contests, International Conference on Neural Information Processing, 117-124.
- 17. Pichora-Fuller M. K., Dupuis K.. 2020;Toronto emotional speech set (TESS). Borealis. V1 https://doi.org/10.5683/SP2/E8H2MF.
- 18. Livingstone, S. R., Russo, F. A., (2018), The ryerson audiovisual database of emotional speech and song (ravdess): A dynamic, multimodal set of facial and vocal expressions in north american english, PLOS One, 13(5), e0196391.
- 19. Koldijk, S., Sappelli, M., Verberne, S., Neerincx, M. A., Kraaij, W., (2014), The swell knowledge work dataset for stress and user modeling research, Proceedings of the 16th International Conference on Multimodal Interaction, 291-298.
- 20. Ministry of Health and Welfare, National Center for Mental Health. 2024;Development of Korean version of mental health (depression, anxiety, and stress) assessment tools: Final report, (Publication Registration No. 11-1352629-000179-01). https://www.archives.go.kr/next/newmanager/publishmentSubscriptionDetail.do?gubun_flg=&keyword=&page=1&prt_seq=173262.
- 21. Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., Sutskever, I., (2023), Robust speech recognition via large-scale weak supervision, Proceedings of the International Conference on Machine Learning, 28492-28518.
Biography
- Younghyun Ko
M.Sc. candidate in the Department of smart health science and technology, Kangwon National University. Her research interest includes social robots, HRI, HCI and soft robotics.
- Jong Hyeok Han
M.Sc. candidate in the Department of smart health science and technology, Kangwon National University. His research interest is biomedical image processing.
- Gook Hwan Yeom
M.Sc. candidate in the Department of smart health science and technology, Kangwon National University. His research interests include gene editing and gene therapy.
- Hee-Jae Jeon
Professor in the Department of Mechanical and Biomedical Engineering, Kangwon National University. His research interest includes mobile health care, machine learning and biomedical engineering.
