ABSTRACT
Brain-computer interface (BCI) is a technology used in various fields to analyze electroencephalography (EEG) signals to recognize an individual's intention or state and control a computer or machine. However, most of the research on BCI is on motor imagery, and research on active movement is concentrated on upper limb movement. In the case of lower limb movement, most of the research is on the static state or single movements. Therefore, in this research, we developed a deep-learning model for classifying walking behavior(1: walking, 2: upstairs, 3: downstairs) based on EEG signals in a dynamic environment to verify the possibility of classifying EEG signals in a dynamic state. We developed a model that combined a convolutional neural network (CNN) and a bidirectional long short-term memory (BiLSTM). The model obtained an average recognition performance of 82.01%, with an average accuracy of 93.77% for walking, 76.52% for upstairs, and 75.75% for downstairs. It is anticipated that various robotic devices aimed at assisting people with disabilities and the elderly could be designed in the future with multiple features, such as human-robot interaction, object manipulation, and path-planning utilizing BCI for control.
-
KEYWORDS: Brain-computer interface, Electroencephalography, Gait, Dynamic environment, Convolutional neural network, Bidirectional long short-term memory
-
KEYWORDS: 뇌-컴퓨터 인터페이스, 뇌파, 보행, 동적 환경, 합성곱 신경망, 양방향 장단기 메모리
1. 서론
생체신호 측정 및 처리기술의 발전으로 심전도(Electrocardiography, ECG), 근전도(Electromyography, EMG), 뇌파(Electroencephalography, EEG) 등 생체신호(Bio-signal)를 활용한 재활 및 생활보조 기술은 보다 정확하고 개인화된 접근이 가능해졌다
[1].
이에 따라 생체신호 처리 인터페이스를 통한 재활 및 생활 보조 기기에 대한 연구가 활발히 진행되는 추세이며, 이를 통해 환자들의 재활 효과와 삶의 질을 향상시켜 동작 기반 인간-컴퓨터 인터페이스(Human-computer Interface, HCI)에 대한 필요성이 증가하고 있다
[2,
3].
생체신호를 취득한 후 운동 중 환자의 상태 변화에 대응하여 환자에게 효율적인 재활 시스템을 제안하여 진단을 넘어서 재활 운동에 대한 정밀하게 제어하는 데 사용될 수 있다
[4]. 제어를 하고자 하는 대상으로부터 추출한 신호를 이용하여 재활 및 생활 보조 로봇 분야는 환자를 객관적으로 평가하고 모니터링할 수 있는 중요한 솔루션이 되어 장애에 대한 보다 자세한 평가를 제공하고 식별할 수 있다
[5].
생체신호 처리에서 많이 사용되는 EMG는 환자마다의 손상 부위에 따른 생체신호가 다양하고 다른 부위의 신호가 중첩 또는 혼합이 되어 출력되기 때문에 정확하게 신호를 잡아 처리하기 힘들다. 또한, 근육 피로 및 경련을 일으킬 수 있어 효율적인 동작 분류에 방해요인이 될 수 있음을 강조하였다
[6].
이를 보완하기 위해 뇌파를 사용하여 생체신호를 분리하고, 정확한 처리 방법을 제시하여 환자별로 다른 패턴을 고려한 신뢰성 있는 결과를 도출하는 시도가 많이 이루어지고 있다
[7]. Mao 등의 연구에서는 EEG 데이터를 정확히 처리하기 위해 웨이블릿 변환(Wavelet Transform)을 사용하여 Window의 한계가 주파수에 따라 달라지는 문제에 대해 웨이블릿 계수의 크기를 시각화하여 주파수 성분의 필터링 등 연속적인 스펙트럼을 분석하였다
[8]. 또한 Lee 등은 EEG 데이터 특징 추출과 신호의 잡음 제거를 위해 DWT (Discrete Wavelet Transform)를 진행하였다
[9].
뇌파 측정 방식에는 뇌의 두개골 내부로 전극을 삽입하는 침습적 방식과 두피에 전극을 부착하는 비침습적 방식이 있다. 그중에서 침습적 방식은 전극 삽입을 필요로 하여 많은 전문성이 요구되고 위험성이 있다. 이에 따라 최근 의료, 재활 등 여러 분야에서 저비용 고효율의 비침습적 방식을 이용한 뇌파 연구가 주를 이루고 있다
[9,
10]. 비침습적 방식 중 건식 전극은 습식전극의 단점을 보완하기 위한 방식으로, 전해질을 사용하지 않아 습식전극보다 임피던스가 높지만 부착이 빠르고 간편하며, 측정 장소의 제한이 적다는 장점이 있다. 본 연구에서는 동적인 환경에서의 보행 동작 측정을 위해 건식 전극을 사용하였다.
뇌-컴퓨터 인터페이스(Brain-computer Interface, BCI)는 뇌신경 신호를 분석하여 개인의 의도나 상태를 인식해 컴퓨터나 기계를 제어하는 기술로 재활, 의료 등과 같은 다양한 분야에 활용 가능하여 많은 연구가 진행되고 있다
[11]. 선행 연구 조사에 따르면 앉아있는 정적인 환경에서 하지 움직임 중 발목 굴곡(Dorsiflexion)에 대한 EEG 신호 분류에 대한 연구가 있다. 이는 최대 PA (Prediction Accuracy)가 96.58%를 기록하였다
[6]. 또한, 뇌파 동작 분류를 위한 손목 외전(Wrist Supination), 손목 내전(Wrist Pronation), 주먹 쥐기(Hand Close), 손바닥 펴기(Hand Open), 손의 움직임 없음(No Movement)의 동작을 시행하여 손과 손목 동작 제어의 성능을 향상시키기 위한 CNN, LSTM, CNN-LSTM 모델에 대한 연구
[12] 등 실제 동작을 분류하려는 시도들이 진행되었다. 또한, 하지 재활을 목적으로 한 패달링 동작을 운동 심상(Motor Imagery)을 통해 EEG 패턴의 특징 분류에 대한 연구
[13] 등과 같이 BCI는 상상동작에 따른 연구가 대부분이다. 실제 운동(Active Movement) 시의 뇌파 연구는 상지 운동에 집중되어 있다. 또한, 하지운동의 경우에도 앉아서 시행하거나 제자리에서 수행하는 계단운동과 같이 정적 상태나 단일 동작에 관한 연구가 대부분이고, 보행(Gait)과 같은 동적 동작에서의 동작 인식에 대한 연구는 거의 진행되지 않았다
[14]. Lee 등의 연구에서는 오른쪽, 양쪽 무릎을 5초 동안 펴거나 구부린 상태를 유지하는 동작으로 운동 심상과 실제 운동의 분류 정확도 차이를 비교한 선행 연구에 따르면 실제 운동의 정확도는 98.91%로 운동 심상의 정확도인 98.37%보다 높은 결과가 도출되었다
[9].
따라서 본 연구에서는 동적 환경에서의 뇌 신경 신호 기반 보행 동작(1: 걷기(Walking), 2: 계단 오르기(Upstairs), 3: 계단 내려오기(Downstairs)) 분류 딥러닝 모델 개발 연구를 진행하여 동적 보행 상태에서의 뇌 신경신호 분류 가능성을 검증하고자 하였다.
2. 연구 방법
2.1 데이터 획득
본 연구에서는 건강한 20대 오른손잡이 피험자 6명(남자 3명, 여자 3명, 평균 나이: 23.3±2.8세, 신장: 164.2±1.6 cm, 체중: 64±1.7 kg)이 참여하였다. 동일한 조건의 실험 환경에서 최대한 안정적인 EEG 데이터를 추출하기 위해 실험을 진행하기 전날 숙면을 충분히 취한 자, 음주를 하지 않은 자, 오른손잡이인 자들을 선정하였다.
또한, 전극과 두피의 접촉이 잘 이루어지지 않아 임피던스가 다른 피험자보다 비교적 크며, 실험 진행 중 뇌파 측정기기의 흔들림으로 인해 동잡음이 크게 발생한 자들은 제외하였다.
보행 동작(걷기, 계단 오르기, 계단 내려오기)에서 피험자 1명당 걷기 10회, 계단 오르기 10회, 계단 내리기 10회로 총 30회의 데이터를 수집하였다. 연구를 진행하기 위해 19채널(F7, Fp1, Fp2, F8, F3, Fz, C3, Cz, P8, P7, Pz, P4, T3, P3, O1, O2, C4, T4) 헤드셋형 뇌파 기기(Q20r, CGX Ltd., USA)를 사용하였다.
초당 500 Hz 샘플링 주파수로 측정하였으며, 뇌파 신호를 고속 푸리에 변환(Fast Fourier Transform, FFT) 적용 후 Band-pass-filter를 통해 Beta파(14-30 Hz)를 추출하여 전처리하였다.
실험 과정에서 1.5초마다 청각 자극을 주어 1.5초 안에 한 동작이 들어가도록 하였고 초당 500 Hz의 샘플링 주파수로 측정하였다. 걷기는 40초, 계단 오르기와 계단 내려오기는 25초 동안 실험을 진행하였다.
Fig. 1은 3가지 동작에 대한 실험 장면을 보여준다.
Fig. 1Walking, upstairs, and downstairs experiment
본 연구에서는 Python 데이터 처리를 위해 Pandas, Numpy 라이브러리를 사용하였다. 또한, Tensorflow.keras 활용하여 신경망 구조를 설계하고 딥러닝 모델을 구현하였고, 전처리를 수행하기 위해 Sklearn을 사용하였다.
연속적인 시계열 데이터 분류를 위해 CNN (Convolutional Neural Network)과 독립적인 LSTM 구조 2개를 같이 사용하는 BiLSTM (Bidirectional Long Short-term Memory)을 결합한 분류 모델을 개발하였다. 데이터는 8:2로 각각 Train, Test, 데이터로 나누고, 모델의 일반화 성능 향상을 위해 Cross Validation 기법을 통해 검증하였다.
수집된 데이터는 원신호인
f(
x)를 이용해 주파수 성분인
w로 표현하는 FFT 적용 후 처음 측정된 Raw Data의 EEG 데이터에서 특정 주파수 대역을 추출하기 위해 Band Pass Filter를 통해 운동 피질 활동이 가장 뚜렷하게 나타나는 것으로 확인된 Beta 14-30Hz) 대역을 추출하였다
[15]. 뇌파 데이터의 피험자 간 개인차를 보완하기 위해 상대분석을 통해 각 채널마다 평균에서 크게 벗어나지 않는 피험자들을 선별하고, 하나의 데이터에서 9초씩 다수의 데이터를 추출해 사용하였다.
고속 푸리에 변환(Fast Fourier Transform, FFT)식은
(1)과 같다.
데이터 정규화를 위해 하나의 기준을 따를 수 있도록 스케일러(Scaler) 법을 사용한다. 이를 통해 데이터 Feature마다 값의 범위 차이가 존재하는 것을 조정할 수 있어 효과적으로 모델을 학습할 수 있다.
Standard Scaler와 Robust Scaler는 데이터의 스케일을 조정하는 데 널리 사용되는 데이터 스케일링 기법이다. Standard Scaler는 데이터의 평균을 0으로, 표준편차를 1로 조정한다. x는 원래 값을 나타내며 μ는 평균이고, σ는 표준편차이다.
Standard Scaler식은
(2)과 같다.
Robust Scaler는 중간값(Median)과 IQR (Interquartile Range)을 사용하여 전체 데이터 중에서 이상치(Outlier)의 영향을 최소화한 기법이다. Q1은 데이터의 25% 지점, Q3는 75% 지점, Q2는 중간값(Median)이고, (Q3-Q1)은 사분위수 범위이다.
Standard Scaler은 평균과 표준편차에 민감하게 반응할 수 있어 이상치에 영향을 받을 수 있다. 하지만 Robust Scaler은 중앙값과 IQR을 사용하기 때문에 이상치에 덜 민감하게 반응할 수 있어 개인의 뇌 활동과 생리적 특성에 따라 매우 다양한 양상을 보이는 뇌파 데이터는 Robust Scaler를 사용하는 것이 더 안정적인 스케일링 방법이다
[16].
정규화된 데이터의 전처리는 시계열 데이터에서 일정한 크기(Window Size)에 따라 연속된 일부 데이터를 추출하는 방법인 슬라이딩 윈도우(Sliding Window) 기법을 적용하였다.
고정 사이즈의 윈도우가 연속적인 시계열 데이터를 따라 이동하면서 윈도우 내에 있는 데이터를 딥러닝 처리 단위 Segment로 변환한 후 각 Segment에 Label를 할당해 받아올 수 있어 사람의 행동이나 상태 인식이 가능하다. 생체신호 처리를 수행할 때 자주 쓰이는 전처리 기법이기 때문에 여러 생체신호에 대한 접근 방식으로 많이 사용되고 있다
[17,
18].
보행 동작 뇌파 데이터를 수집할 때 1.5초 안에 한 동작이 들어가도록 데이터를 수집하였다. 이때 초당 500 Hz 주파수로 측정하였으므로, Window Size를 750으로 설정하였고, 간격(Window Stride)은 75으로 설정하였다. 이를 통해 총 19,773개의 데이터를 획득하여 딥러닝 모델 학습에 사용하였다.
Fig. 2는 걷기, 계단 오르기, 계단 내리기 데이터가 전처리(Fast Fourier Transform, Robust Scaler)된 후 Sliding Window Processing 되는 과정을 시각적으로 보기 위해 출력한 것이다. Window Size를 750으로 설정하였고, 75 간격(Window Stride)으로 처리된다.
Fig. 2Output of walking, upstairs, and downstairs data sliding window processing
2.4 CNN
신경망은 복잡한 패턴을 학습할 수 있는 특징 추출 및 분류를 위한 Architecture이다. Deep, Multi-layered 신경망 네트워크로 이루어져 있고 이미지 분류, 음성처리, 동작 인식과 같은 다양한 Tasks에서 효과적인 결과를 도출하였다. 이러한 컨볼루션 신경망(CNN 또는 ConvNets)은 데이터의 큰 변동성을 효과적으로 처리하기 때문에 뇌파(EEG) 데이터에 적합하다
[19].
시간에 따른 주파수 변화를 통해 정보를 표현하는 EEG 데이터는 딥러닝 모델을 구현할 때 시간 영역의 학습에 유리한 모델을 선택하는 것이 중요하다.
LSTM은 RNN유형으로 순차적 시계열 데이터인 뇌파 및 심전도 등 여러 생체신호를 이전 시간의 정보를 저장하고 다음 시간의 데이터 예측을 돕는 방식으로 오랜 시간 정보를 기억하여 순차적 처리에 매우 능숙하다
[20]. RNN은 임의의 길이의 메모리 정보를 처리할 수 있지만, 비교적으로 짧은 시퀀스만 효과적인 처리를 수행할 수 있다.
따라서 LSTM 네트워크는 RNN의 Gradient Vanish, 불안전성 문제를 해결하기 위해 설계되어 많이 사용되고 있다
[21].
본 연구에서 사용한 인공지능 신경망 모델은 이미지 인식 및 분류에 최적화된 합성곱 연산(Convolution)을 이용하는 CNN과 시계열 데이터인 뇌파 신호 분류를 위해 셀 상태(Cell State)를 통해 패턴을 보존하고, 은닉 상태(Hidden State)를 통해 새로운 정보를 생성하여 장기적인 시계열 데이터를 효과적으로 분류하는 LSTM에 정보를 역방향으로 전달하는 히든 레이어를 추가해 정보를 보다 유연하게 처리하는 BiLSTM을 결합한 CNN-BiLSTM모델을 사용하였다.
Convolution Layer Kernel Size는 3으로 설정하고, 입력 데이터에서 가장 강한 특징만 추출하는 MaxPooling2D Layer를 사용하였다. 학습 시간을 줄이기 위해 Convolution Layer 이후에 Pooling Layer를 적용하는 것이 일반적이다
[17]. 활성화 함수(Activation Function)는 음수가 포함된 출력 범위를 위해 ‘Tanh’로 하였다. 모델이 학습(Train) 데이터에 과도하게 치우치는 과적합(Overfitting) 현상을 방지하기 위해 Dropout Layer를 추가하였으며, 출력계층은 Softmax 함수를 사용해 Classification하였다.
Fig. 3은 최종 CNN-BiLSTM 딥러닝 모델 Architecture이다.
Fig. 3CNN-BiLSTM architecture
2.7 Cross-validation
딥러닝 기법은 다양한 분야에 맞추어 네트워크 모델을 설계하고 학습한다. 이러한 학습된 모델에 있어서 최근에는 모델의 성능을 개선시키는 것뿐만 아니라 모델을 통해 얻은 결과에 대한 성능의 체계적인 검증이 중요해지고 있다. 딥러닝 모델 검증방법에서 가장 널리 사용되는 기법으로는 K-cross Validation이 있으며, 모델의 성능을 가정하기 위해서 전체 데이터셋을 학습을 위한 Train Data Set과 Test Data Set로 분할하고 Test Data Set을 활용해 모델의 신뢰성을 검증한다
[16].
본 연구에서는 Train 데이터를 K개의 Fold로 나눠 한개의 Fold를 다시 K개로 나눈 뒤 K-1개는 Train 데이터, 그 이외의 것은 Validation 데이터로 사용하여 이를 K번 반복해 모델을 학습하고 검증하였다(K = 5). Train 데이터 셋, Test 데이터 셋은 각 전체 데이터의 8:2로 사용하였다.
3. 연구결과
실험 결과는 각 회마다 100번(Epochs) 반복하여 학습시켰고, 3회 시행하여 평균을 도출하였다. 연구 결과 최종적으로 평균 82.01%의 인식 성능을 도출하였으며, 동작마다 걷기 93.77%, 계단 오르기 76.52%, 계단 내려오기 75.75%의 평균 정확도를 도출하였다(
Table 1).
Table 1 Experimental results
Table 1
|
Walking |
Upstairs |
Downstairs |
Average accuracy |
|
A |
93.38 |
72.41 |
80.56 |
82.11 |
|
B |
93.63 |
79.44 |
71.89 |
81.65 |
|
C |
94.31 |
77.72 |
74.8 |
82.27 |
|
Total average accuracy |
93.77 |
76.52 |
75.75 |
82.01 |
Fig. 5는 3차 시도(C)의 분류 결과를 혼돈 행렬(Confusion Matrix)을 통해 정리한 결과이다.
Fig. 4에서 보행(걷기, 계단 오르기, 계단 내려오기) 동작 중 걷기는 93.77%로 가장 높은 분류 정확도를 얻었다. 걷기의 분류 오류는 계단 오르기 1%, 계단 내려오기 5%의 오류를 보였다.
Fig. 4 K-cross validation
Fig. 5 Confusion matrix of A
계단 오르기는 76.52%로 가장 낮은 분류 정확도를 도출했다. 계단 오르기의 분류 오류는 걷기 6%, 계단 내려오기 21%의 오류를 보였다. 계단 내려오기는 75.75%의 분류 정확도를 얻었다. 계단 내려오기의 분류 오류는 걷기 9%, 계단 오르기 9%의 오류를 보였다.
종합적으로 계단 오르기와 걷기의 동작은 높은 분류 정확도를 보였다. 보행 동작 분류에 있어서 계단 오르기를 계단 내려오기로 잘못 분류한 경우가 가장 많았다. 그에 반해 걷기와 계단 오르기 간의 분류 오류는 1%로 가장 작은 분류 오류를 보였다.
4. 고찰 및 결론
최근 BCI 연구에서 신호처리 과정을 수행할 시 딥러닝 기법을 적용하는 경우가 증가하고 있다. EEG Dataset Classification Using CNN Method 연구에서는 환자의 뇌파를 장시간으로 모니터링을 해야 할 경우가 많기 때문에, 그중에서도 간질 발작을 분류하기 위한 컨볼루션 신경망(CNN)의 개발과 정확도, 손실값(Loss)을 제안하였다. CNN은 이미지 분류 및 패턴 인식에서 높은 성능을 입증했기에 연속 웨이블릿 변환(CWT)과 CNN을 결합하여 간질 발작을 분류하였다. 이에 따른 결과 정확도는 72.49%, 손실 값은 0.576을 도출하였다
[8].
또한, 뇌 데이터를 수집할 시 동작 상상(Motor Imagery, MI)은 데이터 수집 과정에서 유발되는 잡음으로 인해 제어하기 어려운 문제점이 있어 최근 운동 실행(Movement Execution, ME)에 대한 연구도 활발히 진행되고 있다. 이에 따라 하지 중에서도 무릎의 MI, ME 동작을 딥러닝 모델을 통해 분류하고, 정확도를 비교하여 BCI에 활용 가능성을 검증하였다. 결과적으로 무릎 운동 실행(98.91%)과 동작 상상(98.37%)을 진행했을 때 ME에서 정확도가 더 높게 나타났으며, ME 데이터를 BCI에 적용하는 기술이 발전될 것으로 기대한다
[9]. 또한, 이를 통해 운동 심상이 아닌 운동 실행(실제 운동)시, 나타나는 뇌파에 대한 연구가 뇌-컴퓨터 인터페이스 분야에 활용되어 뇌파로 제어되는 하지 외골격 로봇과 같이 재활 의료 분야의 새로운 가능성을 제공한다고 사료된다
[22,
23].
본 연구에서는 뇌파를 활용하여 보행 주기를 분류하는 방법에 대해 다루고 있다. 보행은 인간의 일상생활에서 중요한 활동으로, 보행 패턴의 분류는 다양한 응용 분야에 유용하다. CNN 인공신경망 모델을 활용하여 뇌파 신호를 처리하고 보행 주기를 분류하는 사례에 적용된다. 운동 실행에서도 상상 동작이나 상지 동작이 아닌 하지 동작 중 보행 동작에서 유사성이 있고 일상생활에서 많이 쓰이는 걷기, 계단 오르기, 계단 내리기의 실제 운동 뇌파의 딥러닝 모델을 통한 동작 분류 가능성 확인을 검증하기 위해 연구를 진행하였다.
단일 피험자로부터 보행 동작에 따른 움직임에 대하여 세 가지 운동을 실행하였으며 이때 발생하는 뇌파를 취득하고 Fast Fourier Transform, Robust Scaler, Sliding Window를 통한 전처리 방식과 CNN-BiLSTM 모델에 적용하여 걷기, 계단 오르기, 계단 내리기의 동작을 분류하였다. 뇌파 데이터 수집에서 사용된 주파수 영역은 베타파(14-30 Hz)로 운동 움직임 출력에 뇌파 베타 활동이 증가되며, 동시에 운동 감각을 촉진할 수 있다는 결론을 보고하였다. 이는 베타 영역이 실제 운동 감각 현상이라는 것을 의미한다
[10,
24].
또한, 베타 영역뿐만 아닌 알파베타(8-30 Hz) 영역을 신경망 모델에 적용해 동적 보행 동작 분류를 실행하여 알파베타 영역과 베타 영역에 대한 비교분석을 검증하고자 하였다. 이를 통해 알파베타 영역을 신경망 모델에 적용하였을 때 보행 동작 분류의 정확도는 66.32%가 도출되었으며, 걷기(91.01%), 계단 오르기(40.24%), 계단 내리기(67.73%)의 결과가 관찰되었다. 이는 안정된 상태에서 주로 나타나는 알파파와 무언가의 집중하거나 몸의 움직임이 실행되었을 때 베타파가 주로 나타나는 특성으로 인해 알파베타 영역보다 베타 영역에서의 보행 동작 분류 정확도가 높다고 사료된다
[10].
연구를 진행하기 위해 6명의 피험자(남3, 여3)를 대상으로 1.5초 마다 청각자극을 주어 걷기 40초, 계단 오르기 25초, 계단 내리기 25초씩 10회 반복하여 한 피험자마다 30개의 데이터를 얻었다. 이후 Band Pass Filter를 통해 14-30 Hz (β파) 대역을 추출하였으며, Sliding Window전처리 과정을 거쳐 총 19,773개의 Dataset을 형성하였다. 데이터 정규화를 위해 Robust Scaler 기법을 사용하였고 CNN-BiLSTM 신경망 아키텍처를 적용하여 보행 동작 인식에 사용하였다. 총 3회 시행한 실험 결과, 평균 82.01%의 인식 성능을 도출하였으며, 각 동작마다 걷기 93.77%, 계단 오르기 76.52%, 계단 내려오기 75.75%의 평균 정확도를 도출하였다.
계단 오르기와 걷기의 동작은 계단 내려오기의 분류 정확도보다 높은 결과를 보였으며, 계단 오르기 동작을 계단 내려오기로 잘못 분류한 경우가 가장 많았다. 그에 반해 걷기와 계단 오르기 간의 분류 오류는 1%로 가장 낮은 분류 오류를 보였다. 본 연구에서는 피험자 6명인 상태로 진행하였다. 이로 인해 데이터 수가 충분하지 않아 인공지능 모델 Epochs 횟수에 대한 한계가 존재하였다. 또한, 실험 환경에 놓인 계단의 수(16칸)가 적어 동작(걷기, 계단 오르기, 계단 내리기)에 대한 연속적인 데이터를 추출하지 못하여 기존 정확도 보다 향상된 정확도를 도출하는데 제한이 있었다. 차후 다양한 보행의 데이터를 획득하고 데이터 수를 추가한다면 정확도 향상뿐만 아니라 개인 맞춤형 설계가 가능할 것으로 판단된다.
본 연구를 통해 상상 동작이 아닌 실제 뇌파 동작 인식에서도 보행 패턴이 분류될 수 있음을 시사하며 이를 통해 보행 보조 및 재활 분야에서의 실제 운동 뇌파의 적용 가능성을 확인할 수 있었으며, 인식된 보행 동작에 맞는 보조 역할을 수행해 환자의 보행 안정성을 높일 수 있을 것이다. 또한 장애인과 노인을 돕기 위한 보조 로봇 시스템의 제어 방식을 BCI를 사용함으로써 인간과 로봇의 상호작용, 물체 조작, 경로 계획 등 다양한 로봇 장치가 다방면으로 설계될 수 있을 것으로 사료된다.
REFERENCES
- 1.
Kim, J., Campbell, A. S., de Ávila, B. E.-F., Wang, J., (2019), Wearable biosensors for healthcare monitoring, Nature Biotechnology, 37(4), 389-406.
10.1038/s41587-019-0045-y
- 2.
Kim, J., Koo, B., Nam, Y., Kim, Y., (2021), sEMG-Based hand posture recognition considering electrode shift, feature vectors, and posture groups, Sensors, 21(22), 7681.
10.3390/s21227681
- 3.
Palumbo, A., Vizza, P., Calabrese, B., Ielpo, N., (2021), Biopotential signal monitoring systems in rehabilitation: a review, Sensors, 21(21), 7172.
10.3390/s21217172
- 4.
Huamanchahua, D., Huamán-Lévano, L. A., Asencios-Chávez, J., Caballero-Canchanya, N., (2022), Biological signals for the control of robotic devices in rehabilitation: an innovative review, 2022 IEEE International IOT, Electronics and Mechatronics Conference, 1-7.
10.1109/IEMTRONICS55184.2022.9795719
- 5.
Maceira-Elvira, P., Popa, T., Schmid, A. C., Hummel, F. C., (2019), Wearable technology in stroke rehabilitation: towards improved diagnosis and treatment of upper-limb motor impairment, Journal of Neuroengineering and Rehabilitation, 16(1), 142.
10.1186/s12984-019-0612-y
- 6.
Hooda, N., Das, R., Kumar, N., (2020), Fusion of EEG and EMG signals for classification of unilateral foot movements, Biomedical Signal Processing and Control, 60, 101990.
10.1016/j.bspc.2020.101990
- 7.
Kim, K.-T., Suk, H.-I., Lee, S.-W., (2018), Commanding a brain-controlled wheelchair using steady-state somatosensory evoked potentials, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 26(3), 654-665.
10.1109/TNSRE.2016.2597854
- 8.
Mao, W.-L., Fathurrahman, H., Lee, Y., Chang, T., (2020), EEG dataset classification using CNN method, Journal of Physics: Conference Series, 1456(1), 012017.
10.1088/1742-6596/1456/1/012017
- 9.
Lee, Y., Lee, H. J., Tae, K. S., (2023), Classification of EEG signals related to real and imagery knee movements using deep learning for brain computer interfaces, Technology and Health Care : Official Journal of the European Society for Engineering and Medicine, 31(3), 933-942.
10.3233/THC-220363
- 10.
Kim, D.-E., Yu, J.-H., Sim, K.-B., (2015), EEG feature classification for precise motion control of artificial hand, Journal of Korean Institute of Intelligent Systems, 25(1), 29-34.
10.5391/JKIIS.2015.25.1.029
- 11.
Jeong, J.-H., Shim, K.-H., Kim, D.-J., Lee, S.-W., (2020), Brain-controlled robotic arm system based on multi-directional CNN-BiLSTM network using EEG signals, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 28(5), 1226-1238.
10.1109/TNSRE.2020.2981659
- 12.
Aly, H., Youssef, S. M., (2023), Bio-signal based motion control system using deep learning models: a deep learning approach for motion classification using EEG and EMG signal fusion, Journal of Ambient Intelligence and Humanized Computing, 14(1), 991-1002.
10.1007/s12652-021-03351-1
- 13.
Delisle-Rodriguez, D., Cardoso, V., Gurve, D., Loterio, F., Alejandra Romero-Laiseca, M. A., Krishnan, S., Bastos-Filho, T., (2019), System based on subject-specific bands to recognize pedaling motor imagery: towards a BCI for lower-limb rehabilitation, Journal of Neural Engineering, 16(5), 056005.
10.1088/1741-2552/ab08c8
- 14.
Liu, Y.-H., Lin, L.-F., Chou, C.-W., Chang, Y., Hsiao, Y.-T., Hsu, W.-C., (2019), Analysis of electroencephalography event-related desynchronisation and synchronisation induced by lower-limb stepping motor imagery, Journal of Medical and Biological Engineering, 39(4), 54-69.
10.1007/s40846-018-0379-9
- 15.
Asanza, V., Peláez, E., Loayza, F., Lorente-Leyva, L. L., Peluffo-Ordóñez, D. H., (2022), Identification of lower-limb motor tasks via brain–computer interfaces: a topical overview, Sensors, 22(5), 2028.
10.3390/s22052028
- 16.
Kim, S. J., Choi, B. J., (2022), LSTM model based prediction of daily confirmed cases of COVID-19 in korea using google mobility data, Journal of Korean Institute of Intelligent Systems, 32(4), 292-298.
10.5391/JKIIS.2022.32.4.292
- 17.
Lee, S. M., Pi, S. H., Han, S. H., Jo, Y. U., Oh, D. C., (2022), Classification of gripping movement in daily life using EMG-based spider chart and deep learning, Journal of Biomedical Engineering Research, 43(5), 299-307.
- 18.
Shen, S., Gu, K., Chen, X.-R., Yang, M., Wang, R.-C., (2019), Movements classification of multi-channel sEMG based on CNN and stacking ensemble learning, IEEE Access, 7, 137489-137500.
10.1109/ACCESS.2019.2941977
- 19.
Manor, R., Geva, A. B., (2015), Convolutional neural network for multi-category rapid serial visual presentation BCI, Frontiers in Computational Neuroscience, 9, 146.
10.3389/fncom.2015.00146
- 20.
Li, G., Lee, C. H., Jung, J. J., Youn, Y. C., Camacho, D., (2020), Deep learning for EEG data analytics: a survey, Concurrency and Computation: Practice and Experience, 32(18), e5199.
10.1002/cpe.5199
- 21.
Sheykhivand, S., Mousavi, Z., Rezaii, T. Y., Farzamnia, A., (2020), Recognizing emotions evoked by music using CNN-LSTM networks on EEG signals, IEEE Access, 8, 139332-139345.
10.1109/ACCESS.2020.3011882
- 22.
Gordleeva, S. Y., Lobov, S. A., Grigorev, N. A., Savosenkov, A. O., Shamshin, M. O., Lukoyanov, M. V., Khoruzhko, M. A., Kazantsev, V. B., (2020), Real-time EEG-EMG human-machine interface-based control system for a lower-limb exoskeleton, IEEE Access, 8, 84070-84081.
10.1109/ACCESS.2020.2991812
- 23.
Grigorescu, S. M., Lüth, T., Fragkopoulos, C., Cyriacks, M., Gräser, A., (2012), A BCI-controlled robotic assistant for quadriplegic people in domestic and professional life, Robotica, 30(3), 419-431.
10.1017/S0263574711000737
- 24.
Kristeva, R., Patino, L., Omlor, W., (2007), Beta-range cortical motor spectral power and corticomuscular coherence as a mechanism for effective corticospinal interaction during steady-state motor output, NeuroImage, 36(3), 785-792.
10.1016/j.neuroimage.2007.03.025
Biography
- Seohyun Lee
B.Sc. in the Department of Biomedical Engineering, Konyang University. Her research interests are brain-computer interface (BCI), and Medical artificial intelligence.
- Yoonsung Jang
B.Sc. in the Department of Biomedical Engineering, Konyang University. Her research interests are brain-computer interface (BCI), and Medical artificial intelligence.
- Hyunju Lee
Professor in the Department of Physical Therapy, Konyang University. Her research interests are Rehabilitation assistive technology, and Tele-rehabilitation.
- Kisik Tae
Professor in the Department of Biomedical Engineering, Konyang University. His research interests are Orthopedic biomechanics, Human motion analysis, VR/AR and artificial intelligence (AI) application for stroke rehabilitation, Brain-computer Interface (BCI) and rehabilitation robotics.
