ABSTRACT
Recently, the estimation of joint kinetics such as joint force and moment using wearable inertial sensors has received great attention in biomechanics. Generally, the joint force and moment are calculated though inverse dynamics using segment kinematic data, ground reaction force, and moment. However, this approach has problems such as estimation error of kinematic data and soft tissue artifacts, which can lead to inaccuracy of joint forces and moments in inverse dynamics. This study aimed to apply a recurrent neural network (RNN) instead of inverse dynamics to joint force and moment estimation. The proposed RNN could receive signals from inertial sensors and force plate as input vector and output lower extremity joints forces and moments. As the proposed method does not depend on inverse dynamics, it is independent of the inaccuracy problem of the conventional method. Experimental results showed that the estimation performance of hip joint moment of the proposed RNN was improved by 66.4% compared to that of the inverse dynamics-based method.
-
KEYWORDS: Joint moment, Inertial sensor, Inverse dynamics, Recurrent neural network, Deep learning
-
KEYWORDS: 관절 모멘트, 관성 센서, 역동역학, 순환신경망, 심층 학습
1. 서론
스포츠, 외골격 시스템 그리고 재활과 같은 생체역학분야에서 착용형 관성센서(Inertial Sensor)를 통한 인간 동작추적 기술이 널리 활용되고 있다
[1-
5]. 관성센서는 3축 가속도계, 3축 자이로스코프, 그리고 3축 지자기센서로 이루어진 소형 및 경량의 센서 모듈로 실험실에서 벗어난 야외 환경에서 인간의 동작을 추적할 수 있다는 장점을 가지고 있다. 최근에는 관절각, 그리고 분절의 자세(Orientation)와 같은 신체의 운동학적(Kinematics) 정보뿐만 아니라, 신체에 작용하는 역학(Kinetics) 정보를 추정하는 연구가 진행되고 있다
[6-
11]. 특히, 사람의 관절에 가해지는 힘과 모멘트는 신체 기능 평가의 중요한 지표로서 사용된다. 따라서 관성센서 신호를 통해 관절 힘 및 모멘트를 추정하는 기술은 다양한 분야에서 효과적으로 사용될 수 있다.
가장 널리 활용되는 관절 힘과 모멘트의 계산 방법은 뉴턴-오일러(Newton-Euler) 방정식을 기반으로 하는 역동역학(Inverse Dynamics)을 수행하여 계산하는 방법이다
[12-
15]. 이 방법은 가장 몸통에서 멀리 위치한 원위부(Distal) 분절부터 상대적으로 몸통 중심부에 가까운 근위부(Proximal) 분절로 순차적으로 전파해가며 뉴턴-오일러 방정식을 적용해 분절을 연결하는 각 관절의 힘과 모멘트를 계산하는 방법이다. 이를 위해 필요한 물리량은 분절 및 관절의 운동학 데이터, 가장 원위부 분절에 작용하는 외력, 그리고 분절의 관성 매개변수이다. 분절 및 관절의 운동학 데이터는 분절의 자세, 선형 가속도, 그리고 각속도 등이 포함되며 이는 일반적으로 광학식 모션캡처 시스템을 통해 측정된다. 가장 원위부 분절에 작용하는 외력은 지면 반력(Ground Reaction Force, GRF) 및 모멘트(Ground Reaction Moment, GRM), 그리고 압력 중심점을 포함하며 일반적으로 힘판(Force Plate)을 통해 측정 가능하다. 또한, 관성 매개변수는 분절의 무게 및 질량 중심의 위치, 분절의 관성모멘트 등으로, 피험자의 신체 정보를 통해 회귀식으로 결정된다
[16,
17].
이 중 일반적으로 광학식 모션캡처 시스템을 통해 측정되는 운동학 데이터는 관성센서기반의 분절 운동학 데이터를 통해 대체될 수 있다. 관성센서를 사용할 경우, 공간의 제약없이 실험실 외부 환경에서 분절의 운동학 데이터를 제공할 수 있다는 이점을 가지고 있어 활용성이 크다. 하지만 관성센서는 광학식 모션 캡처와 다르게 운동학 데이터를 정밀하게 계측하는 것이 아닌 분절에 부착된 센서 신호를 통해 추정된 센서 자세와 분절에 대한 관절 중심점의 상대적 위치를 나타내는 분절-관절(Segment-to-joint) 벡터를 통해 추정해야 한다는 단점을 가지고 있다. 즉, 추정 오차가 포함된다. 또한 연조직 변형(Soft Tissue Artifacts)으로 인해 분절-관절 벡터와 같은 미리 상수로 결정된 물리량과 실제 물리량 간의 오차가 발생해 운동학 데이터의 추정 오차가 증가한다. 이러한 관성센서를 통한 운동학 데이터의 추정 오차는 부정확한 관절 힘 및 모멘트 추정으로 이어지게 된다
[18].
최근 관성센서기반 동작분석에서 연조직 변형을 고려하는 연구가 이루어지고 있다. 이창준과 이정근
[18,
19]은 분절-관절 벡터를 시변화하여 관성센서기반의 상대위치 추정을 진행하였으며, 분절-관절 벡터의 시변화가 관성센서기반 역동역학에 미치는 영향성을 살펴보았다. 최근 인공신경망(Artificial Neural Network)을 활용하여 시스템의 상태를 추정하거나 분류하는 연구가 성공적으로 이루지고 있다
[20-
22]. 이러한 연구들에 영향을 받아, 본 논문의 저자인 최지석과 이정근
[23]은 신경망을 활용하여 분절-관절 벡터를 시변화하여 관성센서 기반 상대위치를 추정하는 방법을 제안하였다. 이와 같이 이전에는 분절-관절 벡터와 같은 운동학 데이터를 추정하는 영역에서 신경망을 활용하여 그 성능을 확인하였다.
본 논문의 목적은 이전 연구에서의 신경망의 활용을 역학 영역으로 확장하여 관성센서기반 역동역학에서 운동학 데이터로 인해 발생하는 관절 힘 및 모멘트 추정 오차를 보정하기 위해 신경망을 활용하는 것이다. 신경망은 관성센서 신호와 참조 관절 힘 및 모멘트 간의 관계를 학습하여, 연조직 변형 또는 관성센서 기반 운동학 데이터 추정 오차로 인한 관절 힘 및 모멘트 추정 오차를 최소화할 수 있다. 따라서 제안된 신경망은 관성센서 그리고 힘판의 신호만을 입력으로 받아 하지 관절에 작용하는 힘과 모멘트를 출력한다. 즉, 제안된 신경망은 관성센서 신호를 통한 운동학 데이터 추정과 역동역학을 대체하는 것이다. 제안된 신경망의 성능을 검증하기 위해, 칼만필터를 통해 추정한 관성센서의 자세를 사용하여 역동역학을 수행한 방법, 그리고 광학식 모션 캡처 시스템을 통해 측정한 참조 관성센서의 자세를 사용하여 역동역학을 수행한 방법과 비교하였다.
2. 방법
2.1 관성센서기반 역동역학
본 연구에서는 관성센서기반의 역동역학을 대신하여 하지 관절(발목, 무릎, 그리고 고관절)에 작용하는 힘과 모멘트를 추정하기 위해 신경망을 학습시킨다. 먼저 이를 위해, 관성센서기반의 역동역학에 대해 설명한다. 발(i = 1), 종아리(i = 2), 허벅지(i = 3), 골반(i = 4)으로 구성된 하지 모델에 대해 역동역학을 수행한다. 이 방법은 가장 몸통에서 멀리 위치한 원위부 분절(즉, 발)부터 상대적으로 몸통 중심부에 가까운 근위부 분절(즉, 골반)로 순차적으로 전파해가며 뉴턴-오일러 방정식을 적용해 각 관절의 힘과 토크를 계산하는 방법이다. 따라서 하지의 경우 가장 말단부인 발에서부터 근위부 분절로 전파해가며 관절 힘과 모멘트를 계산한다.
Figs. 1(a)와
1(b)는 각각 발 분절과 임의의 분절
i의 자유물체도이다. 임의의 분절
i의 근위부 관절
Pi에 작용하는 힘
Fi는 다음과 같은 운동 방정식을 통해 결정할 수 있다 (
Fig. 1(b) 참조).
Fig. 1Free-body diagrams of (a) foot segment and (b) arbitrary segment i
여기서 Fi-1 는 원위부 분절 i-1로부터 전달되는 힘 (즉, 원위부 관절 Di 에 작용하는 힘), aCi 는 분절 i의 질량중심점의 선형 가속도, g는 중력가속도 벡터, 그리고 mi 는 i 분절의 질량이며, 윗첨자 I는 해당 벡터가 관성 좌표계 {I}에 대해 표현됨을 나타낸다. 여기서 관성좌표계의 각 축은 AP (Anterior-posterior), SI (Superior-inferior), 그리고 ML (Medial-lateral) 축으로 구성되며 각 축은 피험자의 전후방향, 상하방향, 그리고 좌우방향 성분에 해당한다. 선형 가속도의 경우, i 분절에 부착된 관성센서의 가속도를 분절 질량 중심점으로 전파하여 다음과 같이 결정할 수 있다.
여기서
IRSi는 센서의 자세 행렬,
aSi는 센서 가속도 벡터
ωSi 는 각속도 벡터,
sSi는 센서 좌표계의 원점부터 분절 질량중심점까지의 위치벡터로
sCi =
sPi +
rCi이다.
sPi와
rCi는 각각 센서부터 근위부 관절 중심까지 벡터(즉, 분절-관절 벡터) 그리고 근위부 관절 중심점부터 분절 질량 중심점까지의 벡터이다. 센서 가속도 그리고 각속도 벡터는 각각 관성센서의 가속도계 신호
yA 그리고 자이로스코프 신호
yG로부터 제공되며, 자세 행렬은 칼만필터 또는 상보필터와 같은 센서 융합 알고리즘을 통해 추정된다
[24,
25].
위의 식을 통해 분절의 근위부 관절에 작용하는 힘 Fi가 결정되고 나면, 근위부 관절에 작용하는 모멘트 Mi는 다음과 같은 운동 방정식을 통해 결정된다.
여기서, Mi-1는 i-1 분절로부터 가해지는 모멘트(즉, 원위부 관절 D에 작용하는 모멘트), sDi는 센서부터 원위부 관절 중심점까지의 위치벡터이다. 또한 Hi는 분절 i의 관성 모멘트로 다음과 같이 정의된다.
여기서
Ji는 관성 텐서이며,
ωSiSi×는
ωSiSi의 외적행렬을 나타낸다.
식(3)을 통해 계산된 관절 모멘트는 자세 행렬
IRSi를 통해 다시 관성 좌표계에 대해 표현된다(즉,
MiI=RSiIMiSi).
식(1) 그리고
식(3)으로 해당 분절의 관절 힘과 모멘트가 결정되면, 순차적으로 상대적인 근위부 분절로 전파해가며 관절의 힘과 모멘트를 계산한다. 역동역학이 시작되는 하지 모델의 가장 말단부인 발의 경우, 원위부 관절이 존재하지 않으므로,
F0 그리고
M0는 지면 반력 및 모멘트에 해당하며,
sD1은 발 분절의 센서부터 힘판의 압력중심점(Center of Pressure)이다 (
Fig. 1(a) 참조). 본 연구의 목적은 신경망을 통해 관절 힘과 모멘트를 추정하고, 이를 관성 센서기반 역동역학의 추정 정확도과 비교분석 하는 것이다.
F0,
M0, 그리고
sD1 는 힘판으로부터 얻어진 물리량으로 관성센서로 인한 오차에 기인하지 않는다. 따라서 해당 물리량은 관성센서기반 역동역학 계산을 위해 힘판이 제공한 참값을 사용한다. 각 분절의 분절-관절 벡터
sPi 그리고
sD1 는 광학식 시스템으로 미리 결정된 상수 벡터를 사용하였다. 또한 역동역학에 사용되는 관성 매개변수
mi,
rCi, 그리고
Ji는 인체 측정 기반의 회귀법에 따라 결정하였다
[16].
2.2 관절 역학 추정 신경망
본 연구에서는 역동역학을 수행하지 않고 힘판 데이터와 관성센서 데이터를 입력으로 받아 관절의 힘과 모멘트를 출력하는 신경망을 학습시킨다. 해당 신경망은 관성 센서신호를 통해 분절의 운동학데이터를 추정하는 과정과 관성센서기반 역동역학을 계산하는 과정을 거치지 않고 하지 관절의 힘과 모멘트를 추정할 수 있다.
제안된 관절 힘 및 모멘트 추정 신경망은 유닛간 연결이 순환적 구조를 갖는 순환신경망(Recurrent Neural Network, RNN)으로 전체적인 구조는
Fig. 2를 통해 알 수 있다. RNN은 과거의 상태 정보를 신경망 내부에 저장할 수 있기 때문에 시계열 데이터를 다루는데 적합하다. 신경망의 입력 벡터는 하지 분절에 부착된 4개의 관성센서의 신호 그리고 힘판 신호로 구성된다. 각 분절에 부착된 관성센서는 9축 신호를 포함하며(즉,
yi=yAi yGi yMi), 힘판 신호는 3축 지면 반력과 3축 지면 모멘트로 구성된다. 여기서
yM은 지자기센서 신호이다. 따라서 입력벡터는 42차원의 벡터이다. 입력 벡터는 250개의 히든 유닛을 갖는 2계층(Layer) 게이트 순환 유닛(Gated Recurrent Unit, GRU)을 통과해 250차원의 상태벡터로 변환된다. 여기서 GRU는 게이트 메커니즘이 적용된 순환신경망의 한 종류로, 오래된 과거 상태정보를 초기화하거나 현재와 과거 정보의 가중치를 조절할 수 있어 긴 시계열 데이터 처리하는데 강점을 갖는다
[26]. 마지막으로 상태벡터를 하지 세 관절(발목, 무릎, 그리고 고관절)의 3차원 관절 힘 및 3차원 관절 모멘트를 나타내는 18차원 벡터로 차원 축소시켜주기 위해, 1차원 합성곱신경망(1-dimentional Convolutional Neural Network)을 사용하였다.
Fig. 2Architecture of the recurrent neural network for joint kinetics estimation
제안된 신경망은 모델을 통해 출력된 관절 힘 및 모멘트와 참조 관절 힘 및 모멘트간 오차를 최소화하도록 가중치를 갱신하며 학습된다. 본 모델 학습에 사용된 손실함수는 다음과 같은 임의의 순간 tk 에서 시작하는 N개의 시계열 데이터에 대한 평균제곱오차(Mean Squared Error, MSE)이다.
여기서 y는 참조 벡터이며, y^는 모델을 통해 출력된 벡터이다.
모델 학습을 위해 다음과 같은 학습 알고리즘을 사용하였다. 학습 안정성을 향상시키고, 입력 데이터의 편향성을 제거하기 위해 입력 벡터를 0의 평균과 1의 표준편차를 갖도록 표준화(Standardization)하였다. RNN은 긴 시간의 시계열 데이터(즉, 많은 샘플링 수를 갖는 데이터)를 역전파를 통해 학습시킬 경우, 기울기 소실 또는 기울기 폭발 문제가 발생한다. 이러한 수치 문제를 해결하기 위해 잘린 시간에 따른 역전파(Truncated Backpropagation through Time)알고리즘을 사용하였다. 해당 알고리즘은 긴 시계열 데이터를 미니배치를 통해 짧은 시계열 데이터의 연결로 나누는 방법으로, 미니 배치간 마지막 은닉상태를 유지한 채 신경망을 순차적으로 학습시킨다. 모델 학습에 사용된 최적화 알고리즘은 두 최적화 알고리즘 RAdam과 Lookahead를 결합한 Ranger를 사용하였다
[27]. 학습 과정 동안 최적의 학습률를 조정하기 위해 두 가지 알고리즘을 사용했다. 하나는 손실함수의 빠른 수렴을 위한 원사이클 학습법이며, 나머지는 최적의 학습률을 적용하기 위한 학습률 발견자 알고리즘이다
[28,
29]. 네트워크 구현 및 학습은 PyTorch 기반의 fastai v2 API
[30]를 사용하여 Google Colab 환경에서 진행되었다.
3. 실험 및 데이터 처리
3.1 실험
관성센서기반의 역동역학을 수행하는 대신 신경망을 학습시켜 관절 힘과 모멘트를 추정하는 방법의 성능을 비교분석하기 위해, 6명의 건강한 남성 피험자(나이: 25.0±1.67세, 키: 1.71±0.05 m, 몸무게: 81.17±12.32 kg)를 대상으로 실험을 진행하여 신경망 학습 및 검증에 필요한 데이터를 습득하였다.
오른쪽 하지 분절의 운동학 데이터를 추정하기 위해, 3축 가속도계, 3축 자이로스코프, 그리고 3축 지자기센서로 구성된 관성센서 모듈 MTw (Xsens Technologies B. V., Netherlands)를 벨크로 벤드를 사용해 오른발등, 오른쪽 하지의 정강이 및 허벅지 앞부분, 그리고 골반 뒷부분에 부착하였다(
Fig. 3 참조). 또한 역동역학 수행에 필요한 지면반력 및 모멘트 그리고 압력 중심점을 측정하기 위해, 힘판 OR 6-7 (Advanced Mechanical Technology, Inc., USA)을 사용하였다. 신경망 학습에 필요한 참조 관절 힘과 모멘트는 광학식 모션캡처 시스템을 통해 측정된 분절 운동학 데이터와 힘판으로 측정된 외력 데이터를 기반으로 역동역학을 수행해 얻어졌다
[12]. 또한 광학식 시스템을 통해 관성센서의 참조 자세를 습득하였다. 이를 위해 광학식 모션캡처 시스템 Optitrack Flex 13(Natural Point, USA)을 사용하였다. 세 시스템은 모두 100 Hz로 샘플링되었으며, 광학식 모션캡처 시스템으로 측정된 운동학 데이터와 힘판 데이터는 영위상차 4차 Butterworth Low-pass Filter(차단주파수: 6 Hz)를 적용시켰다.
Fig. 3Experimental setup
하지 분절의 데이터를 습득하기 위해 다음 동작들을 수행하였다: (i) 첫번째 동작(Test 1)은 하프스쿼트(Half Squat), (ii) 두번째 동작(Test 2)는 풀스쿼트(Full Squat), 그리고 (iii) 세번째 동작(Test 3)은 런지(Lunge) 동작이다.
Fig. 4는 세가지 실험 동작의 예시를 보여준다. 각 테스트는 1분간 수행하였으며, 피험자마다 테스트별로 4번씩 시행하였다. 따라서 각 피험자의 시행 데이터는 12개로서 총 시행 데이터수는 72개이다. 각각의 시행 데이터는 약 6,000개의 샘플링을 포함하고 있다.
Fig. 4Experiment motions
3.2 데이터 처리
신경망을 학습 및 검증하기 위해, 실험을 통해 습득한 데이터를 학습 데이터와 테스트 데이터로 나누었다.
Fig. 5는 실험 데이터를 학습 및 테스트 데이터로 분할한 그림이다. 그림과 같이 각 테스트별로 2명의 피험자에 대한 데이터는 검증 데이터로, 나머지는 학습 데이터로 사용하여 모델의 검증을 진행하였다.
Fig. 5Scheme of splitting into training data and test data
데이터 증강은 데이터 부족문제를 해결하고 더 강건한 성능의 신경망 모델을 하기 위해, 제한적인 학습 데이터양을 인위적인 방법으로 증가시키는 방법이다. 본 연구에서는 학습 데이터의 양을 증가시키기 위해 두 가지 데이터 증강을 적용하였다. 첫번째는 자이로스코프 신호에 임의의 편향값(Bias)을 추가하는 방법으로, 해당 신경망이 자이로스코프 편향에 강건한 성능을 확보할 수 있다. 따라서, 0의 평균과 0.5 deg/s의 표준편차를 갖는 정규분포에서 임의의 3차원 상수 벡터를 무작위로 생성하여 자이로스코프 신호에 더해주었다. 두번째 증강 기법은 관성센서의 9축 신호에 임의의 노이즈를 추가하는 것이다. 관성센서의 세 가지 센서의 노이즈 수준이 다르기 때문에, 각 센서의 노이즈 수준에 맞는 가상의 노이즈를 데이터마다 무작위로 생성하여 각 센서 신호에 추가하였다. 가속도계, 자이로스코프 그리고 지자기센서의 가상의 노이즈는 각각 평균 0.05 m/s2, 0.3 deg/s, 그리고 0.01 a.u (Arbitrary Unit)의 표준편차를 갖는다.
관성센서기반 역동역학 방법과 제안된 신경망의 추정 성능을 비교하기 위해, 세 가지 방법을 비교 분석하였다. 첫번째 방법(M1)은 관성센서의 참조 자세를 사용하여 분절 운동학데이터를 계산하고, 관성센서기반 역동역학을 수행한 방법, 두번째 방법(M2)는 추정된 관성센서의 자세를 사용하여 분절 운동학 데이터를 계산한 후, 역동역학을 수행한 방법, 그리고 세번째 방법(M3)는 관성센서 데이터 그리고 힘판 데이터를 통해 신경망을 학습시켜 관절 힘 및 모멘트를 추정하는 방법이다. M2의 경우 센서의 자세를 추정하기 위해 칼만필터를 사용하였다
[24]. 각 방법의 추정 성능을 비교하기 위해 참조 관절 힘 및 모멘트에 대한 추정 값의 평균 제곱근 오차(Root Mean Squared Error, RMSE)를 사용하였다.
4. 결과 및 고찰
Table 1은 세 방법의 관절 힘 및 모멘트의 평균 RMSE를 보여준다. 여기서
Fig. 5와 같이 각 테스트마다 두 명의 피험자에 대한 검증 데이터의 결과가 정리되었다.
Table 1 Averaged RMSE of the (a) joint force and (b) moment estimation
Table 1
|
(a) Joint force [N] |
|
|
Ankle |
Knee |
Hip |
|
|
M1 |
M2 |
M3 |
M1 |
M2 |
M3 |
M1 |
M2 |
M3 |
|
Test1 |
Subject1 |
0.13 |
0.19 |
2.21 |
1.14 |
1.23 |
2.18 |
4.00 |
5.20 |
2.50 |
|
Subject2 |
0.11 |
0.12 |
2.12 |
1.19 |
1.41 |
2.29 |
4.35 |
4.62 |
3.11 |
|
Test2 |
Subject3 |
0.17 |
0.23 |
2.30 |
1.23 |
1.51 |
2.22 |
3.90 |
4.92 |
3.00 |
|
Subject4 |
0.17 |
0.18 |
1.97 |
1.26 |
1.53 |
2.02 |
4.51 |
4.58 |
2.51 |
|
Test3 |
Subject5 |
0.23 |
0.40 |
2.45 |
1.23 |
1.96 |
2.58 |
3.06 |
6.30 |
3.07 |
|
Subject6 |
0.20 |
0.27 |
4.37 |
1.54 |
1.57 |
3.02 |
4.49 |
4.60 |
3.78 |
|
Average |
0.17 |
0.23 |
2.57 |
1.26 |
1.53 |
2.39 |
4.05 |
5.04 |
3.00 |
|
(b) Joint moment [Nm] |
|
|
Ankle |
Knee |
Hip |
|
|
M1 |
M2 |
M3 |
M1 |
M2 |
M3 |
M1 |
M2 |
M3 |
|
Test1 |
Subject1 |
0.98 |
1.53 |
1.15 |
2.72 |
3.65 |
1.21 |
8.06 |
8.72 |
1.79 |
|
Subject2 |
1.80 |
1.97 |
4.63 |
4.09 |
4.56 |
4.49 |
7.14 |
4.80 |
2.94 |
|
Test2 |
Subject3 |
1.37 |
2.41 |
1.54 |
6.21 |
7.47 |
1.67 |
10.94 |
12.03 |
2.08 |
|
Subject4 |
1.13 |
1.30 |
3.97 |
3.62 |
3.15 |
3.14 |
10.5 |
12.25 |
2.44 |
|
Test3 |
Subject5 |
2.19 |
2.67 |
1.85 |
2.48 |
6.42 |
3.48 |
4.28 |
8.64 |
4.77 |
|
Subject6 |
1.74 |
5.09 |
2.61 |
3.01 |
5.40 |
3.08 |
6.60 |
9.84 |
4.89 |
|
Average |
1.54 |
2.50 |
2.63 |
3.69 |
5.11 |
2.84 |
7.92 |
9.38 |
3.15 |
관절 힘 결과의 경우, 발목과 무릎에서는 기존방법인 M1과 M2의 성능이 제안방법인 M3에 비해 우세한 반면, 고관절에서는 M3이 우수하게 나타났다. 예로, 무릎에서는 M3의 평균 RMSE가 M2 대비 0.86 N만큼 큰 반면에 고관절에서는 약 2 N 만큼 우세하게 나타났다. 다만, 각 관절에 100 N 이상의 힘이 가해진다는 점을 고려하였을 때, 방법에 따른 성능의 차이가 매우 근소한 수준인 것으로 볼 수 있다.
관절 모멘트의 경우, 동작에 따른 차이가 존재하였지만, 무릎과 고관절에 대해서는 M3이 다른 두 방법에 비해 우수한 정확도를 나타났다. 특히, 피험자 3의 Test 2에서는 제안방법이 M2 대비 무릎에 대해서 5.80 Nm만큼, 고관절에 대해서는 9.95 Nm만큼 우세한 결과를 보였다. 런지 동작인 Test 3의 결과에서는 M3의 추정 오차가 다른 동작에 비해 큰 것으로 나타났으나, 그럼에도 기존 방법에 비해서 우수하거나 동등한 성능을 보였다.
Figs. 6과
7은 각각 피험자 3의 Test 2와 피험자 6의 Test 3의 관절 힘과 모멘트의 추정 결과 그래프를 각 축별(AP, SI, 그리고 ML)로 보여준다. 관절 힘의 경우, 관절이나 축 성분에 따른 차이가 존재하였으나, 세 가지 방법 모두 유사한 수준의 추정 성능을 보여주었다. 반면에 관절 모멘트의 결과에서는 방법에 따른 차이가 현저하게 드러났다. 예로 Test 2(풀스쿼트)의 무릎과 고관절 모멘트 추정 결과에서, M1과 M2는 동작에 따른 오차가 크게 나타나는 반면에 제안방법은 지속적으로 참값에 근접하게 추정되는 모습을 보였다. 특히, 무릎이 최대로 굽혀져 모멘트가 크게 증가하는 23-25초의 구간에서 방법간 차이가 두드러지게 나타났다. 신체의 변형이 큰 구간에서는 연조직변형이 크게 일어나 상수로 결정된 분절에 부착된 센서와 관절간 상대 위치가 크게 변형되기 때문에 M1과 M2의 오차가 크게 증가함을 나타낸다. Test 3(런지)의 경우, Test 2에 비해서는 제안방법의 오차가 크게 나타났지만, 전체적으로 M2에 비해서는 우수한 결과를 보였다. 특히 무릎과 고관절의 AP와 ML 축 방향의 성분에서 M3이 비교적 우수한 성능을 나타냈다. 다만, 일부 축 성분의 결과에서는 M1의 성능과 동등하거나 약간의 성능 열세를 나타냈다.
Fig. 6 Estimation results of (a) joint force and (b) moment of Test 2 from Subject 3
Fig. 7 Estimation results of (a) joint force and (b) moment of Test 3 from Subject 6
하프스쿼트 동작인 Test 1에서 M1 그리고 M2의 고관절 오차평균 RMSE는 각각 7.60 Nm 그리고 6.76 Nm이다. 반면에 풀스쿼트 동작인 Test 2 에서의 고관절 오차 평균 RMSE는 각각 10.7 Nm 그리고 12.1 Nm으로 Test 1보다 큰 오차 수준을 보인다. 풀스쿼트는 하프스쿼트보다 더 깊이 앉는 동작인 만큼 신체의 변형 수준이 더 크다. 이를 통해 더욱 큰 연조직 변형이 더욱 큰 관절 힘 그리고 모멘트 오차에 기인한다고 추정할 수 있다.
M1과 M2는 역동역학을 수행하기 위하여 관성센서의 신호와 센서신호로부터 추정된 운동학 데이터, 그리고 분절-관절 벡터와 같은 미리 결정된 신체 정보를 사용하였다. 특히, 이 중 분절-관절 벡터는 참고문헌
[18]에서 확인되었듯이 신체 동작 중 발생하는 연조직 변형으로 인해 고정 상수로 유지되지 않고 시간에 따라 변형된다. 즉, 스쿼트나 런지와 같이 큰 수준의 신체 변형이 발생하는 동작들에 대해서는 분절-관절 벡터의 변형 수준이 클 것으로 예측 가능하다. 또한 M2는 참조 자세를 사용하는 M1과 다르게 센서신호로부터 추정된 자세 정보를 사용하였기 때문에, 자세의 오차가 관절 힘과 모멘트 오차의 증가에 기인한 것으로 보인다.
역동역학의 경우, 원위부 관절인 발목에서부터 근위부 관절인 고관절로 힘과 모멘트를 전파시키는 방식으로 관절 힘과 모멘트를 계산한다. 따라서, 근위부 관절의 추정 오차에는 원위부 관절에서 발생한 오차가 누적된다. 이에 따라서 기존방법인 M1과 M2의 경우 오차가 윗방향의 관절로 전파될수록 증가하는 경향이 확인되었다. 특히, 허벅지 분절은 하지 분절 중 지방이나 근육 등 많은 양의 연조직이 분포하여 변형이 가장 큰 수준으로 발생하기 때문에, 고관절의 모멘트 추정 오차가 가장 큰 수준으로 나타난다.
반면에 M3은 참값을 통해 학습되어 연조직 변형을 보상하는 방향으로 학습되고 오차를 누적시키는 자세 등의 운동학 데이터의 추정 과정이나 역동역학 계산 등의 과정을 거치지 않으므로, 기존 방법에서 발생하는 연조직 변형의 영향과 무관하다. 이에 신체 변형이 크게 발생하는 풀스쿼트 등의 동작에서도 비교적 좋은 성능을 유지하였으며, 특히 근위부 관절인 고관절의 결과에서도 기존 방법 대비 우수한 정확도를 나타냈다. 이는 신경망기반의 추정법이 역동역학기반 추정법이 갖는 연조직 변형, 운동학 추정 오차, 그리고 역동역학 전파에 따른 오차 누적 등에 의한 부정확성 문제를 극복할 수 있음을 보여준다.
다만 스쿼트 동작에 비해 런지 동작에서 M3의 추정 성능 오차가 비교적 크게 나타났다. 런지는 다른 두 스쿼트 동작과 유사하지만 한쪽 다리만을 굽힌다는 점에서 차이가 있다.
Fig. 5에서 볼 수 있듯 런지에 비해 더 많은 양의 스쿼트 동작에 대한 데이터가 모델 학습에 사용되었기 때문에, 모델이 스쿼트 동작 중의 패턴을 찾아내는 방향으로 학습되었을 것으로 추측된다. 그럼에도 제안하는 신경망이 큰 수준의 모멘트가 가해지는 무릎 그리고 고관절 관절 모멘트 추정에서 기존 방법 대비 동등하거나 우수한 성능을 확보할 수 있다는 점에서 의미가 있다.
5. 결론
본 논문에서는 관성센서를 기반으로 관절에 가해지는 힘과 모멘트를 추정하는 순환신경망을 제안한다. 기존 방법에서는 관성센서기반의 역동역학을 통해 관절 힘과 모멘트를 추정하였으며, 이 과정에서 관성센서 신호를 활용한 운동학 데이터의 추정과 역동역학 계산 등의 과정이 수반된다. 이때 운동학 데이터의 추정 오차나 연조직 변형 등은 관절의 힘과 모멘트의 정확도를 저하시키는 요인이다. 이에 본 논문에서는 이러한 역동역학 과정 없이 관성센서와 힘판 신호를 입력으로 받아 관절 힘과 모멘트를 출력하는 신경망 모델을 개발하고, 기존에 사용된 역동역학 방법의 성능과 비교 분석하였다. 검증 실험은 발목, 무릎, 그리고 고관절을 대상으로 진행되었으며, 실험 동작은 하프 스쿼트, 풀 스쿼트, 그리고 런지 동작이 수행되었다.
검증 결과, 관절 힘에 대해서는 제안방법(M3)과 기존방법(M1,2) 모두 우수한 성능을 보였으며, 방법간 성능의 차이가 근소한 수준으로 나타났다. 반면에, 관절 모멘트의 결과에서는 제안하는 신경망의 성능이 비교적 우수하게 나타났다. 특히 풀 스쿼트와 같은 신체 변형이 크게 발생하는 동작에서 기존 방법은 오차가 크게 발생하는 반면에, 제안방법은 비교적 높은 성능을 유지하는 모습을 보였다. 또한 하체의 근위부 관절인 고관절의 모멘트에서 성능 우세폭이 크게 나타났다(평균 오차가 M2 9.38 Nm 대비 M3 3.15 Nm로서 M3의 66.4% 우세).
본 연구에서는 스쿼트와 런지 등 발이 움직이지 않는 동작들에 대해서만 검증이 이뤄졌다. 추후 연구에서는 보행과 주행 등 발의 움직임이 주기적으로 이뤄지는 동작의 실험을 추가적으로 진행하고 검증함으로써, 더욱 다양한 동작과 환경에서 신경망기반의 추정방법의 효과를 확인하고자 한다. 이에 더하여, 깔창형 압력센서나 또는 관성센서를 통한 지면반력 추정 기술을 적용하여, 완전한 착용형 시스템을 구현하고자 한다.
ACKNOWLEDGMENTS
본 연구는 2018년도 정부(교육부)의 재원으로 한국연구재단 기초 연구사업(No. 2018R1D1A1B07042791)의 지원을 받아 수행됨.
REFERENCES
- 1.
Lee, J. K., Lee, C. J., (2020), Drift reduction in IMU-based joint angle estimation for dynamic motion-involved sports applications, Journal of the Korean Society for Precision Engineering, 37(7), 539-546.
10.7736/JKSPE.019.139
- 2.
Lee, J. K., Park, E. J., (2009), Minimum-order Kalman filter with vector selector for accurate estimation of human body orientation, IEEE Transactions on Robotics, 25(5), 1196-1201.
10.1109/TRO.2009.2017146
- 3.
Lee, C. J., Lee, J. K., (2021), Inertial sensor-based relative position estimation between upper body segments considering non-rigidity of human bodies, Journal of the Korean Society for Precision Engineering, 38(3), 215-222.
10.7736/JKSPE.020.108
- 4.
Pathirana, P. N., Karunarathne, M. S., Williams, G. L., Nam, P. T., Durrant-Whyte, H., (2018), Robust and accurate capture of human joint pose using an inertial sensor, IEEE Journal of Translational Engineering in Health and Medicine, 6, 1-11.
10.1109/JTEHM.2018.2877980
- 5.
Díaz, S., Stephenson, J. B., Labrador, M. A., (2019), Use of wearable sensor technology in gait, balance, and range of motion analysis, Applied Sciences, 10(1), 234.
10.3390/app10010234
- 6.
Choi, J. S., Lee, C. J., Lee, J. K., (2022), A Kalman filter for inverse dynamics of IMU-based real-time joint torque estimation, Journal of the Korean Society for Precision Engineering, 39(1), 69-77.
10.7736/JKSPE.021.085
- 7.
Hwang, S., Choi, S., Lee, Y.-S., Kim, J., (2021), A novel simplified system to estimate lower-limb joint moments during sit-to-stand, Sensors, 21(2), 521.
10.3390/s21020521
- 8.
Faber, G. S., Kingma, I., van Dieën, J. H., (2010), Bottom-up estimation of joint moments during manual lifting using orientation sensors instead of position sensors, Journal of Biomechanics, 43(7), 1432-1436.
10.1016/j.jbiomech.2010.01.019
- 9.
Khurelbaatar, T., Kim, K., Lee, S., Kim, Y. H., (2015), Consistent accuracy in whole-body joint kinetics during gait using wearable inertial motion sensors and in-shoe pressure sensors, Gait & Posture, 42(1), 65-69.
10.1016/j.gaitpost.2015.04.007
- 10.
Liu, T., Inoue, Y., Shibata, K., Shiojima, K., Han, M., (2014), Triaxial joint moment estimation using a wearable three-dimensional gait analysis system, Measurement, 47, 125-129.
10.1016/j.measurement.2013.08.020
- 11.
Logar, G., Munih, M., (2015), Estimation of joint forces and moments for the in-run and take-off in ski jumping based on measurements with wearable inertial sensors, Sensors, 15(5), 11258-11276.
10.3390/s150511258
- 12.
Winter, D. A., (2009). Biomechanics and motor control of human movement, John Wiley & Sons.
10.1002/9780470549148
- 13.
Dumas, R., Chèze, L., (2007), 3D inverse dynamics in non-orthonormal segment coordinate system, Medical & Biological Engineering & Computing, 45(3), 315-322.
10.1007/s11517-006-0156-8
- 14.
Doriot, N., Chèze, L., (2004), A three-dimensional kinematic and dynamic study of the lower limb during the stance phase of gait using an homogeneous matrix approach, IEEE Transactions on Biomedical Engineering, 51(1), 21-27.
10.1109/TBME.2003.820357
- 15.
Apkarian, J., Naumann, S., Cairns, B., (1989), A three-dimensional kinematic and dynamic model of the lower limb, Journal of Biomechanics, 22(2), 143-155.
10.1016/0021-9290(89)90037-7
- 16.
Dumas, R., Cheze, L., Verriest, J.-P., (2007), Adjustments to McConville et al. and Young et al. body segment inertial parameters, Journal of Biomechanics, 40(3), 543-553.
10.1016/j.jbiomech.2006.02.013
- 17.
De Leva, P., (1996), Adjustments to Zatsiorsky-Seluyanov’s segment inertia parameters, Journal of Biomechanics, 29(9), 1223-1230.
10.1016/0021-9290(95)00178-6
- 18.
Lee, C. J., Lee, J. K., (2022), Effects of time-variation of segment-to-joint vectors on accuracy of joint torque in wearable inertial sensor-based inverse dynamics, Journal of Institute of Control, Robotics and Systems, 28(7), 655-663.
10.5302/J.ICROS.2022.22.0055
- 19.
Lee, C. J., Lee, J. K., (2022), Wearable IMMU-based relative position estimation between body segments via time-varying segment-to-joint vectors, Sensors, 22(6), 2149.
10.3390/s22062149
- 20.
Dehzangi, O., Taherisadr, M., ChangalVala, R., (2017), IMU-based gait recognition using convolutional neural networks and multi-sensor fusion, Sensors, 17(12), 2735.
10.3390/s17122735
- 21.
Weber, D., Gühmann, C., Seel, T., (2021), RIANN—A robust neural network outperforms attitude estimation filters, Ai, 2(3), 444-463.
10.3390/ai2030028
- 22.
Weber, D., Gühmann, C., and Seel, T., “RIANN—A Robust Neural Network Outperforms Attitude Estimation Filters,” Ai, Vol. 2, No. 3, pp. 444-463, 2021.
10.3390/ai2030028
- 23.
Choi, J. S., Lee, J. K., (2022), Application of artificial neural network for compensation of soft tissue artifacts in inertial sensor-based relative position estimation, Journal of the Korean Society for Precision Engineering, 39(3), 233-241.
10.7736/JKSPE.022.008
- 24.
Lee, J. K., (2019), A parallel attitude-heading Kalman filter without state-augmentation of model-based disturbance components, IEEE Transactions on Instrumentation and Measurement, 68(7), 2668-2670.
10.1109/TIM.2019.2906417
- 25.
Sabatini, A. M., (2006), Quaternion-based extended Kalman filter for determining orientation by inertial and magnetic sensing, IEEE Transactions on Biomedical Engineering, 53(7), 1346-1356.
10.1109/TBME.2006.875664
- 26.
Cho, K., Van Merriënboer, B., Bahdanau, D., Bengio, Y., (2014), On the properties of neural machine translation: Encoder-decoder approaches, arXiv preprint arXiv:
1409.1259.
- 27.
Wright, L., Demeure, N., (2021), Ranger21: A synergistic deep learning optimizer, arXiv preprint arXiv:
2106.13731.
- 28.
Smith, L. N., Topin, N., (2019), Super-convergence: Very fast training of neural networks using large learning rates, Artificial Intelligence and Machine Learning for Multi-domain Operations Applications, 369-386.
10.1117/12.2520589
- 29.
Smith, L. N., (2017), Cyclical learning rates for training neural networks, Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), 464-472.
10.1109/WACV.2017.58
- 30.
Howard, J., Gugger, S., (2020), Fastai: A layered API for deep learning, Information, 11(2), 108.
10.3390/info11020108
Biography
- Ji Seok Choi
M.Sc. in Mechanical Engineering from the School of ICT, Robotics & Mechanical Engineering, Hankyong National University. His research interests include wearable inertial sensing-based human motion tracking and data-driven motion tracking as well as biomechatronics.
- Chang June Lee
Ph.D. candidate in the Department of Integrated Systems Engineering, Hankyong National University. His research interests include IMU-based human motion tracking and joint torque estimation as well as wearable robotics.
- Jung Keun Lee
Professor in the School of ICT, Robotics and Mechanical Engineering, Hankyong National University. His research interests include inertial sensing-based human motion tracking, biomechatronics, wearable sensor applications, and data-driven estimation.
