ABSTRACT
Estimating lower-limb joint torques during gait using inertial measurement units (IMUs) has attracted growing attention in biomechanics and wearable sensing. Conventional approaches rely on inverse dynamics based on segmental kinematics and ground reaction forces, requiring force sensors or full-body sensor setups. This study proposes a recurrent neural network (RNN) method to estimate lower-limb joint torques using segmental kinematic data from a limited number of IMUs.Twelve healthy participants performed treadmill walking and running under twelve different conditions to generate training data. Model inputs included center-of-mass accelerations and angular velocities of the pelvis and shank.Results demonstrated two key findings. First, a model using three IMUs achieved performance comparable to a seven-IMU model, with hip flexion torque errors of approximately 0.18 Nm/kg, demonstrating strong effectiveness with a reduced sensor configuration. Second, while inverse dynamics exhibited an error increase of 0.28 Nm/kg from the ankle to the hip, the proposed model showed only a 0.01 Nm/kg increase and achieved approximately 0.13 Nm/kg lower error at the hip.These results indicate that accurate and efficient joint torque estimation is feasible using an RNN with fewer wearable sensors.
-
KEYWORDS: Joint torque, Inertial motion capture, Kinetics, Recurrent neural network
-
KEYWORDS: 관절 토크, 관성모션캡처, 운동역학, 순환신경망
1. 서론
관절 토크(Joint Torque)는 인간의 동작에서 근골격계의 기능과 역학적 부하 특성을 나타내는 주요 운동역학(Kinetics) 물리량이다[
1,
2]. 이러한 관절 토크는 재활 및 스포츠 분야에서의 운동 기능 평가[
3,
4]나 보조 기술 개발[
5,
6] 등에 있어서 중요한 평가 지표로 활용되고 있다. 특히 보행(즉, 걷기와 달리기) 중 하지(Lower-limb) 관절의 토크를 높은 정확도로 추정하는 것은 동작 분석에 있어서 중요하다.
일반적으로 관절 토크는 신체 분절의 자세나 위치와 같은 분절 운동학(Kinematics) 물리량과 지면반력(Ground Reaction Force) 등의 외력을 기반으로 역동역학(Inverse Dynamics)을 수행하여 계산된다. 역동역학에서는 관절로 연결되어 있는 일련의 신체 분절들 각각에 뉴턴-오일러 운동방정식(Newton-Euler Equation of Motion)을 적용하여 각 관절에 작용하는 반력과 토크를 결정한다[
7-
10]. 이때
관절 토크를 계산하기 위하여 전신의 운동학 물리량을 측정하는 카메라 기반의 광학식 모션캡처(Optical Motion Capture, OMC) 시스템과 지면반력을 측정하는 힘판(Force Plate)이 주로 활용된다. 이 장비들은 높은 정밀도로 인해 표준 계측 장비로 사용되고 있지만, 광학식 카메라나 힘판 등의 계측 장비가 설치되어 있는 실험실 환경에서만 측정이 가능하다는 한계점을 갖는다.
최근에는 웨어러블 센서인 관성모션캡처(Inertial Motion Capture, IMC) 시스템이 실험실 기반의 장비를 대체할 수 있는 대안으로 주목받고 있다[
11-
14]. IMC 시스템은 관성측정장치(Inertial Measurement Unit, IMU)를 신체 분절에 부착하여 센서 원신호로부터 신체 분절의 자세나 가속도 등 병진 및 회전 운동학 정보를 추정한다[
15-
17]. 이러한 IMC 시스템은 공간의 제약을 받지 않고 다양한 장소에서 동작 분석이 가능하다는 장점을 갖는다. 단, IMU는 어떠한 운동역학 정보도 제공하지 않으므로, 관절 토크를 추정하기 위해서는 외력 측정을 위한 추가적인 센서를 사용하거나 IMU의 운동학 정보로부터 운동역학 물리량을 간접적으로 추정하는 과정이 필요하다[
18-
22].
IMC 시스템을 이용하여 관절 토크를 추정하기 위한 일부 연구에서는 역동역학 계산에 필요한 외력을 측정하기 위하여 인솔압력센서[
19] 또는 힘 계측 신발[
20]을 이용하였다. 이 방식은 직접 계측된 지면반력을 이용하기 때문에 다양한 환경에서도 안정적인 관절 토크의 추정이 가능하지만, 외력 계측을 위한 비교적 고가의 장비가 요구되므로 적용 범위가 제한적이다. Karatsidis 등[
21]은 참고문헌[
22]의 OMC 기반의 운동학을 이용한 지면반력 및 모멘트의 추정 방법을 IMC 시스템에 적용하여, IMU 데이터로부터 걷기 중 지면반력과 모멘트를 추정하였다. 후속연구[
23]에서는 추정된 지면반력을 근골격계 모델 기반의 역동역학에 적용하여 하지 관절에 작용하는 반력과 토크를 추정하였다. 이 연구에서는 운동학 물리량을 이용하여 운동역학 물리량을 추정할 수 있음을 확인하였으나, 전신의 운동학이 계측된다는 조건을 전제로 하기 때문에 전신의 모든 분절(예: 15개)에 IMU를 부착해야 하는 제약이 존재한다.
최근에는 전신 운동학을 기반으로 역동역학을 수행하는 대신, 기계학습(Machine Learning) 모델을 활용하여 소수의 센서만으로 관절 토크를 추정하는 연구가 이뤄지고 있다. Lee 등[
24]은 골반에 부착된 단일 IMU를 이용하여 걷기 중 하체 운동역학을 추정하는 신경망 모델을 구현하였다. 이때 전신의 무게중심 운동학을 기반으로 한 역진자 모델의 운동학 물리량이 신경망 모델의 입력으로 사용되었다. Hossain 등[
25]은 허벅지, 정강이, 발의 IMU 데이터를 기반으로 보행 중 지면반력 및 관절 토크를 추정하는 순환신경망(Recurrent Neural Network, RNN)과 합성곱신경망(Convolution Neural Network)으로 구성된 앙상블 모델을 제안하였다. 기존 연구 결과에서는 일부 신체 분절에 부착된 IMU만을 이용하여 관절 토크를 높은 성능으로 추정할 수 있음을 검증하였다. 다만 대부분 걷기 또는 달리기 중 한 가지의 동작에 대해서만 추정이 이뤄지며, 평지 및 경사 걷기와 달리기 등의 다양한 보행 조건을 포괄하는 관절 토크 추정 연구는 거의 이뤄진 바가 없다.
이에 본 연구에서는 순환신경망 모델을 이용하여 IMU로부터 도출된 분절 운동학 물리량을 기반으로 다양한 조건의 보행, 즉 걷기와 달리기에서의 하지 관절 토크를 추정하는 방법을 개발한다. 이때 신경망 모델의 입력으로 사용되는 운동학 물리량과 신체 분절을 선정하고, 최종적으로 구현된 모델의 성능을 기존의 역동역학 방식의 성능과 비교 분석한다. 관절 토크의 추정 성능은 실험실 기반 장비인 OMC 시스템과 힘판 내장 트레드밀를 이용하여 검증된다.
2. 방법
본 연구의 목적은 분절 운동학 물리량을 이용하여 다양한 보행 조건에서의 양측 하지의 관절 토크를 추정하는 신경망 모델을 설계 및 구현하는 것이다. 본 섹션에서는 하지 관절 토크를 추정하기 위한 기존의 역동역학 방법, 순환신경망 모델 설계 방법, 데이터셋 수집 방법, 그리고 성능 분석 방법에 대하여 기술한다.
2.1 역동역학 방식
역동역학은 인체를 다수의 강체 분절이 관절로 연결되어 있는 시스템으로 모델링한 후에, 각 분절에 뉴턴-오일러 운동방정식을 적용하여 외력이 작용하는 지점에서부터 힘과 토크를 전파시킴으로써 각 관절 토크를 결정하는 방식이다. 이에 대한 예시로,
Fig. 1은 발과 정강이에 대한 운동방정식을 나타내는 자유물체도를 보여준다. 임의의
i번째 분절이
KJ개의 관절로 연결되어 있으며
KE개의 외력이 작용한다고 가정한다. 이때
i번째 분절에 대한 뉴턴 및 오일러 운동방정식은 각각 다음과 같이 기술된다.
여기서
mi은
i번째 분절의 질량,
aC,i은 질량중심 가속도 벡터,
g는 중력가속도 벡터,
FJ,ik와
TJ,ik는 각각
k번째 관절에 작용하는 힘과 토크 벡터,
FE,ik와
TE,ik는 각각
k번째 지점에 작용하는 외력 힘과 토크 벡터,
TI,i는 관성 토크 벡터,
rJ,ik과
rE,ik은 분절 질량중심점부터 각 힘(
FJ,ik와
FE,ik)의 작용점까지의 상대위치 벡터이다. 벡터의 좌측 윗첨자
G는 벡터가 관성 좌표계 {
G}에서 관측되었음을 나타낸다.
식(2)의 관성 토크는 다음과 같이 정의된다.
여기서
RiG은 관성 좌표계 {
G}에서 관측된
i번째 분절 좌표계 {
i}의 자세를 나타내는 방향 코사인 행렬(Direction Cosine Matrix),
Ji는 관성 텐서(Inertial Tensor),
ωi는 회전 각속도 벡터, 그리고
ω˙i는 각가속도 벡터에 해당한다. 위의 운동방정식에서 각 분절의 질량, 질량중심점-관절중심 간의 상대위치, 그리고 관성 텐서는 인체 측정학(Anthropometrics) 기반 방법을 통해 사전에 추정된다[
26,
27]. 본 연구에서 대상으로 하는 하지에서는 외력으로 발에 지면반력이 작용하므로, 뉴턴-오일러 운동방정식을 발, 정강이, 허벅지 순으로 적용하여 발목, 무릎, 고관절 토크를 순차적으로 계산한다.
IMC 시스템에서 뉴턴-오일러 운동방정식을 적용하기 위해서는 IMU 신호로부터 분절 운동학 물리량을 도출하는 과정이 필요하다. IMU는 칼만필터(Kalman Filter)와 같은 센서 융합 알고리즘을 통해 관성 좌표계 {
G}에서 관측된 센서 좌표계 {
Si}의 자세 행렬
RSiG를 추정하며[
15,
16], 추정된 자세와 가속도계(Accelerometer) 신호를 이용하여 센서 원점의 가속도 벡터
aS,i 를 계산한다. 센서 자세에 센서-분절 정렬 행렬
RiSi을 적용하여 분절의 자세 행렬을
RiG=RSiGRiSi의 형태로 계산할 수 있다. 또한 자이로스코프(Gyroscope)의 센서 좌표계에서 관측된 각속도 신호에 정렬 행렬
RiSi을
ωii=RiSiTωSii의 형태로 적용하여 분절의 회전 각속도를 계산한다. 회전 각가속도
ω˙ii는 회전 각속도
iωi를 시간에 대하여 수치 미분을 취함으로써 산출된다. 분절의 질량중심 가속도는 다음과 같이 가속도를 센서 원점에서 질량중심점으로 전파시킴으로써 계산된다.
여기서
rS,i은 센서 원점에서부터 분절 질량중심점까지의 상대위치 벡터에 해당한다.
식(2)에서 관성 좌표계에서 관측된 질량중심점-관절중심 상대위치 벡터는 사전에 미리 결정한 상수벡터
irJ,ik에 분절 자세를 이용하여
rGJ,ik=RiGirJ,ik의 형태로 계산된다.
본 연구에서는 하지 관절 토크 추정을 위한 기계학습 모델로 순환신경망을 활용한다. 순환신경망은 시계열 데이터에서 현재의 입력과 과거의 정보를 결합하여 현재 시점의 출력을 추정하는 형태의 신경망으로, 데이터의 시간적 패턴(Temporal Pattern)을 학습하는데 적합하다. 이때 최적의 신경망 모델 성능을 확보하기 위해서는, 적절한 입력 운동학 물리량 및 신체 분절의 선정과 신경망 모델 구조의 설계가 필수적이다.
분절 운동학 물리량의 후보군으로는 질량중심 가속도, 자세 쿼터니언(Quaternion), 회전 각속도, 그리고 회전 각가속도를 후보군으로 선정하였다. 여기서 쿼터니언은 자세를 나타내는 표기법 중 하나로, 4×1 차원의 단위벡터 형태로 표현된다. 자세 쿼터니언은 분절의 자세 행렬
RiG로부터 자세 표기법에 따라 변환되었다[
28]. 또한 2.1장에서 설명되었듯이, 질량중심 가속도는
식(4)를 통해 계산되었으며, 회전 각속도는 자이로스코프 신호로부터 계산되었고, 회전 각가속도는 각속도를 시간에 대해 수치 미분함으로써 산출되었다. 병진 운동학 물리량에는 분절의 위치와 속도 역시 포함되지만, 해당 물리량들은 가속도의 적분 식을 통해 추정하는 과정에서 자세 오차와 센서 잡음 등으로 인하여 표류오차가 쉽게 발생하기 때문에 운동학 물리량의 후보군에는 제외시켰다[
29]. 추가적으로, 6축 IMU 원신호를 입력으로 사용하는 신경망 모델을 함께 비교하였다. 여기서 6축 IMU 원신호는 3축 가속도계의 중력 및 센서 가속도를 포함하는 3차원 가속도 신호와 3축 자이로스코프의 3차원 회전 각속도 신호로 구성된다. 신체 분절의 후보군으로는 하체 분절인 골반, 허벅지, 정강이, 그리고 발을 선정하였다. 이 중 하지 분절인 허벅지, 정강이, 그리고 발의 경우에는 양측 하지의 분절을 모두 사용하였다.
신경망 모델은 현재 시점의 데이터를 입력 받아서 현재 시점의 관절 토크를 출력하는 형태로 설계되었다. 이때 신경망 모델의 출력은 양측 하지의 고관절, 무릎, 그리고 발목의 3차원 관절 토크로 구성된 총 18차원의 벡터로 설정되었다. 순환신경망 셀은 장기 시계열 데이터 처리에 적합하면서 기울기 소실 문제를 완화하여 안정적인 학습이 가능한 게이트 순환 유닛(Gated Recurrent Unit, GRU)을 사용하였다. 신경망 모델 구조는 입력 시계열 데이터의 평균이 0, 표준편차가 1이 되도록 정규화하는 표준화층, 512개의 히든유닛(Hidden Unit)을 가지며 입력 시계열 데이터로부터 시간적 특징을 추출하는 2개의 GRU층, GRU의 출력 벡터와 피험자의 체중 및 신장을 입력으로 받으며 384개의 뉴런과 ReLU (Rectified Linear Unit) 활성화 함수를 갖는 3개의 다층 퍼셉트론(Multilayer Perceptron, MLP), 최종적으로 관절 토크를 추정하는 출력층의 순서로 구성된다. 입력 시계열 데이터 중 단위 벡터에 해당하는 쿼터니언에 대해서는 표준화를 수행하지 않았다. 피험자의 체중과 신장은 모든 피험자에 대한 체중과 신장의 평균과 표준편차를 이용하여 표준화되었다. GRU와 MLP의 각 층 사이에는 40%의 드롭아웃(Dropout)이 적용되었다. 신경망 모델에서 GRU와 MLP의 히든 유닛 및 뉴런수와 층 수는 사전에
정의된 후보군을 대상으로 격자 탐색(Grid Search)을 수행하여 결정되었다. 이때 탐색 기준으로 모델의 평균 검증 손실(Validation Loss)을 적용하여, 가장 최소의 손실을 나타내는 파라미터로 선정하였다.
Table 1은 격자 탐색에 적용된 하이퍼파라미터의 후보군을 보여준다. 드롭아웃을 포함한 모델 학습 관련 하이퍼파라미터는 검증 손실과 과적합 여부를 기준으로 조정하여 결정하였다.
Fig. 2는 제안된 모델의 구조와 추정 방법을 보여준다.
학습 과정에서, 출력 벡터인 하지 관절 토크에 각 차원의 값이 전체 데이터셋 내에서 0에서 1 사이의 범위가 되도록 최소-최대 정규화를 적용하였다. 손실 함수로는 평균 제곱 오차(Mean Squared Error)가 사용되었으며, 모델 파라미터의 갱신을 위한 최적화 기법으로는 RAdam [
30]과 Lookahead [
31]가 결합 된 Ranger를 적용하였다. 신경망 모델의 구현 및 학습에는 PyTorch(v2.5.1)를 사용하였으며, 병렬 연산 가속을 위하여 NVIDIA RTX 4090 GPU 환경에서 학습을 수행하였다.
신경망 모델 학습을 위한 데이터를 수집하기 위하여 트레드밀 걷기 및 달리기 실험을 수행하였다. 실험에는 총 12명의 건강한 젊은 성인(10명 남성, 2명 여성, 연령: 25.2 ± 2.2세, 신장: 1.72 ± 0.07 m, 체중: 79.1 ± 14.2 kg)이 참여하였다. 걷기 실험은 세 가지 속도(3, 4, 5 KPH)와 세 가지 경사도(0, 5, 10%)의 조합으로 총 9가지 조건으로 설정되었으며, 각 조건에서 2분동안 걷도록 하였다. 달리기 실험은 세 가지 속도(6, 7, 8 KPH)로 설정되었으며, 각 조건에서 90초동안 달리도록 하였다. 본 실험 절차는 보건복지부 공용기관생명윤리위원회의 승인(P01-202110-13-001)을 받았다. 실험에 앞서 각 피험자들에게 실험에 대한 충분한 설명을 하고 동의서를 취득하였다. 본 연구에서는 건강하고 젊은 성인을 대상으로 보행 및 달리기 중 하지 관절 토크를 추정하는 것에 초점을 두었으며, 성별 및 연령에 따른 영향은 본 연구에서 고려되지 않았다.
실험에서는 관절 토크의 참값을 계산하기 위한 레퍼런스 장비로 OMC 시스템인 OptiTrack Prime 13W (NaturalPoint, Corvallis, OR, USA) 카메라 12대와 힘판 내장 트레드밀인 전후 벨트 분할형의 AMTI Tandem Treadmill (AMTI, Watertown, MA, USA), 그리고 관절 토크 추정을 위한 웨어러블 센서로 9축 IMU인 Xsens MTw (Xsens Technologies B.V., Enschede, Netherlands)를 사용하였다. 실험동안 모든 피험자는 광학식 모션캡처용 수트를 착용하였으며, 수트 상에 벨크로 부착형의 광학 마커 45개, 그리고 각각 세 개의 광학 마커와 한 개의 IMU가 고정되어 있는 강체 클러스터 17개를 부착하였다. 이때 45개의 광학 마커는 Plug-in-Gait 모델[
32,
33]의 마커셋에 따라 전신의 해부학 지표(Anatomical Landmark) 상에 부착되었다. 17개의 IMU 클러스터는 Xsens MVN에 따라서 머리, 가슴, 어깨, 윗팔, 아랫팔, 손, 골반, 허벅지, 정강이, 발에 부착하였다.
Fig. 3은 실험 설정 예시를 보여준다.
실험에서는 OMC 시스템은 마커 궤적을 100 Hz의 샘플링률(Sampling Rate)로, 힘판 내장 트레드밀은 지면반력 및 모멘트를 1,000 Hz로, 그리고 IMU는 센서 신호와 운동학 물리량을 60 Hz로 측정하였다. 세 가지 시스템의 측정 데이터는 100 Hz 의 샘플링률로 보간 및 시간 동기화를 수행하였다. 동기화 된 OMC 시스템과 힘판 데이터로부터 생체역학 분석용 소프트웨어인 Visual3D (C-Motion, Inc., Germantown, MD, USA)를 활용하여 하지 관절의 3차원 토크를 계산하였다. 이를 통해 신경망 모델의 학습에 필요한 분절 운동학 물리량과 관절 토크로 구성되어 있는 학습 데이터셋을 구축하였다. 데이터셋은 총 144개(12명의 피험자 × 12가지의 실험 조건) 실험 세션의 데이터로 구성된다.
2.4 분석
방법 관절 토크의 추정 성능은 피험자의 체중으로 정규화한 관절 토크의 평균제곱근오차(Root Mean Squared Error, RMSE)를 이용하여 평가되었다. 이때 12명 피험자의 데이터를 대상으로 신경망 모델의 성능을 평가하기 위하여, 피험자별 교차 검증(Leave-one-subject-out Cross Validation)을 수행하였다. 이는 모델의 일반화 성능을 확인하기 위해 한 명의 피험자 데이터를 검증용으로 배제하고 나머지 11명의 데이터를 학습에 사용하는 방식이다. 이 방식을 12명의 피험자에 대해 교차 적용함으로써, 동일한 모델 구조를 기반으로 총 12개의 교차검증 모델이 학습되었다. 이에 따라 성능 평가 지표로 12개 교차검증 모델에 대한 평균 RMSE를 사용하였다.
신경망 모델의 성능은 입력 운동학 물리량 및 신체 분절의 구성에 따라 분석되었다. 운동학 물리량에 대한 분석에서는 전신의 15개 분절의 질량중심 가속도, 자세 쿼터니언, 회전 각속도, 그리고 각가속도, 이 네 가지의 단일 물리량을 사용하는 모델의 성능을 비교하였다. 이를 통해 최적의 물리량 조합을 도출한 후에, 해당 물리량을 사용하는 모델과 IMU 원신호를 입력으로 사용하는 모델의 성능을 비교하였다. 신체 분절에 대한 분석에서는 하체 분절(골반, 허벅지, 정강이, 발)를 대상으로 다양한 조합을 구성하고, 이 중 최적의 분절 조합을 선정하였다. 최종적으로는 제안된 모델의 성능을 역동역학 방식의 성능과 비교 분석하였다. 이때 역동역학 방식의 경우, 지면반력 오차에 따른 영향을 배제하기 위하여 IMU로부터 도출된 운동학 물리량과 힘판 내장 트레드밀에서 계측된 지면반력 데이터를 이용하여 관절 토크를 추정하였다. 운동학 물리량과 신체 분절에 대한 분석에서는 각 관절 토크의 벡터 RMSE를 평가 지표로 사용하였으며, 역동역학 방식과의 성능 비교에서는 3차원 축 성분인 관상면(Frontal), 시상면(Sagittal), 그리고 횡단면(Transverse) 성분 각각에 대한 RMSE를 사용하였다.
3. 결과 및 토의
3.1 결과
Fig. 4는 질량중심 가속도(CoMAcc), 쿼터니언(Quat), 각속도(AngVel), 그리고 각가속도(AngAcc) 모델의 관절 토크 추정 RMSE 결과를 보여준다. 네 가지 물리량 중 쿼터니언을 사용하는 모델은 모든 관절 토크에 대해서 가장 높은 RMSE를 나타냈다. 반면, 다른 세 가지 물리량을 사용하는 모델 비교 결과에서는 대부분 성능 차이가 미미한 수준이거나 일관된 경향이 드러나지 않았다. 다만, 왼쪽 관절 토크의 결과에서 질량중심 가속도를 사용하는 모델이 다른 물리량에 비해 현저하게 낮은 RMSE를 보였다. 이러한 결과를 바탕으로, 질량중심 가속도와 각속도의 조합, 그리고 질량중심 가속도와 각가속도의 조합을 입력 운동학 물리량의 후보군으로 선정하였다.
Fig. 5는 네 가지의 운동학 물리량을 모두 사용하는 모델(Total), 앞서 선정된 두 가지 후보군의 물리량을 사용하는 모델(CoMAcc+AngVel, CoMAcc+AngAcc), 그리고 IMU 원신호를 사용하는 모델의 RMSE 결과를 보여준다. 대부분의 관절 토크 결과에서 IMU 신호 기반 모델이 다른 모델에 비해 상대적으로 높은 RMSE를 나타냈다. 두 가지 입력 물리량 후보군에 대한 모델을 비교한 결과, 대부분의 관절에서 성능 차이는 매우 미미한 수준이었으나, 오른쪽 발목 관절 토크의 결과에서는 질량중심 가속도와 각속도를 사용하는 모델이 비교적 낮은 RMSE를 보였다. 또한 해당 모델은 모든 물리량을 사용하는 모델과 유사한 수준의 성능을 보였다. 이 결과를 바탕으로, 질량중심 가속도와 회전 각속도를 최종 입력 물리량으로 선정하였다.
Fig. 6은 입력 분절로 전신 분절을 사용하는 모델(FB), 하체 분절을 사용하는 모델(LB), 그리고 골반(PV), 허벅지(TH), 정강이(SK), 발(FT)을 대상으로 조합된 6가지 모델의 RMSE 결과를 보여준다. 전반적으로 전신 분절을 사용하는 모델의 성능이 가장 낮은 RMSE를 보였다. 나머지 분절 조합에 대한 비교 결과에서는, 우열 관계에 대한 뚜렷한 경향이 관찰되지 않았다. 다만 대부분의 관절 토크 결과에서, 골반 및 정강이 조합(PV+SK)과 정강이 및 발 조합(SK+FT)을 사용하는 모델이 하체 분절을 모두 사용하는 모델(LB)과 유사한 수준의 성능을 보였다. 두 가지의 후보군 중 비교적 적은 수의 센서를 사용하는 골반 및 정강이 조합을 최종적인 분절 조합으로 선정하였다.
Fig. 7은 역동역학 방식(IDA), 모든 하체 분절의 모든 물리량의 조합(Comb1) 사용하는 신경망 모델, 앞서 선정된 분절(골반 및 정강이)와 물리량(질량중심 가속도 및 회전 각속도)의 조합(Comb2)을 사용하는 순환신경망 모델(RNN)의 3차원 관절 토크 추정 RMSE 결과를 보여준다. 발목 관절 토크 결과에서는 역동역학이 신경망 모델에 비해 우세한 성능을 보였으며, 세 개의 성분 중 시상면 성분에서 큰 수준의 성능 우세를 보였다. 반면, 무릎과 고관절 토크의 결과에서는 순환신경망 모델의 성능이 우세하였으며, 특히 고관절 토크의 관상면과 시상면 성분의 결과에서 0.14 Nm/kg 이상 향상된 성능을 나타냈다. 모든 하체 분절 및 운동학 물리량의 조합을 사용하는 모델과 선정된 조합을 사용하는 모델을 비교하였을 때, 무릎과 고관절 토크의 결과에서 전자의 모델의 성능이 비교적 우세하였지만 RMSE 차이는 0.02 Nm/kg 이내로 작은 수준으로 나타났다.
Fig. 8은 세 가지 방법에 대해 발목, 무릎, 고관절의 순으로 각 축 성분의 RMSE를 비교한 결과를 보여준다. 그 결과, 역동역학 방식은 모든 결과에서 발목에서 고관절로 전파될수록 오차가 증가하는 경향이 전반적으로 관찰되었다. 그에 반해 두 가지의 신경망 모델에서는 이러한 오차가 증가 경향이 뚜렷하게 나타나지 않았다.
Figs. 9와
10은 각각 5 KPH 및 10%의 경사 걷기와 8 KPH의 달리기 중 오른쪽 고관절의 3차원 토크 추정 결과 그래프를 보여준다. 두 가지의 결과 그래프에서 모두 역동역학 방식의 결과는 오차가 큰 수준으로 변동되는 모습을 나타내는 반면 순환신 경망 모델은 상대적으로 참값에 근접하게 추정하는 모습을 보였다. 특히 시상면의 성분에서 신경망 모델의 우세 경향이 두드러졌다. 서로 다른 입력을 사용하는 두 순환신경망 모델을 비교하였을 때, 두드러지는 성능 차이나 특정한 경향이 관찰되지는 않았다.
3.2 토의
본 연구 결과에서는 입력으로 사용되는 운동학 물리량 및 신체 분절의 조합에 따른 신경망 모델의 성능 분석과 역동역학 방식과의 성능 비교가 이뤄졌다.
운동학 물리량의 측면에서는, IMU의 원신호를 사용하는 경우보다 IMU 신호를 통해 추정된 분절 운동학 물리량을 사용하는 경우가 더 높은 성능을 보였다. 이는 분절 운동학 물리량이 추정 오차를 포함하고 있음에도 불구하고, 관절 토크와 직접적인 연관성을 가지기 때문인 것으로 판단된다. 예를 들어, 관절 토크 결정을 위한
식(1)과
식(2)의 뉴턴-오일러 운동방정식에서 질량중심 가속도, 회전 각속도, 회전 각가속도, 그리고 분절 자세가 구성요소로 활용되고 있음을 확인할 수 있다. 또한 IMU 원신호는 센서 좌표계에서 직접 관측되는 반면, 운동학 물리량들은 관성 좌표계 또는 분절 좌표계로 변환된 값이기 때문에 관절 토크 추정에 더 적합한 것으로 판단된다. 이에 더하여, 일부 물리량(질량중심 가속도 및 회전 각속도)만을 사용하면서도 모든 물리량을 사용하는 경우와 유사한 수준의 관절 토크 추정 성능을 확보할 수 있음을 확인하였다. 회전 운동학 물리량에 해당하는 쿼터니언, 각속도, 각가속도 간의 관계가 시간 미분 및 적분으로 서로 연결된 운동학적 관계라는 점을 고려하였을 때, 각 속도는 쿼터니언과 각가속도의 정보를 일부 포함하는 물리량으로 해석할 수 있다.
입력 분절의 경우, 골반과 정강이 또는 정강이와 발의 조합이 가장 높은 성능을 나타냈으며, 이는 모든 하체 분절의 물리량을 사용하는 모델의 성능과 유사한 수준이었다. 여기서 정강이는 두 가지 조합 모두에 공통적으로 포함되는 분절에 해당한다. 현재 다양한 속도 및 경사의 걷기와 다양한 속도의 달리기를 다루고 있다는 점을 고려하였을 때, 이 결과를 토대로 정강이는 지면과의 상호작용의 변화에 따른 하지 관절 토크의 변화를 민감하게 반영하는 핵심 분절로 간주할 수 있다. 특히 정강이의 움직임은 보행 상태 감지를 위해 주로 활용되어 왔다는 점에서, 보행 운동역학 추정에 있어서 유용한 운동학 정보를 제공하는 분절로 해석될 수 있다[
34]. 이에 더하여 모든 하체 분절을 사용하는 경우에는 골반과 양측 하지의 허벅지, 정강이, 그리고 발에 부착된 총 7개의 IMU를 사용하는 반면, 제안된 모델에서는 세 개의 IMU만을 사용하므로, 착용 편의성과 실용성 측면에서 유리한 센서 구성을 갖는다.
최종적으로 선정된 입력을 사용하는 신경망 모델과 역동역학 방식을 비교한 결과, 발목 관절 토크의 경우에는 역동역학 방식이, 무릎과 고관절 토크에 대해서는 신경망 모델이 상대적으로 높은 성능을 나타냈다. 현재 역동역학 방식에서는 힘판으로부터 측정된 지면반력을 직접 사용하기 때문에, 지면과 가장 인접한 발목 관절의 토크에 대한 오차가 비교적 작은 것은 자연스러운 결과로 해석될 수 있다. 또한 역동역학 방식에서는 발목, 무릎, 고관절의 순서로 토크를
전파시키면서 토크의 추정 오차가 점진적으로 증가하는 경향이 확인되었다. 예를 들어,
Fig. 7의 우측 시상면 성분의 경우, 발목, 무릎, 그리고 고관절 순으로 각각 RMSE가 0.05, 0.19, 0.33 Nm/kg으로 증가하였다. 이는
식(1)과
식(2)의 뉴턴-오일러 운동방정식을 발, 정강이, 허벅지의 순으로 적용하는 과정에서 오차가 누적되기 때문인 것으로 해석된다. 특히 현재 역동역학 방식에서는 힘판에서 측정된 지면반력을 사용하고 있으며, 만일 인솔압력센서나 IMU를 통해 지면반력을 추정할 경우, 지면반력 오차에 따른 추가적인 부정확성이 발생하게 될 것이다.
그에 반해 제안된 방법은 이러한 오차 누적 문제와는 무관한 경향을 나타냈다. 이는 제안 방법이 관절에 따라 힘과 토크를 전파시키는 역동역학 계산을 거치지 않고, 신경망 모델을 이용하여 각 하지 관절 토크를 직접적으로 추정하기 때문인 것으로 해석된다. 또한 모델 입력으로 사용되고 있는 운동학 물리량 역시 추정 오차를 포함하고 있음에도 불구하고, 안정적인 추정이 가능하다는 점에서 제안된 방법은 역동역학 방식의 한계를 보완할 수 있는 대안으로 충분히 활용될 수 있을 것으로 판단된다.
본 연구에서는 피험자에 대한 일반화 성능을 평가하기 위해, 모델 성능이 특정 피험자에 종속되지 않도록 하는 피험자별 교차검증을 수행하였다. 다만 모집군이 남성 위주 건강한 20-30대 피험자(남성 10명, 여성 2명)로 구성되었다는 점에서, 모델의 임상적 및 실제 적용에서의 일반화 성능에 대한 한계점이 존재한다. 예를 들어, 남녀 간에는 골격 구조 및 신체 분절 비율의 차이가 존재할 수 있으나[
26,
27], 본 연구에서 이러한 요인에 따른 영향은 고려되지 않았다. 이에 향후 연구에서는 각 성별과 더 다양한 연령대에 대한 피험자를 대상으로 충분한 실험을 수행하여, 성별과 연령대 요인이 모델 일반화 성능에 미치는 영향을 체계적으로 분석할 계획이다. 이에 더하여 피험자별 및 동작별 성능을 통계적으로 분석함으로써, 모델의 일반화 성능과 신뢰성을 정밀하게 평가할 예정이다.
4. 결론
본 연구에서는 순환신경망 모델을 이용하여 다양한 속도와 경사의 보행 조건에서 하지 관절 토크를 추정하는 방법을 제안하였다. 이때 최적의 추정 성능을 확보할 수 있는 운동학 물리량과 신체 분절을 여러 후보군에 대해서 비교 분석하였다. 분석 결과를 바탕으로 골반과 정강이의 질량중심 가속도와 회전 각속도를 최종 입력으로 선정하였다. 제안된 모델(좌측 고관절 시상면 성분의 경우 0.19 Nm/kg, 3개의 센서 사용)은 모든 하체 분절과 모든 운동학 물리량을 사용하는 모델(0.18 Nm/kg, 7개의 센서 사용)과 유사한 수준의 추정 성능을 유지하면서도 입력 정보와 센서 수를 효과적으로 줄일 수 있음을 확인하였다. 또한 역동역학 방식과의 성능 비교 결과에서, 기존의 역동역학은 발목에서 고관절로 토크를 전파시키면서 오차가 누적되는 문제가 발생하는 반면, 제안된 모델은 이러한 오차 누적과 무관한 경향을 나타냈다. 예로 역동역학의 경우, 우측 시상면 성분의 RMSE가 발목에서 고관절로 전파되었을 때 0.28 Nm/kg만큼 증가하는 반면, 제안된 모델의 RMSE는 약 0.01 Nm/kg만큼 증가하였다. 이 결과를 통해 제안된 방법이 기존의 역동역학 방식의 대안으로 활용될 수 있음을 확인하였다. 본 연구를 통해 다음과 같이 주요 결과를 도출하였다. (i) 신경망 모델을 통해 일부 하체 분절(골반 및 정강이)의 운동학 물리량(질량중심 가속도 및 회전 각속도)만을 활용하여 다양한 조건의 보행 중 하지 관절 토크를 추정할 수 있음을 검증하였으며, (ii) 기존의 역동역학 방식은 관절 토크의 전파 과정에서 오차 누적이 발생하는 반면에, 신경망 방식은 이러한 누적 오차의 영향을 받지 않으면서도 높은 추정 정확도를 확보할 수 있음을 확인하였다.
본 연구는 일부 하체 분절의 운동학 정보를 이용하여 걷기와 달리기 중 하지 관절 토크를 추정하는 것에 초점을 맞추고 있다. 다만, 걷기와 달리기는 주기적인 특성을 갖는 동작으로, 특히 트레드밀 환경에서는 동작의 반복성이 더욱 명확하게 나타난다. 이러한 특성으로 인해 본 연구에서 다루는 문제는 시계열 데이터를 처리하는 순환신경망 모델이 시간적 패턴을 학습하는데 있어 비교적 유리한 조건에 해당한다고 볼 수 있다. 그에 반해 실제 많은 응용분야에서는 정형화된 보행뿐 아니라 스쿼트나 점프 등 다양한 비정형 동작에서의 관절 토크 분석을 필요로 한다. 이러한 동작들은 보행에 비해 주기성이나 반복성이 현저하게 낮기 때문에, 보다 도전적인 문제로 간주된다. 향후 연구에서는 이러한 비정형 동작들에 대해서도 관절 토크를 추정할 수 있는 모델을 구현하는 것을 목표로 한다.
FOOTNOTES
-
ACKNOWLEDGEMENT
본 연구는 한경국립대학교 학술장학진흥재단의 지원을 받아 수행됨.
Fig. 1Free-body diagram for foot and shank
Fig. 2Concept of the proposed method
Fig. 3
Fig. 4RMSE of lower-limb joint torques for four single input variables: center-of-mass acceleration (CoMAcc), quaternion (Quat), angular velocity (AngVel), and angular acceleration (AngAcc)
Fig. 5RMSE of lower-limb joint torques for different input variable combinations and IMU signals
Fig. 6RMSE of lower-limb joint torques for full-body (FB), lower-body (LB) segments, and different input segment combinations: pelvis (PV), thighs (TH), shanks (SK), and feet (FT)
Fig. 7RMSE of three-dimensional lower-limb joint torques from inverse dynamics approach (IDA), RNN model using all available input variables from the lower-body segments (Comb1), and RNN model using selected segment and variable combination (Comb2)
Fig. 8RMSE of three-dimensional lower-limb joint torques from inverse dynamics approach (IDA), RNN model using all available input variables from the lower-body segments (Comb1), and RNN model using selected segment and variable combination (Comb2)
Fig. 9Estimation results of right hip joint torque during walking at 5 KPH and 10% inclination from inverse dynamics approach (IDA), RNN model using all available input variables from the lower-body segments (Comb1), and RNN model using selected segment and variable combination (Comb2) compared to the ground truth (GT)
Fig. 10Estimation results of right hip joint torque during running at 8 KPH from inverse dynamics approach (IDA), RNN model using all available input variables from the lower-body segments (Comb1), and RNN model using selected segment and variable combination (Comb2) compared to the ground truth (GT)
Table 1Candidate hyperparameters for grid search of the gated recurrent unit (GRU)-multiple perceptron (MLP) model
Table 1
|
Hyperparameters |
Candidate values |
|
GRU layers |
1, 2, 3 |
|
GRU hidden units |
128, 256, 384, 512 |
|
MLP layers |
1, 2, 3 |
|
MLP neurons |
128, 256, 384, 512 |
REFERENCES
- 1. Winter, D. A., (2009), Biomechanics and motor control of human movement. John Wiley & Sons.
- 2. Uchida, T. K., Delp, S. L., (2021), Biomechanics of movement: The science of sports, robotics, and rehabilitation. MIT Press.
- 3. Emrani, A., Bagheri, H., Hadian, M. R., Jabal-Ameli, M., Olyaei, G. R., Talebian, S., (2006), Isokinetic strength and functional status in knee osteoarthritis, Journal of Physical Therapy Science, 18(2), 107-114.
- 4. Jee, Y. S., (2015), Usefulness of measuring isokinetic torque and balance ability for exercise rehabilitation, Journal of Exercise Rehabilitation, 11(2), 65-70.
- 5. Zhang, J., Cheah, C. C., Collins, S. H., (2015), Experimental comparison of torque control methods on an ankle exoskeleton during human walking, Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 5584-5589.
- 6. Li, Z., Zhao, K., Zhang, L., Wu, X., Zhang, T., Li, Q., Su, C. Y., (2020), Human-in-the-loop control of a wearable lower limb exoskeleton for stable dynamic walking, IEEE/ASME Transactions on Mechatronics, 26(5), 2700-2711.
- 7. Koopman, B., Grootenboer, H. J., De Jongh, H. J., (1995), An inverse dynamics model for the analysis, reconstruction and prediction of bipedal walking, Journal of Biomechanics, 28(11), 1369-1376.
- 8. Kingma, I., de Looze, M. P., Toussaint, H. M., Klijnsma, H. G., Bruijnen, T. B., (1996), Validation of a full body 3-D dynamic linked segment model, Human Movement Science, 15(6), 833-860.
- 9. Iino, Y., Kojima, T., (2012), Validity of the top-down approach of inverse dynamics analysis in fast and large rotational trunk movements, Journal of Applied Biomechanics, 28(4), 420-430.
- 10. Alamdari, A., Krovi, V. N., (2017), A review of computational musculoskeletal analysis of human lower extremities, Human Modelling for Bio-Inspired Robotics, 37-73.
- 11. Kok, M., Hol, J. D., Schön, T. B., (2014), An optimization-based approach to human body motion capture using inertial sensors, IFAC Proceedings Volumes, 47(3), 79-85.
- 12. Fasel, B., Spörri, J., Schütz, P., Lorenzetti, S., Aminian, K., (2017), Validation of functional calibration and strap-down joint drift correction for computing 3D joint angles of knee, hip, and trunk in alpine skiing, PLOS ONE, 12(7), e0181446.
- 13. Schepers, M., Giuberti, M., Bellusci, G., (2018), Xsens MVN: Consistent tracking of human motion using inertial sensing, Xsens Technologies, 1-8.
- 14. Vitali, R. V., Perkins, N. C., (2020), Determining anatomical frames via inertial motion capture: A survey of methods, Journal of Biomechanics, 106, 109832.
- 15. Lee, J. K., Park, E. J., (2009), Minimum-order Kalman filter with vector selector for accurate estimation of human body orientation, IEEE Transactions on Robotics, 25(5), 1196-1201.
- 16. Lee, J. K., Park, E. J., Robinovitch, S. N., (2012), Estimation of attitude and external acceleration using inertial sensor measurement during various dynamic conditions, IEEE Transactions on Instrumentation and Measurement, 61(8), 2262-2273.
- 17. Kok, M., Hol, J. D., Schön, T. B., (2017), Using inertial sensors for position and orientation estimation, arXiv preprint, arXiv:1704.06053.
- 18. Lee, C. J., Lee, J. K., (2022), Inertial motion capture-based wearable systems for estimation of joint kinetics: A systematic review, Sensors, 22(7), 2507.
- 19. Khurelbaatar, T., Kim, K., Lee, S., Kim, Y. H., (2015), Consistent accuracy in whole-body joint kinetics during gait using wearable inertial motion sensors and in-shoe pressure sensors, Gait & Posture, 42(1), 65-69.
- 20. Faber, G. S., Chang, C. C., Kingma, I., Dennerlein, J. T., Van Dieën, J. H., (2016), Estimating 3D L5/S1 moments and ground reaction forces during trunk bending using a full-body ambulatory inertial motion capture system, Journal of Biomechanics, 49(6), 904-912.
- 21. Karatsidis, A., Bellusci, G., Schepers, H. M., De Zee, M., Andersen, M. S., Veltink, P. H., (2016), Estimation of ground reaction forces and moments during gait using only inertial motion capture, Sensors, 17(1), 75.
- 22. Ren, L., Jones, R. K., Howard, D., (2008), Whole body inverse dynamics over a complete gait cycle based only on measured kinematics, Journal of Biomechanics, 41(12), 2750-2759.
- 23. Karatsidis, A., Jung, M., Schepers, H. M., Bellusci, G., De Zee, M., Veltink, P. H., Andersen, M. S., (2019), Musculoskeletal model-based inverse dynamic analysis under ambulatory conditions using inertial motion capture, Medical Engineering & Physics, 65, 68-77.
- 24. Lee, M., Park, S., (2020), Estimation of three-dimensional lower limb kinetics data during walking using machine learning from a single IMU attached to the sacrum, Sensors, 20(21), 6277.
- 25. Hossain, M. S. B., Guo, Z., Choi, H., (2023), Estimation of lower extremity joint moments and 3D ground reaction forces using IMU sensors in multiple walking conditions: A deep learning approach, IEEE Journal of Biomedical and Health Informatics, 27(6), 2829-2840.
- 26. De Leva, P., (1996), Adjustments to Zatsiorsky-Seluyanov’s segment inertia parameters, Journal of Biomechanics, 29(9), 1223-1230.
- 27. Dumas, R., Cheze, L., Verriest, J. P., (2007), Adjustments to McConville et al. and Young et al. body segment inertial parameters, Journal of Biomechanics, 40(3), 543-553.
- 28. Britting, K. R., (1971), Inertial navigation systems analysis. John Wiley & Sons.
- 29. Woodman O. J.. 2007;An introduction to inertial navigation, (Technical Report No. UCAM-CL-TR-696). https://www.cl.cam.ac.uk/techreports/UCAM-CL-TR-696.html.
- 30. Liu, L., Jiang, H., He, P., Chen, W., Liu, X., Gao, J., Han, J., (2019), On the variance of the adaptive learning rate and beyond, arXiv preprint, arXiv:1908.03265.
- 31. Zhang, M., Lucas, J., Hinton, G., Ba, J., (2019), Lookahead optimizer: k steps forward, 1 step back, arXiv preprint, arXiv:1907.08610.
- 32. Davis, R. B. III, Ounpuu, S., Tyburski, D., Gage, J. R., (1991), A gait analysis data collection and reduction technique, Human Movement Science, 10(5), 575-587.
- 33. Kadaba, M. P., Ramakrishnan, H. K., Wootten, M. E., (1990), Measurement of lower extremity kinematics during level walking, Journal of Orthopaedic Research, 8(3), 383-392.
- 34. Lee, J. K., Park, E. J., (2011), Quasi real-time gait event detection using shank-attached gyroscopes, Medical & Biological Engineering & Computing, 49, 707-712.
Biography
- Chang June Lee
Ph.D. candidate in the Department of Integrated Systems Engineering, Hankyong National University. His research interests include IMU-based human motion tracking and joint torque estimation as well as wearable robotics.
- Jung Keun Lee
Professor in the School of ICT, Robotics & Mechanical Engineering, Hankyong National University. His research interests include inertial sensing-based human motion tracking, biomechatronics, wearable sensor applications, and data-driven estimation.
