ABSTRACT
Optical motion capture (OMC) systems are widely used in rehabilitation, sports, and robotics to obtain accurate segment attitudes. However, OMC marker data can be lost due to occlusions, and reliably recovering data for long-duration missing intervals remains challenging. This study proposes a method for recovering missing markers using inertial measurement unit (IMU) signals and rigid-body constraints. We implemented two recovery methods and validated their performance. The proposed method (M1) combines inter-marker distance constraints with an acceleration constraint, while the comparison method (M2) combines inter-marker distance constraints with a tilt constraint. M1 demonstrated superior performance, with an average root mean squared error that was 3.10 and 3.99 mm lower than that of M2 for the 30 and 180 s missing intervals, respectively. This performance difference arises because M1 directly utilizes measured IMU signals, whereas M2 incurs additional uncertainty due to attitude estimation errors. Furthermore, the proposed method maintained reliable performance even during long-duration missing intervals, as it operates independently of past data, preventing recovery error accumulation. These results demonstrate the feasibility of the proposed IMU-based method for recovering longduration missing marker data in OMC systems.
-
KEYWORDS: Optical motion capture, Inertial measurement unit, Missing marker recovery, Rigid body constraints
-
KEYWORDS: 광학식 모션캡처, 관성 측정 장치, 소실 마커 복원, 강체 구속조건
1. 서론
광학식 모션캡처 시스템(Optical Motion Capture, OMC)은 피험자나 물체에 부착된 광학식 마커(Optical Marker)의 3차원 위치를 다수의 카메라로 추적하는 시스템이다[
1-
3]. OMC는 마커 클러스터(Marker Cluster)에 부착된 3개의 마커 위치를 이용해 강체 또는 신체 분절의 자세를 높은 정확도로 산출할 수 있으며[
4], 재활, 스포츠 및 로봇 산업 등 다양한 분야에서 활용된다. 예로는 환자의 보행 평가, 운동선수의 동작 분석, 그리고 로봇 동작 제어 등이 있다[
5-
7]. 또한, 관성 측정 장치(Inertial Measurement Unit, IMU) 기반 자세 추정 알고리즘의 성능 검증을 위한 기준(Reference) 시스템으로도 널리 사용된다[
8-
11].
그러나, OMC에서는 추적 중인 마커가 다른 마커나 물체에 의한 가림(Occlusion)으로 인해 소실(Missing)되는 문제가 빈번히 발생하며[
12-
15], 클러스터를 구성하는 마커 데이터가 소실되면 자세를 산출할 수 없게 된다. 이러한 마커 데이터 소실 문제를 해결하고자 소실 마커를 복원하기 위한 연구가 진행된 바 있다. 기존에는 소실된 구간의 전후 데이터를 기반으로 마커의 위치를 복원하는 선형 보간 및 3차 스플라인 보간 방법이 제안되었다[
16]. 해당 방법은 적은 데이터로도 쉽게 복원이 가능하지만, 소실 구간에서 분절의 운동 정보를 반영할 수 없기 때문에 약 0.5초 미만의 짧은 소실 구간에 대해서만 적용 가능한 한계점이 있다[
17]. 이러한 한계를 보완하기 위해 Tan 등[
18]은 인체 골격의 뼈 길이 구속을 도입한 특이값 임계 처리(Singular Value Thresholding) 복원 방법을 제안하였다. 해당 방법은 인접 분절의 마커 위치와 뼈 길이를 활용하여 복원 성능을 향상시켰지만, 소실 구간이 늘어남에 따라 복원 성능이 저하되는 문제가 여전히 나타난다. 또한, 클러스터를 대상으로 하는 복원 방법으로는 복원용 마커를 추가 부착하여 소실 마커 발생 시 3개의 비소실 마커를 이용하여 복원하는 방법이 널리 활용된다. 하지만, 이러한 방법은 실험자의 불편함을 초래할 수 있으며, 복원용 마커도 가림으로 인해 소실되어 클러스터의 비소실 마커수가 2개 이하인 경우, 복원이 불가능하다는 단점이 있다.
소실 마커를 복원하고자 OMC와 IMU를 활용한 연구가 진행된 바 있다. Enayati 등[
19]과 Tobergte 등[
20]은 IMU 신호를 활용하여 소실 구간에서 클러스터의 위치와 자세를 복원하는 칼만 필터(Kalman Filter)를 제안하였다. 해당 칼만 필터들은 가속도계 신호와 자이로스코프 신호를 적분하여 예측하며, 마커 데이터를 측정값으로 이용해 상태를 갱신하여 추정하는 모델이다. 이때, 마커 데이터가 소실된 경우에는 예측 단계만 진행하여 추정이 가능하지만, 장기간 소실 구간에서는 오차 누적으로 인해 표류 오차가 발생할 수 있는 문제점이 있다.
본 연구에서는 소실 구간 내에서 얻어지는 IMU 신호와 비소실 마커 데이터를 활용하여 강체 구속조건(Rigid Body Constraints)을 적용한 소실 마커 복원 접근법에 초점을 둔다. 강체 구속조건은 다음과 같은 가정을 만족한다. (i) 마커 간 상대거리가 일정하게 유지된다. (ii) 마커 데이터로 산출되는 가상의 3축 가속도계 신호는 실제 3축 가속도계 신호와 일치해야 한다. 이와 같은 구속조건은 소실 구간 이외의 정보를 활용하지 않으므로 복원 과정에서 오차가 누적되지 않고, 추정치가 아닌 계측 신호를 활용함으로써 선형 가속도 등의 외란 성분에 의해 발생하는 추정 오차와 무관하다. 따라서, 본 연구에서는 IMU 신호와 강체 구속조건을 활용하여 소실 마커의 3차원 위치를 복원하는 방법을 제안한다. 또한, 비교군으로 자세 구속조건을 적용한 복원 방법을 구현하여 제안하는 방법과 성능을 검증하고자 한다.
2. 방법
2.1 강체 구속조건
본 연구는 세 개의 광학식 마커(
i, j, k)와 하나의 IMU로 구성된 마커 클러스터를 대상으로 한다(
Fig. 1 참조).
Fig. 1과 같이 세 개의 마커 중 마커
i가 소실된 상황을 가정하였을 때, 본 연구에서는 비소실 마커
j와
k의 위치 데이터, IMU 신호, 그리고 사전에 결정된 마커 간 거리를 활용하여 강체 구속조건을 기반으로 소실 마커 위치를 복원하고자 한다. 이때 제안하는 방법에서는 강체 구속 조건으로 마커 간의 거리와 가속도 신호에 대한 구속조건이 적용 된다. 이러한 구속조건을 적용하기 위해서는 구속조건을 만족시키기 위한 목적함수가 정의되어야 한다.
첫 번째로 거리에 대한 구속조건은 마커 클러스터 내에 부착된 마커 간 거리가 일정해야 함을 의미한다. 마커
i, j, k의 위치를 각각
pi,
pj,
pk라고 하였을 때, 소실된 마커
i와 다른 두 마커 간의 거리는
식(1) 및
식(2)와 같이 산출된다.
여기서
dji는 마커
i와
j 간의 거리,
dki는 마커
i와
k 간의 거리에 해당하며, 이는 마커
i가 소실되기 전에 사전에 미리 상수로 산출된다. 마커
i가 소실되었을 때,
식(1)과
식(2)에서 유일한 미지수는
pi이며, 이를
x라고 표현한다. 이때
식(1)과
식(2)로부터 거리 구속조건을 만족하기 위한 목적함수
C1과
C2를 각각
식(3) 및
식(4)와 같이 정의할 수 있다.
여기서, C1과 C2는 각각 두 비소실 마커를 중심으로 하고 반지름이 dji와 dki인 구면이 교차하는 원주 상으로 소실 마커 복원 위치를 구속하여 소실 마커를 복원하는 데 기여한다.
두 번째로 가속도 구속조건은 강체 운동학을 기반으로 계산된 가상의 가속도계 신호
y^A와 실제 가속도계 신호
yA가 일치해야 함을 의미한다. 이때 가상의 가속도계 신호
y^A는 비소실 마커
j에서 IMU 원점까지 가속도를 전파시킴으로써 산출되며
식(5)와 같이 나타난다.
여기서, 윗첨자
G와
S는 해당 벡터가 각각 전역좌표계 {
G}와 센서좌표계 {
S}에서 관측되었음을 나타낸다.
RSG은 {
G}에 대한 {
S}의 자세를 나타내는 방향 코사인 행렬(Direction Cosine Matrix)이다.
g는 중력가속도,
rj은 마커
j부터 IMU 원점까지의 상대 위치 벡터,
ω는 각속도,
ω˙는 각가속도이다.
ω~는 벡터
ω=ωs ωy ωzT의 외적 행렬로,
식(6)과 같다.
이때
식(5)에서
ω와
ω˙에는 각각 자이로스코프 신호와 시간에 대한 미분치가 대입된다. 또한
rj은
식(7)과 같이 결정된다.
RSG는 마커 클러스터 상의 세 개 마커 위치 (
pi,
pj,
pk)로부터 결정되며, 산출 과정은
식(8)-
식(12)와 같다.
마커
i가 소실되었을 때,
식(5)에서
RSG은 미지수이며, 이는 가용 정보인
pj와
pk를 제외하면
x (즉,
pi)에 따라 결정된다. 이에 따라
RSG을
x의 함수
RSG(x)로 표현하면,
식(5)의 가상의 가속도 신호를
식(13)과 같이 나타낼 수 있다.
가속도 구속조건을 만족하기 위한 목적함수
C3는
식(14)와 같이 정의된다.
C3는 실제 가속도계 신호와 동일한 가상의 가속도계 신호를 결정하도록 소실 마커 위치를 구속하므로, C1과 C2만으로 구할 수 없는 유일해를 결정하는 데 필요한 추가적인 정보를 제공하여 소실 마커 복원에 기여한다.
제안 방법에 적용되는 목적함수 이외에, 비교군 구현을 위해 기울기(Tilt) 구속조건 기반 목적함수를 정의하고자 한다. 기울기 구속조건은 마커 데이터로부터 산출된 강체의 기울기
sZ^와 IMU의 신호로 추정된 강체의 기울기
sZ가 동일해야 함을 나타낸다. 이때, 본 연구에서
sZ는 Lee 등[
21]이 제안한 가속도계와 자이로스코프 신호를 활용하는 칼만 필터를 이용하여 추정하였다. 마커가 소실된 경우,
sZ^는
RSG(x)에서 추출되며, 기울기 구속조건을 만족하기 위한 목적함수
C4는
식(15)와 같이 정의된다.
C4는 마커 기반 기울기가 IMU 기반 추정 기울기와 동일하도록 소실 마커 위치를 구속함으로써, C1과 C2로 형성된 해공간에서 유일해를 결정하는 데 필요한 정보를 제공한다.
2.2 소실 마커 데이터 복원 방법
소실 마커의 3차원 위치인 미지수
x를 유일하게 결정하기 위해서는 독립적인 세 개 이상의 식이 필요하다. 본 연구에서는 OMC 데이터만을 활용하는 거리 구속조건 기반 목적함수
C1,
C2를 공통적으로 사용하며, 여기에 IMU를 활용하는 구속조건 기반 목적함수를 추가하여 총 3개의 식으로 구성된 방법들을 구현하였다. 첫 번째 복원 방법(M1)은
C1,
C2와 가속도 구속조건 기반 목적함수
C3로 구성되었다. M1은 OMC 데이터와 가속도계 신호를 활용하며,
C1,
C2를 만족하는 해집합에서 가상 가속도계 신호가 실제 가속도계 측정값과 가장 일치하도록 하는 해를 탐색함으로써 복원 위치를 결정할 수 있다. 두 번째 복원 방법(M2)은
C1,
C2와 기울기 구속조건 기반 목적함수
C4로 구성되었다. M2는 OMC 데이터, IMU 신호를 활용하며,
C1,
C2를 만족하는 해집합에서 IMU 신호로 추정된 클러스터의 기울기와 마커 기반으로 계산되는 클러스터의 기울기가 일치하도록 하는 해를 탐색함으로써 복원 위치를 결정할 수 있다.
Table 1은 M1과 M2에 사용된 구속조건을 정리한 표이다. 본 연구에서는 최적화 문제를 풀기 위해 MATLAB의 비선형 방정식 풀이 함수인 fsolve 를 활용하였다. fsolve는 주어진 목적함수의 잔차(Residual)가 설정된 기준치 이하가 되도록 미지수를 반복적으로 갱신하여 해를 구한다.
본 실험에서는 사전연구[
22-
24]에서 수집된 실험 데이터를 사용하였다. 이때 총 320개의 실험 데이터가 사용되었으며, 모든 실험에서는 OMC 시스템인 OptiTrack Flex 13 (NaturalPoint, USA), 그리고 6축 IMU와 3축 지자기센서를 포함하는 센서 모듈인 Xsens MTw (Xsens Technologies B.V., Netherlands)의 측정 데이터가 수집되었다. 두 시스템은 100 Hz로 샘플링되었으며, 자이로스코프 신호 크기와 마커 데이터로 산출된 각속도 크기를 비교하여 시간 동기화를 진행하였다.
Fig. 2는 실험 환경을 보여준다. 각 실험은 클러스터를 손으로 파지하고 무작위로 흔드는 방식으로 3분간 수행되었다. 실험은 크게 정적 구간의 유무, 운동 유형, 그리고 속도에 따라서 다양한 조건으로 진행되었다[
22-
24]. 먼저 정적 구간의 유무에 따라 일부 실험에서는 동적 구간 중간에 10초 또는 30초 길이의 정적 구간을 포함하도록 구성하였다. 다음으로 운동 유형은 클러스터의 운동 특성을 고려하여 병진, 회전, 혼합의 세 가지 시나리오로 구분하였다. 병진 운동은 클러스터의 자세 변화가 최소화되도록 수행하였고, 회전 운동은 클러스터의 위치 변화가 최소화되도록 수행하였다. 혼합 운동은 병진 운동과 회전 운동이 동시에 발생하도록 구성하였다. 마지막으로 운동 속도 조건은 빠름, 보통, 느림으로 각각 구분하여 수행하였다. 실험 데이터의 최대 및 평균 가속도 크기는 각각 41.82와 12.30 m/s
2이며, 최대 및 평균 각속도 크기는 각각 589.09와 140.52 °/s이다.
소실 마커 복원 시, C3에서 y^A를 산출하기 위해서는 사전에 상대 위치 벡터 r이 정확하게 결정되어야 한다. 각 타임스텝마다 산출되는 상대 위치 벡터는 일정한 값으로 나타나야 하지만, 노이즈 등의 오차 요인이 그대로 반영되어 샘플 간 편차가 발생하게 된다. 따라서, 본 연구에서는 모든 타임스텝별로 상대 위치 벡터를 산출한 뒤 평균을 취하여 모든 마커에 대해 r을 결정하였다. 이때, 중앙값을 기준으로 임계값을 설정하여 편차가 2.5 cm 이상인 상대 위치 벡터는 이상치로 간주하여 평균 계산에서 제외하였다.
3. 결과 및 고찰
3.1 결과
검증에는 총 320개의 데이터를 사용하였고, 성능 지표로는 소실 마커 위치의 평균제곱근오차(Root Mean Squared Error, RMSE)가 사용되었다. 이때, 마커 i, j, k가 소실된 경우를 각각 Case 1, 2, 3으로 표기하여 각 마커가 소실된 경우에 대한 소실 마커 복원 성능을 검증하였다.
Table 2는 30초와 180초 소실 구간에 대해 M1 및 M2의 복원 RMSE를 나타낸 표이다. 30초 소실 구간에 대해 M1의 Case 1, 2, 그리고 3의 평균 RMSE는 각각 10.81, 14.58, 그리고 15.94 mm 이며, 전체 평균 RMSE는 13.78 m m이다. 같은 시간대에서 M2의 Case 1, 2, 그리고 3의 평균 RMSE는 각각 12.45, 16.96, 그리고 21.21 mm이며, 전체 평균 RMSE는 16.87 mm로 나타났다. 30 초 소실 구간의 결과를 비교하면, 모든 Case의 축별 RMSE가 M1 보다 M2에서 크게 나타나는 것을 확인할 수 있으며, M2의 전체 평균 RMSE가 M1보다 3.09 mm 크게 나타난다. 180 s 소실 구간에서 M1의 Case 1, 2, 그리고 3의 평균 RMSE는 각각 10.60, 14.86, 16.51 mm이며, 전체 평균 RMSE는 13.99 mm로 나타났다. 반면, M2의 Case 1, 2, 그리고 3의 평균 RMSE는 각각 13.18, 18.62, 22.14 mm이고, 전체 평균 RMSE는 17.98 mm이 다. 180초 소실 구간에서도 30초 소실 구간에서 확인된 경향과 동일하게 모든 Case의 축별 RMSE가 M1보다 M2에서 크게 나타나고, M2의 전체 평균 RMSE가 M1보다 3.99 mm 크게 나타난다. M1의 경우, 30초 소실 구간 대비 180초 소실 구간의 Case 1의 평균 RMSE가 0.21 mm 감소하였지만, Case 2와 3의 평균 RMSE는 0.28과 0.57 mm만큼 증가하였으며, 전체 평균 RMSE가 0.21 mm 증가한 것을 확인할 수 있다. M2의 경우, 30초 소실 구간 대비 180초 소실 구간의 Case 1, 2, 그리고 3의 평균 RMSE가 0.73, 1.66, 그리고 0.93 mm 증가하였으며, 전체 평균 RMSE가 1.11 mm 증가하였다. 즉, M1과 M2 모두 30초 소실 구간 대비 180초 소실 구간의 전체 평균 RMSE가 0.21과 1.11 mm로 소폭의 성능 저하가 나타났으며, 180초 소실 구간에서도 준수한 복원 성능을 유지하는 것을 확인할 수 있다.
Fig. 3은 M1 및 M2의 복원 결과에 대한 예시로, 180초의 데이터에서 50-65초 구간의 결과를 보여준다. 제안 방법인 M1의 마커 복원 위치는 대부분의 구간에서 참조값을 근접하게 추종하였다. 다만, 일부 구간에서 오차가 급격하게 치솟는 경향을 보였다. 그에 반해 비교 방법인 M2의 경우에는 참조값과 유사한 양상으로 복원되는 모습을 보였지만, 대부분의 구간에 대해서 일정 수준 이상의 오차가 발생하였다. M1은 오차가 급격히 치솟는 경우 M2에 비해 큰 오차를 보였음에도 전체적인 구간에 대해서는 M2에 비해 비교적 높은 성능을 보였다.
Figs. 4와
5는 각각 클러스터가 빠르게 움직인 상황과 느리게 움직인 상황에서 M1과 M2의 마커 복원 위치와 오차 크기를 나타낸 그래프이다.
Fig. 4에 해당하는 구간의 선형 가속도 크기의 평균은 23.59 m/s
2이며,
sZ의 롤(Roll)과 피치(Pitch)의 RMSE는 각각 25.20°와 13.11°이다. 반면,
Fig. 5에 해당하는 구간의 선형 가속도 크기의 평균은 4.87 m/s
2이며,
sZ의 롤과 피치의 RMSE는 각각 5.95°와 4.92° 이다. 이때, 기울기 오차 크기가 외란 성분인 선형 가속도 크기에 비례하여 나타나는 것을 확인할 수 있으며, 이는 동적 교란 성분에 의해 기울기 추정 오차가 증가할 수 있음을 의미한다.
Fig. 4를 확인하였을 때, M1의 경우 복원 위치가 참조값과 유사하게 나타나지만, 몇몇 구간에서 오차가 급증하는 것을 확인할 수 있다. 반면 M2의 복원 위치는 일부 구간에서 참조값을 크게 이탈하는 모습을 확인할 수 있다.
Fig. 5에서는 M1의 복원 위치가 참조값과 유사하게 나타나며, 오차가 급증하는 경향도
Fig. 4에 비해 덜 나타나는 것을 확인할 수 있다. M2의 복원 위치도 참조값을 유사하게 따라가는 것을 확인할 수 있지만, 일부 구간에서 일정 수준 이상의 오차가 나타난다. 즉, 선형 가속도와 기울기 추정 오차가 큰 상황에서 M2의 복원 성능이 열세하여 M1과 큰 차이를 보이는 반면, 선형 가속도와 기울기 추정 오차가 작은 상황에서는 M1과 M2 모두 참조값을 안정적으로 추종하며 복원 오차가 전반적으로 낮게 나타난다.
3.2 고찰
본 연구에서 활용한 실험 데이터는 클러스터를 손에 파지한 상태로 움직였기 때문에, 일반적으로 신체 분절에 클러스터를 부착하여 수행되는 실험보다 더 빠른 병진 및 회전 운동이 나타난다. 이러한 동적 수준이 높은 실험 데이터에서는 마커 위치와 클러스터 자세가 급격히 변화하므로, 소실 마커 위치 복원 난이도가 높다고 판단된다. 그럼에도 불구하고, M1과 M2 모두 마커 위치의 참값과 유사하게 복원되는 모습을 확인하였다. OMC 데이터를 활용하는 목적함수 C1과 C2뿐만 아니라, IMU 신호 또는 자세 정보를 활용하는 목적함수 C3 또는 C4가 제공하는 정보를 통해 유일해를 결정할 수 있었기 때문으로 해석된다. 소실 마커 복원 시 C1과 C2가 적용됨으로써 소실 마커의 위치는 두 구면이 교차하여 형성되는 원주 상으로 제한된다. 이는 3차원 공간 상에서 해를 결정해야 하는 복원 문제를, 원주 형태로 제한된 해공간에서 해를 결정하는 문제로 단순화한다. 이때, 원주 형태의 해공간에서 각 점들에 따라 다른 클러스터 자세가 결정되므로, 가상의 가속도계 신호 y^A 또는 마커 기반 기울기 sZ^가 달라지게 된다. 즉, C3와 C4는 클러스터의 자세 관련 정보를 제공하므로, 원주의 점들 중 목적함수가 최소가 되는 소실 마커 위치를 결정할 수 있다.
M1과 M2는 소실 구간 길이가 증가함에 따른 성능 저하가 크게 나타나지 않고, 긴 소실 구간에서 안정적인 복원 성능을 확인하였다. 이러한 결과는 복원 시 소실 구간 이외의 정보를 활용하지 않고, IMU를 통해 소실 구간 내에서도 가용한 정보를 얻기 때문으로 해석된다. 본 연구에서 C1과 C2는 사전에 산출된 마커 간 거리와 소실 구간의 비소실 마커 위치를 사용한다. 또한, C3 또는 C4는 소실 구간의 비소실 마커 위치와 IMU 신호를 사용한다. 즉, 보간법과 달리, 소실 구간 전후의 데이터가 없어도 복원이 가능하다. 또한, 각 타임스텝의 소실 마커 위치를 복원할 때 이전 타임스텝의 복원 결과를 활용하지 않으므로, 복원 오차가 누적되지 않는 방식이다. 따라서, 긴 소실 구간에서도 준수한 추정 성능을 유지할 수 있다.
M1 및 M2의 복원 오차는 마커 데이터 노이즈, IMU의 노이즈와 바이어스 같은 오차 성분으로 인해 나타나는 것으로 해석 된다. 가상의 가속도계 신호 y^A와 마커 기반 기울기 sZ^은 산출 시 여러 오차 성분으로 인해 부정확성을 내포하게 된다. 비선형 방정식 풀이 함수를 통한 소실 마커 복원은 목적함수의 잔차를 최소화시키는 방향으로 이루어진다. 이때, 목적함수를 완벽히 만족시킬 수 없는 경우, 복원 오차가 발생하게 된다. 따라서, y^A 및 sZ^의 부정확성으로 인해 목적함수의 잔차가 충분히 감소하지 않아 최적해를 찾기 어려워지고, 이는 소실 마커 복원 오차로 이어질 수 있다. 또한, y^A를 산출할 때는 비소실 마커 위치의 이중 미분치, 자이로스코프 신호, 사전 산출된 중력 가속도, 그리고 상대 위치 벡터 등 다수의 정보가 활용된다. 이때 각 항에 포함된 노이즈 등 여러 오차 요인들로 인해 일부 시점에서는 가상의 가속도계 신호의 부정확성이 커질 수 있으며, 목적함수의 잔차가 일시적으로 증가할 수 있다. 이로 인해 M1의 복원 결과에서 짧은 시간 구간 동안 오차가 급증하는 경향이 나타난 것으로 해석된다.
M2는 가속도계의 원신호를 직접 사용하는 M1에 비해 더 큰 복원 오차를 보였으며, 이는
C4에서 활용되는
sZ의 불확실성에 기인한 것으로 해석된다.
sZ는 계측 오차가 포함된 IMU 신호로부터 추정되며, 스트랩다운 적분과 외부 가속도가 가해지는 동적 교란 등으로 발생하는 추정 오차를 내포한다. 소실 마커는 비선형 방정식 풀이 함수를 통해 추정되며, 이 과정은 목적함수의 잔차를 최소화하는 방향으로 진행된다. 이때, 중요한 점은 잔차가 소실 마커의 참조 위치가 아닌 목적함수를 만족할 때 최소화된다는 것이다. 이는 목적함수가 완벽히 만족하는 상황에서도 소실 마커의 위치는 참값이 아닌 곳으로 복원될 수 있음을 시사한다. 즉,
C3와
C4의 목표값인
sZ와
yA의 오차가 결국 소실 마커 복원 오차로 반영될 수 있다. 이때, IMU 신호의 계측 오차 에만 영향을 받는
yA와 달리,
sZ는 계측 오차와 더불어 추정 과정에서 발생하는 추가적인 불확실성이 반영된다는 차이점이 있다. 이로 인해, M2가 M1에 비해 열세한 복원 성능을 보인 것으로 해석된다. 이러한 경향은 앞서 확인한
Fig. 4와
5에서 확인할 수 있다. 기울기 추정 오차가 크게 나타나는
Fig. 4에서 M2의 복원 오차가 크게 나타나는 반면, 기울기 추정 오차가 작게 나타나는
Fig. 5에서 M2는 상대적으로 낮은 복원 오차를 보인다. 따라서, M2의 경우,
sZ에 내포된 추정 오차가 복원 성능에 영향을 미치는 것으로 해석된다.
4. 결론
본 연구는 클러스터에 부착된 마커 위치 데이터 소실 발생 시 강체 구속조건과 IMU 신호를 활용한 마커 복원 방법을 제안 및 검증하였다.
검증 결과, 30초 소실 구간에서 M1과 M2의 평균 RMSE는 각각 13.78과 16.87 mm로 나타났으며, 180초 소실 상황에서 M1과 M2의 평균 RMSE는 각각 13.99와 17.98 mm로 나타났다. 이를 통해 IMU의 신호를 직접적으로 사용하는 제안 방법이 추정된 자세를 활용하는 복원 방법보다 우수한 성능을 나타냈으며, 긴 소실 구간에서도 안정적인 복원이 가능함을 보였다. 따라서, 본 논문이 제안하는 복원 방법은 IMU 성능 평가 실험에서 발생하는 클러스터의 마커 소실 문제를 해결하는 데 기여할 수 있으며, 마커 클러스터만을 활용하던 실험 환경에서도 복원용으로 IMU를 부착하는 경우, 소실 마커 복원이 가능하다.
Fig. 1Overview of the IMU-attached cluster configuration and missing-marker recovery using rigid-body constraints
Fig. 2
Fig. 3Recovered marker positions and error magnitudes for M1 and M2
Fig. 4Recovered marker positions and error magnitudes for M1 and M2 under fast motion conditions
Fig. 5Recovered marker positions and error magnitudes for M1 and M2 under slow motion conditions
Table 1Objective function components used in missing marker recovery methods
Table 1
|
Method |
Applied objective functions |
|
M1 |
C1, C2, C3
|
|
M2 |
C1, C2, C4
|
Table 2Average RMSE of M1 and M2 for 30 and 180 s missing intervals (unit: mm)
Table 2
|
|
M1 |
M2 |
|
|
Case |
X |
Y |
Z |
Mean |
X |
Y |
Z |
Mean |
|
30 s |
1 |
10.56 |
10.01 |
11.86 |
10.81 |
12.37 |
12.21 |
12.76 |
12.45 |
|
2 |
14.06 |
14.02 |
15.66 |
14.58 |
16.76 |
17.60 |
16.53 |
16.96 |
|
3 |
15.70 |
16.73 |
15.39 |
15.94 |
21.60 |
23.58 |
18.44 |
21.21 |
|
Average |
13.44 |
13.59 |
14.30 |
13.78 |
16.91 |
17.80 |
15.91 |
16.87 |
|
|
180 s |
1 |
10.15 |
10.13 |
11.52 |
10.60 |
12.78 |
13.16 |
13.61 |
13.18 |
|
2 |
14.17 |
14.70 |
15.71 |
14.86 |
18.58 |
19.04 |
18.24 |
18.62 |
|
3 |
16.28 |
17.32 |
15.93 |
16.51 |
22.19 |
24.15 |
20.07 |
22.14 |
|
Average |
13.53 |
14.05 |
14.39 |
13.99 |
17.85 |
18.78 |
17.31 |
17.98 |
REFERENCES
- 1. Merriaux, P., Dupuis, Y., Boutteau, R., Vasseur, P., Savatier, X., (2017), A study of vicon system positioning performance, Sensors, 17(7), 1591.
- 2. Aurand, M., Dufour, S., Marras, S., (2017), Accuracy map of an optical motion capture system with 42 or 21 cameras in a large measurement volume, Journal of Biomechanics, 58, 237-240.
- 3. Eichelberger, P., Ferraro, M., Minder, U., Denton, T., Blasimann, A., Krause, F., Baur, H., (2016), Analysis of accuracy in optical motion capture–A protocol for laboratory setup evaluation, Journal of Biomechanics, 49(10), 2085-2088.
- 4. Spoor, C., Veldpaus, F., (1980), Rigid body motion calculated from spatial co-ordinates of markers, Journal of Biomechanics, 13(4), 391-393.
- 5. Menolotto, M., Komaris, S., Tedesco, S., O’Flynn, B., Walsh, M., (2020), Motion capture technology in industrial applications: A Systematic Review, Sensors, 20(19), 5687.
- 6. Van der Kruk, E., Reijne, M. M., (2018), Accuracy of human motion capture systems for sport applications; state-of-the-art review, European Journal of Sport Science, 18(6), 806-819.
- 7. Field, M., Stirling, D., Naghdy, F., Pan, Z., (2009), Motion capture in robotics review, Proceedings of the IEEE International Conference on Control and Automation. 1697-1702.
- 8. Choi, J. S., Lee, CJ, Lee, J. K., (2022), A Kalman filter for inverse dynamics of IMU-based real-time joint torque estimation, Journal of the Korean Society for Precision Engineering, 39(1), 69-77.
- 9. Lee, CJ, Lee, JK, (2022), Effects of time-variation of segment-to-joint vectors on accuracy of joint torque in wearable inertial sensor-based inverse dynamics, Journal of Institute of Control, Robotics and Systems, 28(7), 655-663.
- 10. Choi, J. S., Lee, CJ, Lee, JK, (2023), Wearable inertial sensors-based joint kinetics estimation of lower extremity using a recurrent neural network, Journal of the Korean Society for Precision Engineering, 40(8), 655-663.
- 11. Lee, JK, Lee, CJ, (2020), Drift reduction in IMU-based joint angle estimation for dynamic motion-involved sports applications, Journal of the Korean Society for Precision Engineering, 37(7), 539-546.
- 12. Islam, A., Asikuzzaman, M., Khyam, M., Noor-A-Rahim, M., Pickering, M., (2020), Stereo vision-based 3D positioning and tracking, IEEE Access, 8, 138771-138787.
- 13. Chatzitofis, A., Zarpalas, D., Daras, P., Kollias, S., (2021), DeMoCap: Low-cost marker-based motion capture, International Journal of Computer Vision, 129(12), 3338-3366.
- 14. Wu, Q., Boulanger, P., (2011), Real-time estimation of missing markers for reconstruction of human motion, Proceedings of the 2011 XIII Symposium on Virtual Reality. 161-168.
- 15. Burke, M., Lasenby, J., (2016), Estimating missing marker positions using low dimensional Kalman smoothing, Journal of Biomechanics, 49(9), 1854-1858.
- 16. Tits, M., Tilmanne, J., Dutoit, T., (2018), Robust and automatic motion-capture data recovery using soft skeleton constraints and model averaging, PLoS One, 13(7), e0199744.
- 17. Skurowski, P., Pawlyta, M., (2021), Gap reconstruction in optical motion capture sequences using neural networks, Sensors, 21(18), 6115.
- 18. Tan, C., Hou, J., Chau, L., (2015), Motion capture data recovery using skeleton constrained singular value thresholding, The Visual Computer, 31(11), 1521-1532.
- 19. Enayati, N., De Momi, E., Ferrigno, G., (2015), A quaternion-based unscented Kalman filter for robust optical/inertial motion tracking in computer-assisted surgery, IEEE Transactions on Instrumentation and Measurement, 64(8), 2291-2301.
- 20. Tobergte, A., Pomarlan, M., Hirzinger, G., (2009), Robust multi sensor pose estimation for medical applications, Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. 492-497.
- 21. Lee, J. K., Park, E. J., Robinovitch, S. N., (2012), Estimation of attitude and external acceleration using inertial sensor measurement during various dynamic conditions, IEEE Transactions on Instrumentation and Measurement, 61(8), 2262-2273.
- 22. Choi, J. S., Lee, CJ, Lee, JK, (2023), A parallel recurrent neural network for robust inertial and magnetic sensor-based 3D orientation estimation, IEEE Access, 11, 89685-89693.
- 23. Choi, J. S., Lee, J. K., (2023), Effects of data augmentation on the nine-axis IMU-based orientation estimation accuracy of a recurrent neural network, Sensors, 23(17), 7458.
- 24. Choi, J. S., Lee, J. K., (2022), Recurrent neural network for nine-axis IMU-based orientation estimation: 3D orientation estimation performance in disturbed conditions, Journal of Institute of Control, Robotics and Systems, 28(12), 1216-1223.
Biography
- Han Sol Woo
B.S. candidate in the school of ICT, Robotics and Mechanical Engineering, Hankyong National University. His research interests include inertial sensing-based human motion tracking and data recovery.
- Ji Hoon Park
Ph.D. candidate in the Department of Integrated Systems Engineering, Hankyong National University. His research interests include inertial sensing-based human motion tracking and joint torque estimation as well as wearable robotics.
- Chang June Lee
Ph.D. candidate in the Department of Integrated Systems Engineering, Hankyong National University. His research interests include inertial sensing-based human motion tracking and joint torque estimation as well as wearable robotics.
- Jung Keun Lee
Professor in the school of ICT, Robotics and Mechanical Engineering, Hankyong National University. His research interests include inertial sensing-based human motion tracking, biomechatronics, wearable sensing and robotics, and data-driven estimation.
