ABSTRACT
A measurement of a users’ motion is widely attracting attention for a realization of robotic assistance in daily activities. The soft, wearable sensing suit enables the monitoring of outdoor activities, with high wearability and insensitivity to inertial force. In this paper, we propose a novel sensing suit for measuring the multi degree of freedom (multi-DOF) motion of the wrist joints. We used a fabric-based capacitance-type stretch sensor for high adaptivity to a textile form of suits. The sensor was attached to the body link, instead of the wrist joint to reduce the interdependency among each joint axis and the effect of unwanted disturbance. We adopted the Deep Neural Network for calibration, and verified the higher estimation accuracy on the estimation of the multi-DOF wrist motions. The performance validation proceeded with comparing to the linear-based regression, and the root mean-squared error on the angle measurement was improved at slow motion and fast motion. A real-time measurement interface was developed and demonstrated with a frequency of 250 Hz.
-
KEYWORDS: Sensing suit, Stretch sensor, Soft materials, Deep neural network
-
KEYWORDS: 센싱 수트, 신축 센서, 유연소재, 심층 신경망
1. 서론
근래에 웨어러블 로보틱스, 재활 치료, 가상현실 인터페이스 등 다양한 분야에서 실시간 모션 센싱 기술 개발의 필요성이 증가하고 있다.
1,2 현재 대부분의 모션 센싱 분야에서는 높은 정확도를 가진 광학식 카메라,
2 관성 측정 장치(Inertial Measurement Unit) 기반의 모션 센싱 기술이 주로 사용되고 있다.
3-6 그러나 광학식 카메라 기반 모션 센싱 기술은 고가의 카메라 장비 및 분석 프로그램과 고정된 카메라 시야 내부 공간에서만 관측 가능하다는 제약이 존재하고,
2 관성 측정장치 기반의 모션 센싱 기술은 외부 관성계의 영향을 받으며 오래 사용할수록 오차가 커지고 연산 양이 많다는 단점이 존재한다.
3-5
최근에는 유연 신축 센서 기반의 모션 센싱 기술이 천 소재와 부착하기 좋아 착용하기 편리하고, 관절 움직임을 감지하기 적합해 웨어러블 수트로의 적용 가치가 높아 주목을 받고있다.
7 이에 다양한 종류의 유연 신축 센서가 웨어러블 수트에 사용되는데 그 중에서도 착용자의 관절 각도를 실시간으로 감지하기 위해 높은 인장률과 간단한 일렉트로닉스로도 구현 가능한 유연 신축 센서를 주로 사용한다.
8,9
한편 유연 신축 센서의 물질적 특성과 사람 근골격의 구조적 특성에 의해 센서의 신호를 통해 관절 각도를 추정하는 방법에 몇 가지 문제가 존재한다. 먼저 유연 센서의 점탄성적 성질에 의해 이력 현상이 나타나며, 비선형성과 낮은 반복성이 나타나고 센서값의 편향 이동이 일어나기도 한다.
10 동시에 사람 근골격의 구조적 특성에 의해 물리적인 굽힘, 압력 등이 작용해 센서의 추가적인 비선형성을 생성한다.
11 특히 다자유도 관절인 경우 센서 신호들이 상호 의존되어 명확한 동작 감지를 어렵게 만든다.
12
위와 같은 유연 신축 센서와 관절 각도 관계의 캘리브레이션에 대한 어려움을 해결하고자 심층 신경망(Deep Neural Network)을 이용한 캘리브레이션을 통해 보정하는 연구들이 진행되고 있다. 액체금속 기반의 유연 센서의 점탄성적 성질에 의한 이력 현상과 비선형성을 보정하기 위한 심층 신경망 캘리브레이션 기법,
13 천 소재 기반 유연 신축 센서와 심층 신경망 기법을 이용한 1자 유도 무릎 관절 각도 추정 웨어러블 수트,
14 LSTM을 이용해 유연 신축 센서의 시변성을 보정한 전신 웨어러블 수트 개발
15 등 심층 신경망을 사용함으로 센서 시스템 모델링의 자유화를 통해 관절 각도 추정 방법들이 제시되고 있다.
본 연구에서는 심층 신경망 기반의 캘리브레이션 방법을 통해 다자유도 관절인 손목 관절의 각도를 추정하고, 실시간으로 손목 관절의 모션 센싱이 가능한 유연 신축 센서 기반의 웨어러블 수트를 개발한다. 높은 정확도를 보이는 카메라 기반 모션 센싱을 기준으로 심층 신경망 기반의 캘리브레이션이 기존의 선형 회귀 대응 기법과 비교하여 낮은 오차가 나타남을 정량적으로 비교함을 통해 심층 신경망 기반의 캘리브레이션이 다자유도 관절 각도 추정에 있어서 우수함을 보인다.
손목 웨어러블 수트는 높은 선형성을 가지는 4개의 천 소재 기반의 정전용량식 센서
16를 이용해 4개의 센서 데이터를 통해 관절 각도를 추정한다. 이때 최대한 두 자유도 움직임의 상호의존도를 낮추고 비선형성을 줄이기 위해 센서가 직접 관절에 닿지 않는 와이어 구조를 채택했다.
17 마지막으로 본 연구에서 개발한 웨어러블 수트를 통해 실시간으로 손목 관절 각도를 추정하는 실사용 데모를 구현했다.
2. 유연 신축 센서 기반 손목 웨어러블 수트
2.1 정전용량 방식 유연 신축 센서
유연 신축 센서의 측정 방식은 크게 압저항, 정전용량, 광학 기반 측정 방식으로 분류할 수 있다. 그 중 정전용량 방식은 물질의 고유한 특성이 아닌 센서의 구조로부터 측정하는 방식으로 선형성이 높고 반복성이 우수하며 이력 현상이 낮다고 널리 알려져 있다. 본 연구에서는 이러한 장점이 실사용에서 중요하다고 판단하고 정전용량 방식을 채택하여 센서를 제작했다. 또한, 전도성 천과 실리콘 고무를 이용한 제작 방식을 차용함으로써 제작 비용을 낮추고 공정 과정을 간소화했다(
Fig. 1(a)).
Fig. 1Design of fabric-based stretch sensor
본 센서의 자세한 측정 원리는 다음과 같다. 신축이 발생할 경우, 평행한 두 전도성 천이 신축됨으로써 사이 거리가 줄어들어 센서의 고유 정전용량이 증가하는 방식이다. 전자파 간섭(EMI)에 의한 잡음을 최소화하기 위해 전도성 천 1개를 추가적으로 활용하여, 센서의 겉면을 접지하고 내부의 면을 이용하여 측정을 했다.
측정 방식에 대한 수식적 모델은 다음과 같다. 변수의 종류는
Fig. 1(c)에 소개되어있다.
식(1)과
식(2)에서 사용한
ε0는 진공의 유전율,
k는 비유전율,
velectrode,
vdielectric는 전극과 유전체의 푸아송 비를 의미한다.
2.1.1 센서 제작 방법
센서는 전도성의 신축성 천과 비전도성의 신축성 천을 이용하여 제작된다. 레이저 커터를 이용하여 원하는 형상으로 절삭한 후에 실리콘 고무(Ecoflex 00-30, Smooth-On)를 이용하여 샌드위치 구조로 접착한다. 센서의 끝에 소형 터미널을 부착하고 전선을 연결하여 전극을 생성한다. 소형 터미널에 여분의 실리콘 고무를 덧대어 센서의 흔들림으로 인한 잡음 발생을 방지한다.
2.1.2 유연 신축 센서 인장 실험
제안하는 유연 신축 센서의 신축 측정 성능을 정량화하기 위해 반복 인장 실험을 수행했다. DC 모터(Maxon)를 기반으로 자체 제작한 인장시험기를 이용했다. 0.2 Hz의 사인파를 인가하여 최대변형률 38.5%까지의 센서 성능을 측정했다.
실험 결과 소재의 점탄성으로부터 기인하는 이력 현상(Hysteresis)을 정량화하기 위해 이력 현상 오차를 도입했다.
18 이력 현상 오차는
식(3)처럼 표현할 수 있으며 본 센서에서는 10.4%로 낮은 이력 현상 오차를 가짐을 확인했다.
또한 선형성을 나타내는 지표인 결정계수(Coefficient of Determination,
R2)는 종속변인과 독립변인 사이의 상관관계를 정의하는 척도로 그 값이 높을수록 선형 모델의 정확도가 높음을 의미한다.
19 본 센서는 0.995의 결정계수를 가져 높은 선형성을 띔을 확인할 수 있었다.
2.2.1 수트 구조
본 연구에서 제안하는 손목 웨어러블 수트는 다자유도 관절 거동의 측정 시의 축간 간섭과 관절 거동 시 센서에 가해지는 불필요한 변형을 최소화하는 것을 초점으로 디자인되었다. 손목의 2자유도 움직임인 손목 신전(Wrist Extension), 손목 굴곡(Wrist Flexion), 요골 편위(Radial Deviation), 척골 편위(Ulnar Deviation)를 감지하기 위해
Fig. 3(a)와 같이 신전 센서, 굴곡 센서, 요골 센서, 척골 센서를 부착했다. 손목의 움직임에 대한 시각화는
Fig. 4와 같다. 센서 4개는 90
o 간격으로 부착되었다. 또한, 시스와 와이어 구조로 센서가 관절에 직접 닿지 않게 하여 압력이 가해지지 않게 했고, 센서 신호 간의 상호의존도를 낮추게 했다. 더불어 수트의 반복적인 탈착의 시 센서 부착 위치에 상대적으로 둔감하다는 장점이 경험적으로 확인되었다.
Fig. 2Performance validation of the stretch sensor
Fig. 3Sensor sleeve design illustration
Fig. 4Description of wrist motions
3. 심층 신경망 기반 캘리브레이션
개발한 센서 수트를 이용하여 관절 각도를 모니터링하기 위해서는 센서 신호를 관절 각도로 맵핑하는 캘리브레이션이 요구된다. 센서 신호와 센서 인장 길이 사이에는 비교적 높은 선형성을 나타내나 수트에 적용할 경우 센서 인장과 관절의 기구학적 거동 사이에 관계가 비선형적이다. 또한 그 관계는 착용자마다 다르다. 그러므로 수트를 위한 캘리브레이션은 비선형성에 대한 추정이 가능하며 개인별 맞춤형 맵핑이 용이하여야 한다는 요구 조건이 있어, 본 연구에서는 심층 신경망을 이용하여 캘리브레이션을 진행했다.
3.1 훈련 데이터 생성을 위한 카메라 모션 센싱 실험
심층 신경망의 훈련 데이터를 생성하기 위해 손목의 다자유도 각도 변화와 그에 따른 센서 신호의 변화를 측정하였다.
Fig. 5와 같이 모션캡쳐 카메라(Trio: V120, Optitrack, USA)에 6개의 반사표시기(Reflective Marker)가 모두 관측될 수 있는 상태에서 0.2 Hz 주파수를 갖는 동작을 측정했다. 심층 학습 기법은 훈련 데이터가 다양할수록 추정 성능을 높일 수 있기 때문에 관절 각도 정보에 따른 센서 신호 데이터를 충분히 얻을 수 있도록 총 21,407개의 데이터를 측정했다. 센서 신호는 250 Hz로, 카메라 데이터는 120 Hz로 측정해 시간 동기화를 했다.
Fig. 5Experimental setup for training data generation
Fig. 6Schematic of DNN model structure. Input variable are four sensor’s capacitance data, output variable are joint angles
3.2 심층 신경망 구조
본 연구에서는 Fully Connected층(이하 FC)을 이용하여 심층 신경망 구조를 구현했다. 총 5개의 층으로 구성했으며, 은닉층의 뉴런은 128개로 일관되게 설정했다. 각도 추정이라는 맵핑에 적합한 Tanh를 활성함수로 사용했다. 손실함수는 회귀문제에서 널리쓰이는 평균제곱오차(Mean-Squared Error, MSE)를 사용했다. 옵티마이저는 경험적으로 가장 높은 수렴 성능을 보인 Adam을 사용했다. 학습율은 0.001로 설정했다.
3.3 측정 성능 평가
관절 각도 추정 성능은 모션 센싱으로 측정한 실제 각도 변화와 모델을 통해 추정된 각도 변화 사이의 근평균제곱오차(Root Mean-Squared Error, RMSE)를 이용하여 정량화했다. 근평균제곱오차는 모델이 예측한 값과 실제로 측정한 값의 차이를 나타내는 척도로써 예측 모델의 정밀도, 즉 각도 추정 성능을 의미한다. 이때
θ를 모션캡쳐 카메라를 이용해 측정한 실제 관절 각도 값이라 하고
θ^를 심층 학습을 통해 예측한 관절 각도값이라 한다면 근평균제곱오차는
식(4)로 나타낼 수 있다.
본 연구에서 제시하는 심층 학습 기반 회귀 모델(DNN 모델)과 선형 회귀 모델 사이의 상대적 비교를 통해 우월성을 검증했다. 또한 훈련 데이터와 같은 주파수인 0.2 Hz로 움직이는 거동을 느린 거동으로 지정하였고, 일상에서 손목 움직임의 평균 주파수인 1Hz로 움직이는 거동을 빠른 거동으로 지정하였고,
20 두 거동에 대해 각도 추정 성능을 비교하였다(
Figs. 7과
8).
Fig. 7Estimated slow wrist motions plot of DNN regression and linear regression. DNN model’s RMSE value (0.26, 0.27) is 88, 90% reduced from linear regression model’s RMSE value (2.44, 2.24)
Fig. 8Estimated fast motions plot of DNN regression and linear regression. DNN model’s RMSE value (2.29, 1.90) is 14, 30% reduced from linear regression model’s RMSE value (2.64, 2.68)
실험 결과, 느린 속도의 관절 거동에서는 DNN 모델이 선형 모델에 비해 추정 정확도가 크게 높음을 확인할 수 있었다. 반면, 빠른 거동의 경우 DNN 모델이 선형 모델보다 더 높은 성능을 보이긴 하나 그 차이가 더 적음을 확인할 수 있다(
Table 1). 이는 입력 신호의 시변성(Time-Varying Property)을 고려하지 않는 FC층 기반의 DNN 맵핑이 센서 고유의 점탄성으로 인한 이력 현상을 충분히 보상하지 못하기 때문이다.
Table 1Estimated results of slow motion and fast motion at wrist (RMSE: Root mean square error in degree)
Table 1
|
Slow motion (RMSE) |
Fast motion (RMSE) |
|
Extension angle |
Deviation angle |
Extension angle |
Deviation angle |
|
Linear |
2.44 |
2.24 |
2.64 |
2.68 |
|
DNN |
0.26 |
0.27 |
2.29 |
1.90 |
3.4 실사용 데모 구현
본 연구에서 제안하는 DNN 기반의 다자유도 관절 각도 추정 방법론을 실시간 구동으로 구현했다(
Fig. 9). 좌측 상단 그래프는 2개의 관절 각도 그래프를 나타내고, 좌측 하단 그래프는 4개의 센서 신호값을 나타낸다. 우측 하단 그래프는 관절 각도로 재구현한 손목의 x, y 좌표를 나타내었다. 구동 인터페이스는 Labview
TM를 기반으로 구축했으며, 4개의 센서 신호 측정, 저역 통과 필터링, 다자유도 각도 측정 및 시각화의 기능을 250 Hz의 속도로 실시간으로 구현한다.
Fig. 9는 가장 대표적인 손목 운동인 손목 신전, 손목 굴곡, 요골 편위, 척골 편위에서의 상황에서의 실시간 데모를 캡쳐한 그림이다.
Fig. 9Real-time demonstration interface
4. 결론
본 연구에서는 손목의 다자유도 관절 각도를 모니터링하기 위한 신축 센서 기반의 웨어러블 수트를 제작하고 심층 학습(DNN) 기반의 각도 캘리브레이션 기법을 개발했다. 센서를 관절에 직접 부착하는 것이 아닌 신체 링크에 부착함으로써 굽힘이나 눌림 등의 의도하지 않은 센서 변형을 최소화하는 디자인을 고안했다. 유연센서의 거동과 관절 기구학의 특성상 내재된 비선형성이 존재하며, 이는 개인별로 차이를 보이기 때문에 기존의 수치해석적 모델링보다는 데이터 중심(Data-Driven)의 모델링이 요구된다. 본 연구에서 제안하는 DNN 기반의 캘리브레이션은 이러한 특징을 기반으로 개인별 캘리브레이션 기법의 원천기술이 될 수 있으며, 선형 기반 모델보다 성능이 더 뛰어남을 정략적으로 확인할 수 있었다. 현재까지의 한계점으로는 고속 거동에 대한 추정 정확도의 저하가 있다. 추후 연구를 통해 시변성을 고려한 네트워크 구조로 이를 보상할 계획이다. 또한 본 연구에서는 웨어러블 수트의 사용성 발전을 위한 반복적 탈착의 경우나 다른 착용자에 대한 캘리브레이션의 일반화에 대한 후속 연구가 필요하다. 이에 대한 고찰로는 심층 학습의 특성상 데이터 분포의 성질에 민감하기 때문에 전이 학습(Transfer Learning)이 대안이 될 수 있다. 여러 명의 사용자 데이터를 이용하여 사전 학습된(Pre-Trained) 캘리브레이션 모델을 확보한 후에, 착용 시 모델을 Fine-Tuning함으로써 고속으로 고성능의 캘리브레이션 맵을 구현하는 방법론에 대한 연구를 후속 연구로 진행할 계획이다.
ACKNOWLEDGMENTS
이 논문은 2017년도 정부(과학기술정보통신부)의 재원으로 한국연구재단 지원을 받아 수행된 연구임(No. NRF-2017M3A9E2063103).
REFERENCES
- 1.
Zhou, H. and Hu, H., “Human Motion Tracking for Rehabilitation-A Survey,” Biomedical Signal Processing and Control, Vol. 3, No. 1, pp. 1-18, 2008.
10.1016/j.bspc.2007.09.001
- 2.
Moeslund, T. B., Hilton, A., and Krüger, V., “A Survey of Advances in Vision-Based Human Motion Capture and Analysis,” Computer Vision and Image Understanding, Vol. 104, Nos. 2-3, pp. 90-126, 2006.
10.1016/j.cviu.2006.08.002
- 3.
Roetenberg, D., Luinge, H., and Slycke, P., “Xsens MVN: Full 6DOF Human Motion Tracking Using Miniature Inertial Sensors,” Xsens Motion Technologies BV, Tech. Rep, Vol. 1, 2009.
- 4.
Fong, D. T. P. and Chan, Y. Y., “The Use of Wearable Inertial Motion Sensors in Human Lower Limb Biomechanics Studies: A Systematic Review,” Sensors, Vol. 10, No. 12, pp. 11556-11565, 2010.
10.3390/s101211556
- 5.
Min, S. and Kim, J., “Inertial Motion Sensing-Based Estimation of Ground Reaction Forces during Squat Motion,” Journal of the Korean Society for Precision Engineering, Vol. 32, No. 4, pp. 377-386, 2015.
10.7736/KSPE.2015.32.4.377
- 6.
Song, K. W., Song, Y. E., and Jung, H., “IMU Based Walking Position Tracking Using Kinematic Model of Lower Body and Walking Cycle Analysis,” Journal of the Korean Society for Precision Engineering, Vol. 35, No. 10, pp. 965-972, 2018.
10.7736/KSPE.2018.35.10.965
- 7.
Totaro, M., Poliero, T., Mondini, A., Lucarotti, C., Cairoli, G., et al., “Soft Smart Garments for Lower Limb Joint Position Analysis,” Sensors, Vol. 17, No. 10, p. 2314, 2017.
10.3390/s17102314
- 8.
Lee, H., Cho, H., Kim, S. J., Kim, Y., and Kim, J., “Dispenser Printing of Piezo-Resistive Nanocomposite on Woven Elastic Fabric and Hysteresis Compensation for Skin-Mountable Stretch Sensing,” Smart Materials and Structures, Vol. 27, No. 2, Paper No. 025017, 2018.
10.1088/1361-665X/aaa5e3
- 9.
Kappel, S. L., Rathleff, M. S., Hermann, D., Simonsen, O., Karstoft, H., et al., “A Novel Method for Measuring in-Shoe Navicular Drop during Gait,” Sensors, Vol. 12, No. 9, pp. 11697-11711, 2012.
10.3390/s120911697
- 10.
Amjadi, M., Kyung, K. U., Park, I., and Sitti, M., “Stretchable, Skin‐Mountable, and Wearable Strain Sensors and their Potential Applications: A Review,” Advanced Functional Materials, Vol. 26, No. 11, pp. 1678-1698, 2016.
10.1002/adfm.201504755
- 11.
O'Brien, B., Gisby, T., and Anderson, I. A., “Stretch Sensors for Human Body Motion,” Proc. of the Electroactive Polymer Actuators and Devices on International Society for Optics and Photonics, Paper No. 905618, 2014.
10.1117/12.2046143
- 12.
Lee, H., Cho, J., and Kim, J., “Printable Skin Adhesive Stretch Sensor for Measuring Multi-Axis Human Joint Angles,” Proc. of the IEEE International Conference on Robotics and Automation, pp. 4975-4980, 2016.
10.1109/ICRA.2016.7487705
- 13.
Han, S., Kim, T., Kim, D., Park, Y. L., and Jo, S., “Use of Deep Learning for Characterization of Microfluidic Soft Sensors,” IEEE Robotics and Automation Letters, Vol. 3, No. 2, pp. 873-880, 2018.
10.1109/LRA.2018.2792684
- 14.
Gholami, M., Ejupi, A., Rezaei, A., Ferrone, A., and Menon, C., “Estimation of Knee Joint Angle Using a Fabric-Based Strain Sensor and Machine Learning: A Preliminary Investigation,” Proc. of the 7th IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 589-594, 2018.
10.1109/BIOROB.2018.8487199
- 15.
Kim, D., Kwon, J., Han, S., Park, Y. L., and Jo, S., “Deep Full-Body Motion Network for a Soft Wearable Motion Sensing Suit,” IEEE/ASME Transactions on Mechatronics, Vol. 24, No. 1, pp. 56-66, 2018.
10.1109/TMECH.2018.2874647
- 16.
Atalay, A., Sanchez, V., Atalay, O., Vogt, D. M., Haufe, F., et al., “Batch Fabrication of Customizable Silicone‐Textile Composite Capacitive Strain Sensors for Human Motion Tracking,” Advanced Materials Technologies, Vol. 2, No. 9, Paper No. 1700136, 2017.
10.1002/admt.201700136
- 17.
Mengüç, Y., Park, Y. L., Pei, H., Vogt, D., Aubin, P. M., et al., “Wearable Soft Sensing Suit for Human Gait Measurement,” The International Journal of Robotics Research, Vol. 33, No. 14, pp. 1748-1764, 2014.
10.1177/0278364914543793
- 18.
Choi, D. Y., Kim, M. H., Oh, Y. S., Jung, S. H., Jung, J. H., et al., “Highly Stretchable, Hysteresis-Free Ionic Liquid-Based Strain Sensor for Precise Human Motion Monitoring,” ACS Applied Materials & Interfaces, Vol. 9, No. 2, pp. 1770-1780, 2017.
10.1021/acsami.6b12415
- 19.
Nagelkerke, N. J., “A Note on a General Definition of the Coefficient of Determination,” Biometrika, Vol. 78, No. 3, pp. 691-692, 1991.
10.1093/biomet/78.3.691
- 20.
Mann, K. A., Wernere, F. W., and Palmer, A. K., “Frequency Spectrum Analysis of Wrist Motion for Activities of Daily Living,” Journal of Orthopaedic Research, Vol. 7, No. 2, pp. 304-306, 1989.
10.1002/jor.1100070219
Biography
- Junhwi Cho
B.Sc. candidate in the Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology. His research interest is soft robotics and wearable robotics.
- Hyunkyu Park
Ph.D. candidate in the Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology. His research interest is soft robotics and deep learning.
- Jung Kim
Professor in the Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology. His research interest is haptic, bio-signal processing and soft robotics.
