ABSTRACT
In the field of gimbal targeting systems, image error tracking plays a crucial role in various applications, including object detection, enemy surveillance, and aircraft inspection. Enhancing image tracking performance presents a significant challenge due to singularity issues at the azimuth and elevation joints. To tackle this problem, this paper proposes a rotation-matrix-based tracking error compensation method centered on real-time object tracking. Specifically, our approach involves creating a virtual rotation frame that aligns the visual tracking frame with the gimbal base frame. Using our method, a gimbal with two degrees of freedom (DOF) can achieve superior tracking performance near the ±90° joint positions compared to conventional gimbal tracking methods. We compare the proposed method with existing approaches in the literature by assessing initial pose RMS error and singular pose RMS error through MATLAB Simscape simulations. The experimental results demonstrate that our method can reduce the line of sight RMS error by 89% in the azimuth position and by 99% in the elevation position, respectively.
-
KEYWORDS: Gimbal control, Tracking control system, Rotation matrix
-
KEYWORDS: 김발 제어, 추적 제어 시스템, 회전 행렬
NOMENCLATURE
AZ = Azimuth
EL = Elevation
{B} = Base Coordinate
{G} = Gimbal Coordinate
{I} = Image Tracking System Coordinate
Rx = Rotation Matrix for x-axis Rotation
Ry = Rotation Matrix for y-axis Rotation
Rz = Rotation Matrix for z-axis Rotation
RGimbal = Rotation Matrix Representing the Gimbal Posture
Rtemp = Temporary Rotation Matrix for Axis Alignment
Rtarget = Rotation Matrix Generated by Coordinate Transformation for Final Target LOS
P'target = Rotation Matrix Generated by Coordinate Transformation with Temporary Axis for Final Target LOS
ΔR = Relative Rotation Matrix Obtained from Angular Error
θAZ = Azimuth Angle of Current Gimbal posture
θEL = Elevation Angle of Current Gimbal posture
θAZtaraet = Fingal Target Azimuth Angle of Gimbal
θELtarget = Fingal Target Elevation Angle of Gimbal
ΔθH = Horizontal Angle error obtained from image error
ΔθV = Vertical angle Error Obtained from Image Error
θtemp = Temporary Angle used in Temporary Rotation Matrix
LOS = Line of Sight
1. 서론
김발(Gimbal)은 방위각(Azimuth)과 고저각(Elevation)을 축으로 하는 2자유도(2-DOF) 이상의 회전 구동 장치로 대상 물체의 시선(Line-of-Sight)을 원하는 방향으로 조향하여 감시, 정찰, 관측, 촬영, 요격 등의 임무를 수행한다[
1-
5].
이 중 김발 영상 추적은 영상 또는 레이저 이미지로부터 추출된 표적의 위치 및 자세 정보를 실시간으로 추정하고 이를 추적 명령으로 변환하여 김발을 제어하는 기술이다. 이 기술은 포탑, 무인기, 헬기 등 다양한 플랫폼의 전자광학 추적장비(Electro-optical Targeting System, EOTS)에 필수적으로 적용된다[
6].
영상 기반 추적 과정은 크게 두 단계로 구성된다. 첫째, 실시간 인식 단계에서는 영상 좌표계에서 표적 중심 대비 픽셀 오차를 계산한다. 둘째, 추적 단계에서는 해당 픽셀 오차를 김발의 방위각 및 고저각 구동 명령으로 변환한다. 이 두 단계에서 발생하는 오차는 통상 시선 오차(Line-of-Sight Error, LOS Error) 혹은 추적 오차(Tracking Error)로 정의된다.
기존 연구에서는 영상의 순간 시야각(Instantaneous Field of View, IFOV)을 이용하여 픽셀 각도 오차를 각도 오차로 변환하는 IFOV 기반 오차 보정 방식이 주로 사용되어 왔다[
7-
9]. 해당 방식은 구조가 단순하고 계산량이 적어 실시간 제어에 유리하다는 장점이 있다.
그러나 IFOV 방식은 영상 좌표계와 김발 좌표계가 완전히 일치한다고 가정하기 때문에 조립 오차, 구동 편차, 센서 정렬 오차 등이 존재하는 실제 시스템에서는 두 좌표계 간 불일치로 인한 누적 오차가 발생한다. 특히 김발의 고저각이 ±90°에 근접할수록 기구학적 특이점(Singularity)으로 인해 방위각과 고저각 간의 운동이 상호 종속되어 오차 보정이 불안정해진다. 이러한 이유로 2-DOF 김발은 실제 운용에서 구동 범위가 제한되는 경우가 많다.
이러한 문제를 해결하기 위해 관성 좌표계 또는 북-동-하(North-East-Down, NED) 전역 좌표계를 기준으로 한 시선 제어 기법과 특이점 회피 방법이 다수 제안되어 왔다[
10-
14]. 그러나 기존 연구들은 주로 자세 안정화 또는 김발의 기하학적 정렬 및 자세 추정에 초점을 두었으며 영상 좌표계에서 발생한 오차를 전역 좌표계 기준으로 정량적으로 변환하고 이를 이용해 추적 명령을 직접 생성하는 절차를 구체적으로 제시한 연구는 제한적이다.
본 논문에서는 이러한 기존 연구의 한계를 보완하기 위해 가상 축 회전을 적용한 회전 행렬 기반 추적 오차 생성 방법을 제안한다. 제안하는 방법은 서로 다른 좌표계에서 생성된 각도 오차를 전역 좌표계를 기준으로 변환하고 이후 가상 축 회전을 적용하여 이를 바탕으로 추적 명령 각도를 생성한다. 단순히 영상 좌표계를 전역 좌표계로 변환하여 사용하는 것은, 2자유도 김발에서 사용하는 것이 불가능하다. 이에 가상 축을 삽입하여 방위각과 고저각 오차의 상호 간섭을 최소화하여 특이점 근처에서도 안정적인 오차를 생성할 수 있도록 하였다. 이 가상 축은 물리적 구동 축이 아닌 좌표변환 과정에서 회전시켜도 시스템의 실제 추적 방향에는 영향을 주기 않는 축으로, 이를 통해 김발의 시선이 ±90° 부근에 위치하더라도 안정적이고 연속적인 추적 성능을 확보할 수 있다.
본 연구에서 제안한 방법을 검증하기 위해 기존 IFOV 기반 방식과 비교하여 시뮬레이션을 수행하였다. 제안 기법은 특이점 근처에서 방위각-고저각 간 간섭을 효과적으로 억제하며 시선 오차의 RMS (Root Mean Square) 값을 기존 대비 방위각 89%, 고저각 99% 감소시킴을 확인하였다. 해당 결과는 제안 방법이 영상 기반 추적뿐 만 아니라 다양한 센서 융합형 추적 시스템에도 적용 가능함을 보여준다. 특히 정밀 추적이 요구되는 군사 및 민간용 EO/IR (Electro-Optical/Infrared) 김발 시스템의 특이점 회피 성능 향상에 기여할 것으로 기대된다.
2. 시스템 및 추적 오차 생성 방법
2.1 2축 김발의 추적 오차 생성 방법
2자유도 김발 시스템의 추적 오차는 영상 시스템을 활용하여 생성된다.
Fig. 1과 같이 영상 센서를 통해 탐지된 표적과 영상 중심 간의 가로 및 세로 방향의 픽셀 오차를 획득한 후 영상 의 IFOV를 곱하여 각도 오차로 변환한다. 여기서 가로 방향의 각도 오차는 Δθ
H, 세로 방향의 각도 오차는 Δθ
V로 정의된다. 이 때, 고저각의 각도가 ±90°에 근접할수록 영상 좌표계와 김발 좌표계 간의 불일치로 인해 추가적인 오차가 발생한다. 이는 가로 방향 각도 오차를 보상하기 위해 고저각 구동이 필요하게 되는 현상이 발생하며 방위각과 고저각 간의 상호 영향으로 인해 추적 성능이 저하되는 결과를 초래한다.
2자유도 김발 시스템과 영상 시스템은 서로 다른 좌표계에서 동작하므로 두 시스템 간의 관계를 정의하기 위해
Fig. 2(a)와 같이 Cartesian 좌표계를 설정할 수 있다. 좌표계는 Base 좌표계 {B}, 김발 좌표계 {G}, 영상 좌표계 {I}로 설정하였으며, 방위 각 회전축은 z축, 고저각 회전축을 x축, 김발의 시선 방향(LOS)을 y축으로 설정한다
영상 좌표계의 경우 영상 화면의 가로 방향을 x축, 세로 방향을 z축으로 정의하고 영상 좌표계 y축이 김발의 시선 방향과 일치하도록 설정한다. 이러한 좌표계 정의는 영상에서 추정된 각도 오차를 김발 기준 좌표계로 변환하기 위한 기초 작업으로 김발의 LOS와 영상의 y축을 일치시키기 위함이다.
김발의 방위각과 고저각 회전 행렬은 각각의 회전각도를 θAZ, θEL 이라고 할 때, 식(1)과 같이 회전행렬을 정의할 수 있다.
이를 이용하여 베이스 좌표계로부터 김발의 각도가 θAZ, θEL 만큼 회전한 상태 일 때 회전 행렬 RGimbal은 식(2)와 같이 표현된다.
영상으로부터 구한 각도 오차 ΔθH, ΔθV는 회전 행렬 형태인 Rx(ΔθV), Rz(ΔθH)로 표현할 수 있으며 이를 식(3)과 같이 ΔR로 표현할 수 있다.
현재 각도 (θAZ, θEL)로부터 생성한 회전행렬 (RGimbal)에서 오차 회전행렬 (ΔR) 만큼 회전시킨 회전행렬 (RGimbal * ΔR)이 새로운 목표각도 회전행렬 (Rtarget)이 되어야 하며 식(4)로 표현된다.
2.3 회전 행렬을 이용한 추적 오차 생성 방법
생성된 목표각도 회전행렬 (Rtarget)을 다시 목표 각도 (θAZtarget, θELtarget)으로 변환하면 추적오차가 포함된 정확한 목표각도를 구할 수 있다.
이를 위해 목표 각도의 회전행렬 R'target은 식(6)으로 표현할 수 있으며, Rtarget과 같은 형태를 가져야 한다.
하지만 식(4)와 식(6)을 비교해 보면 특정 조건에서만 두 개의 회전행렬이 같을 수 있음을 확인할 수 있다. Rtarget(3,1)의 값과 R'target(3,1)의 값은 0으로 같아야 하며, 이를 만족하기 위해서는 ΔθH = 0이거나, θEL + ΔθV이 되어야 한다.
이는 2자유도 김발의 기구학적 구조상 Rtarget의 회전행렬로 일반적인 목표각도를 구현할 수 없다는 것을 나타낸다.
앞서 고저각의 회전축을 X축으로 설정했기에, 각 좌표계의 X축은 XY 평면 위에 존재해야 한다.
하지만 단순히 영상 좌표계의 각도오차를 베이스 좌표계의 오차로 변환하여 적용하면, LOS의 방향은 일치시킬 수 있으나, x축(x
{target})이 XY평면에 존재하지 않는다. 이는 2자유도 김발의 구조적 특성상 구동할 수 없는 모션을 나타낸다(
Fig. 3).
이를 해결하기 위해 회전 행렬 ΔR이후, 가상의 Y축 임시 회전행렬 Rtemp를 삽입하여 전체 회전을 식(7)과 같이 구성한다.
여기서 θtemp는 가상의 김발 Y축 회전각이다. 따라서 전체 회전행렬 RGimbal * ΔR * Rtemp의 (3,1) 성분은 R'target의 (3,1) 성분인 0과 같아야 하며, 이는 Rtarget의 Y축을 XY 평면위로 위치할 수 있도록 보정하는 것이다. 이를 위해 필요한 수식은 식(8)과 같다.
이를 정리하면 식(9)과 같이 Y축의 임시회전각도를 계산할 수 있다. 임시회전각도로 R'target 행렬을 구하여 식(9)를 통해 최종 명령 각도를 구할 수 있다.
3. 시뮬레이션
3.1 시뮬레이션 구성
본 연구에서는 제안된 가상 축 회전을 적용한 회전 행렬 기반 추적 오차 생성 방법의 유효성을 검증하기 위해 Matlab Simscape 환경을 활용한 시뮬레이션을 수행하였다. 시뮬레이션의 목적은 추적 오차 생성 방식의 차이에 따른 시스템 동작의 영향을 분석하기 위함이다. 전체 Simscape 구성도는
Fig. 4과 같으며 크게 세 부분으로 나뉜다.
A 블록은 기존 김발 시스템을 모델링한 구성으로 제어 대상인 2자유도 김발의 기구학 및 구동 특성을 포함하고 있다. 해당 블록은 추적 명령을 받아 방위각 및 고저각 방향으로 회전하며 실제 시스템의 반응을 시뮬레이션 상에서 재현한다. B블록은 Target Simulator로 목표물의 움직임을 정의하는 역할을 수행한다. 본 연구에서는 방위각 및 고저각을 특정 각도에서 시작하여 일정 반경을 따라 수평 원형 궤적을 생성하도록 설정하였다. 이를 통해 다양한 자세 영역, 특히 특이점 근처에서도 오차 생성 방식의 영향을 평가할 수 있도록 하였다. C블록은 추적 오차 생성 방법을 적용한 구성으로 영상으로부터 획득한 오차 정보를 회전 행렬로 변환한 뒤 이를 기반으로 생성된 추적 각도 명령을 김발에 적용한다. 시뮬레이션에서의 목표물 및 김발 움직임은
Fig. 5에서 확인할 수 있다.
시뮬레이션 결과, 제안된 가상 축 회전이 적용된 회전 행렬 기반 추적 오차 생성 기법은 기존 방식에 비해 우수한 추적 성능을 나타냈다. 특히 고저각이 특이점에 근접할수록 두 방식 간의 성능 차이가 현저하게 증가하였다. 반면 고저각의 크기가 상대적으로 작은 구간에서는 두 방식 모두 목표 궤적을 안정적으로 추종하였으며 고저각이 0°인 경우(
Figs. 5(a) 및
6(a))에는 기존 방식과 제안 방식 모두 목표 값을 적은 오차로 추종하는 것을 확인할 수 있었다. 이 구간에서는 영상 좌표계와 김발 좌표계 간의 비정렬 현상이 미미하여 기존 방식에서도 추적 성능 저하가 없음을 확인하였다.
그러나 특이점 근처인 고저각 80° 근처(
Figs. 5(b) 및
6(b))에서는 추적 성능 차이가 뚜렷하게 나타났다. 기존 방식은 영상 기반 각도 오차를 그대로 고저각 제어 입력으로 사용하기 때문에 좌표계 불일치가 누적되며 이에 따라 명령 값과 출력 값 간의 차이가 크게 증가하였다. 반면, 제안된 기법은 고저각이 특이점 근처인 경우에도 좌표계 간 정렬 오차를 효과적으로 보정하여 전 구간에서 안정적인 추적 성능을 유지하였다. 이는 영상 좌표계에서의 추적 결과(
Fig. 6(c))를 보면, 추적 성능이 확연하게 차이남을 알 수 있다.
Figs. 6에서 고저각이 0°와 80°일 때의 결과값을 보여주었다면, 7에서는 고저각의 각도 별, (0-80°) 원형 타겟 모션 시뮬레이션에서 발생한 방위각 및 고저각에 대한 명령 값 대비 오차 RMS (Root Mean Square) 를 나타낸 것이다. 방위각 오차는 두 방식 모두 고저각 위치에 상관없이 잘 추종하는 모습을 보여주었으나, 제안한 가상 축 회전 적용 방식에서 기존 대비 89% RMS 오차가 감소하였다. 반면 고저각에서는 기존 방식의 경우 고저각의 각도가 증가할수록 제대로 추적하지 못하는 모습을 보이며, 이에 비해 제안된 가상 축 회전이 포함된 회전 행렬 기반 방식은 고저각이 증가하더라도 적은 오차를 확인할 수 있었다. 고저각의 경우 80° 근처에서 기존 대비 99% 이상 감소한 RMS 오차를 보여주면서 추적 성능의 향상됨을 확인할 수 있었다.
4. 결론
본 연구에서는 2자유도 김발 시스템의 구조적 제약으로 인해 발생하는 추적 오차 문제를 해결하고자 가상 축 회전을 적용한 회전 행렬 기반의 추적 오차 생성 방법을 제안하였다. 기존 방식은 영상 좌표계에서 IFOV를 활용하여 계산된 각도 오차를 김발의 방위각 및 고저각 제어 입력으로 직접 적용하는 방식으로 구현이 간단하고 계산 비용이 낮다는 장점이 있다. 그러나 고저각이 큰 자세, 특히 ±90° 근접 영역에서는 김발 좌표계와 영상 좌표계 간의 정렬 오차가 심화되어 안정적인 추적이 어렵다는 문제가 존재한다. 이를 극복하기 위해 제안된 방법은 영상 기반 오차를 회전 행렬로 표현하고 이를 김발 좌표계 기준으로 변환한 뒤 추가적인 가상 Y축 회전을 삽입하여 회전 행렬의 기구학적 조건을 만족하도록 보정하는 방식이다. 해당 보정 절차를 통해 김발의 제한된 2자유도 내에서도 정렬된 회전 명령을 생성할 수 있으며 실제 구동 가능한 제어 입력으로 변환하는 것이 가능하다.
Simscape 기반의 시뮬레이션을 통해 기존 방식과의 성능을 비교한 결과 방위각 및 고저각 추적 성능에서 제안 방식이 우수한 추적 성능을 나타냈다. 이러한 결과는 제안된 가상 축 회전이 적용된 회전 행렬 기반 추적 오차 생성 방법이 고저각이 큰 환경이나 특이점 부근에서도 구조적 제약 없이 신뢰성 높은 추적 성능을 제공할 수 있음을 시사한다. 본 연구의 접근법은 향후 다자유도 김발 시스템으로의 확장뿐 만 아니라 정밀 시선 제어가 요구되는 다양한 응용 분에서도 효과적으로 적용될 수 있을 것으로 기대된다.
Fig. 1Conventional image tracking system of gimbal
Fig. 2(a) Definition of coordinate systems for 2-DOF gimbal, (b) Definition of coordinate systems for 2-DOF gimbal LOS, (c) Definition of coordinate systems for 2-DOF gimbal LOS target
Fig. 3Comparison of coordinates with temporary axis and not
Fig. 4Simscape simulation block. (a) Gimbal tracking system, (b) Gimbal tracking system with rotation matrix, temporary rotation, (c) Target simulator
Fig. 5Simscape simulation target motion. (a) AZ 30°, EL 0° and (b) AZ 30°, EL 80°
Fig. 6Simulation result (a) Tracking result at initial position AZ 30°, EL 0°, (b) Tracking result at initial position AZ 30°, EL 80°, and (c) Image coordinate tracking results
Fig. 7Tracking RMS error of azimuth and elevation angles
REFERENCES
- 1. Hilkert, J., (2008), Inertially stabilized platform technology concepts and principles, IEEE Control Systems Magazine, 28(1), 26-46.
- 2. Ekstrand, B., (2001), Equations of motion for a two-axes gimbal system, IEEE Transactions on Aerospace and Electronic Systems, 37(3), 1083-1091.
- 3. Seo, H., Park, J., Ahn, J.-H., (2018), Los moving algorithm design of electro-optical targeting pod for joystick command, The Transactions of The Korean Institute of Electrical Engineers, 67(10), 1395-1400.
- 4. Baek, W., Park, J., Ahn, J., Lee, J., (2014), Design of the step-stare image gathering system for an aerial reconnaissance, Journal of the Korean Society for Precision Engineering, 31(9), 813-820.
- 5. Ahn, J., Baek, W., Park, J., (2011), A design of 3-axis gimbaled LOS stabilization system for an avionic EO/IR system, Proceedings of the Information and Control Symposium. 199-200.
- 6. Choi, D. G., Park, J. Y., Ahn, J. H., (2020), Design of line of sight stabilization controller gimbaled system on aircraft, Proceedings of the Information and Control Symposium. 444-445.
- 7. Park, J. Y., Kim, D. H., Ahn, J. H., (2018), Servo controller design for 3-axis gimbal line of sight stabilization electro-optic system, Proceedings of the Information and Control Symposium. 205-206.
- 8. Shin, S. C., Moon, H. C., Park, J. Y., Lee, S., (2019), LQG optimal controller design of 2-axis gimbal servo system for line of sight stabilization, Proceedings of the Information and Control Symposium. 164-165.
- 9. Skoglar P.. 2002;Modelling and control of IR/EO-gimbal for UAV surveillance applications. https://www.diva-portal.org/smash/record.jsf?dswid=-5495&pid=diva2%3A18600.
- 10. Wongkamchang, P., Sangveraphunsiri, V., (2008), Control of inertial stabilization systems using robust inverse dynamics control and adaptive control, Science & Technology Asia, 20-32.
- 11. Lee, D.-H., Tran, D.-Q., Kim, Y.-B., Chakir, S., (2020), A robust double active control system design for disturbance suppression of a two-axis gimbal system, Electronics, 9(10), 1638.
- 12. Altan, A., Hacıoğlu, R., (2020), Model predictive control of three-axis gimbal system mounted on uav for real-time target tracking under external disturbances, Mechanical Systems and Signal Processing, 138, 106548.
- 13. Choi, C. L., Rebello, J., Koppel, L., Ganti, P., Das, A., Waslander, S. L., (2018), Encoderless gimbal calibration of dynamic multi-camera clusters, Proceedings of the IEEE International Conference on Robotics and Automation. 2126-2133.
- 14. Liu, X., Yang, Y., Ma, C., Li, J., Zhang, S., (2020), Real-time visual tracking of moving targets using a low-cost unmanned aerial vehicle with a 3-axis stabilized gimbal system, Applied Sciences, 10(15), 5064.
Biography
- Wonho Choi
Senior Researcher of Hanwha systems Infra-Technology R&D Center. His research interest is motion planning. E-mail:
arccircle@hanwha.com
- Cheonkyu Park
Researcher of Hanwha systems InfraTechnology R&D Center. His research interest is Robotics engineering. E-mail:
dothkyu@hanwha.com
- Geemin Lee
Principal Researcher of Hanwha systems InfraTechnology R&D Center. His research interest is Robotics engineering. E-mail:
geemin@hanwha.com
- Dae Gyu Choi
Principal Researcher of Hanwha systems InfraTechnology R&D Center. His research interest is LOS stabilization control. E-mail:
Daegyu.choi@hanwha.com
