ABSTRACT
In this paper, we would like to introduce an in-line MTF (Modulation Transfer Function) measuring system which is compatible with the automated assembly process line of lens-modules in smartphone cameras. This in-line optical inspection system consists of a resolution chart module, Dual Cono-Scope Telecentric Lenses, imaging lenses, and a single detector. Unlike conventional measuring devices with many cameras that are more commonly used in the industry, this device can evaluate the MTF performance without reversing the lens module in an upside down position by applying a reverse projection method. So, it is possible to measure MTF for the full-fields of the lens module from any arbitrary desired positions, as well as the designated positions by using a single camera. This makes it compatible with the equipment of the automated production process line for lens modules. We will expect that the lens module production line will be diversified and fully automated through the application of this in-line optical inspection system.
-
KEYWORDS: Lens module, Modulation transfer function, Spatial frequency response
-
KEYWORDS: 렌즈 모듈, 변조전달함수, 공간주파수응답
NOMENCLATURE
Modulation Transfer Function
Spatial Frequency Response
1. 서론 및 연구 배경
렌즈 모듈, 액츄에이터, IR 필터, 이미지 센서, 그리고 PCB 기판으로 구성된 카메라 모듈은 스마트폰과 같은 개인 모바일 기기뿐만 아니라 자율주행을 위한 자동차, 무인 드론, 보안용 CCTV, 진단 및 수술 보조용 의료용 로봇 등 다양한 분야에서 활용되고 있다.
1,2 최근 스마트폰의 카메라 모듈은 하드웨어의 핵심 부품이라 불리는 만큼 사진 및 동영상의 촬영 용도뿐만 아니라 홍채 인식, 3D 센싱 등 다양하게 활용하고 있다.
2,3 카메라 모듈의 성능을 향상시키기 위한 다수의 렌즈 모듈이 결합된 트리풀 및 쿼드러플 등의 멀티 카메라의 도입과 고배율의 광학줌 기능이 적용된 새로운 스마트폰들이 출시되면서 카메라 모듈 뿐만 아니라 렌즈 모듈의 시장성도 동반 성장하고 있다.
2-5
카메라 모듈의 성능에 큰 영향을 미치는 렌즈 모듈은 물체의 이미지를 센서로 전달하는 핵심 부품으로 내부의 공간 및 내구성으로 인하여 다수의 플라스틱 비구면 렌즈로 조립한다.
6,7 경통정렬기, 렌즈조립기, 경화기의 공정 순서로 조립하는 렌즈 모듈은 카메라 모듈 시장의 성장 추이에 따라 생산량이 점점 증가하고 있고, 고품질의 생산을 위하여 이물 검사 및 해상력에 대한 전수검사를 진행하고 있다.
8-10 가장 보편적으로 사용하고 있는 렌즈모듈의 해상력 검사 방법은 MTF (Modulation Transfer Function) 측정법이다.
8,11 이 방법은 렌즈의 특성을 쉽게 파악할 수 있어 렌즈 모듈의 전수 검사를 진행할 때 보편적으로 사용하고 있다.
생산량의 증대에 따른 전수 검사량이 점점 증가하고 있음에도 불구하고, 렌즈 모듈은 생산라인의 장비들과 호환되지 않는 별도의 분리된 MTF 측정 장치를 사용하여 검사를 진행하고 있다. 일반적으로 널리 사용하고 있는 MTF 측정 장비는 다수의 카메라를 이용하여 렌즈 모듈의 MTF를 측정하는 방식이다.
8 이 장비는 꾸준한 업그레이드를 통해 측정의 신뢰성은 높지만 구조적인 특징으로 인하여 경통정렬, 렌즈조립, 경화, 해상력 검사, 그리고 외관 검사 순서로 진행되는 렌즈 모듈의 자동화 생산라인 장비들과 호환이 어렵다. 조립라인의 장비들과 호환이 되지않는 가장 큰 이유는 측정 샘플을 상·하로 반전하여 수동으로 로딩 및 언로딩을 하고 있기 때문이다. 또한 장비의 공간적인 한계에 따른 카메라 설치 수량의 제약으로 인하여 지정된 검사 위치에서만 MTF 성능을 평가할 수 있고, 렌즈 모듈의 변경 시 각 검사 위치별로 카메라를 재설치해야 하는 번거로움이 따른다.
본 논문에서는 양방향의 듀얼 텔레센트릭 코노스포프 렌즈를 사용함으로써, 역투영 방식의 검사광학계가 적용된 프로토 타입의 MTF 검사시스템을 개발을 완료하였다. 이 시스템은 렌즈 모듈의 측정 위치에 카메라를 설치하는 기존의 방법과 달리 단일카메라의 사용으로 렌즈 모듈의 전체 필드에 대한 MTF를 측정할 수 있다. 역투영 방식의 검사광학계를 적용된 이 시스템은 MTF 검사 위치 설정에 대한 편의성을 향상할 뿐만 아니라 카메라 설치에 대한 공간적인 한계를 극복할 수 있다. 또한 렌즈 모듈의 생산라인 장비들과 호환되어 공정라인을 다양화할 수 있다.
2. 연구 목표 및 실험 장치 구성
2.1 연구 목표
앞서 설명하였듯이 렌즈 모듈 생산라인의 공정 흐름은
Fig. 1과 같이 경통정렬기, 렌즈조립기, 경화기, 그리고 성능검사기의 순서로 진행한다. 최근 일체형 조립기가 개발되고 있지만 렌즈 모듈의 MTF 검사는 생산라인과 분리된 별도의 장치를 사용하고 있다.
8,9 기존의 렌즈 모듈 조립 공정은 완전자동화가 불가능하여 생산성에 저해 요인이 된다. 본 논문에서는
Fig. 3과 같은 역투영 방식의 검사광학계가 적용하여 렌즈 모듈의 생산라인과 호환 가능한 인라인 검사 장비 개발을 목표로 연구를 진행하였다.
Fig. 1Schematic diagram of the existing lens module assembly line
이 시스템은 인라인 방식으로 렌즈 모듈의 MTF를 검사할 수 있기 때문에
Fig. 2와 같이 렌즈 모듈 생산라인의 완전자동화뿐만 아니라 조립공정라인을 다양화할 수 있는 장점을 가지고 있다. 또한 다수의 카메라 설치하여 스마트폰 렌즈 모듈의 MTF를 검사하는 기존 장비와 달리 역투영 방식의 검사광학계를 적용함으로써 단일카메라의 사용만으로도 공간적인 한계점을 극복할 수 있다. 따라서 MTF 검사 위치 설정에 대한 편의성 향상뿐만 아니라 사용자가 원하는 임의의 검사 위치에서도 MTF를 측정할 수 있는 장점이 있다.
Fig. 2Schematic diagram of the newly applied lens module assembly line using In-line measurement system; The converted exiting lens module assembly line (Up); The diversified lens module production line (Down)
2.2 실험 장치 구성
본 논문에서는 단일 카메라를 통해 획득한 1장의 해상력 차트 이미지로 렌즈 모듈의 전체 필드에 대한 MTF 성능 검사를 진행할 수 있는 시스템을 개발하기 위하여,
Fig. 3과 같이 측정대상인 렌즈 모듈을 기준으로 상부에 해상력 차트 모듈과 하부에 검사광학계로 구성하였다.
Fig. 3Schematics of inspection optics to measure MTF of lens module
해상력 차트 모듈은 조명광학계와 포토리소그래피 공정으로 제작된 차트로 구성하였다. LED 광원을 균일한 분포로 산란시켜 해상력 차트에 조명하기 위하여 파이프 렌즈와 광학 디퓨저를 사용하여 조명광학계를 제작하였다. 이 조명은 측정 대상인 렌즈 모듈의 센서면에 위치한 해상력 차트에 분포된다. 렌즈 모듈의 센서면에 해상 차트를 정위치시킬 수 있도록 해상력 차트 모듈은 스텝 모터로 구성된 오토 포커싱 장치에 장착하였다.
검사광학계는 렌즈 모듈의 화각(Field of View)을 최대 90°까지 측정할 수 있는 대칭 구조로 이루어진 듀얼 텔레센트릭 코노스코프 렌즈(OneStone, DTCL-9012), 결상 렌즈, 그리고 CMOS 카메라로 구성된 일체형으로 제작하였다. 해상력 차트 모듈과 측정 대상에 의해 투영된 차트의 이미지는 첫 번째 텔레센트릭 렌즈에 의해 확대되어 투영된 후, 대칭 구조로 배치된 두 번째 텔레센트릭 렌즈를 통해 원래의 차트의 이미지로 다시 축소 투영된다. 이 투영된 해상력 차트의 이미지는 결상 렌즈와 CMOS 카메라를 통해 최종적으로 렌즈 모듈의 전체 필드에 대한 이미지를 획득할 수 있다.
3. MTF 분석프로그램
렌즈의 전달 특성인 MTF를 평가하는 대표적인 방법은 공간주파수가 주기적으로 연속되는 패턴의 MTF 차트를 이용하여 해당 주파수 대역에서 MTF를 직접적으로 측정하는 방법과 포인트, 라인, 그리고 엣지 등의 슬릿 차트를 이용하여 디지털 푸리에 변환을 통한 시스템의 임펄스 응답(Impulse Response)을 분석하는 방법이 있다.
7,11,12,14 영상처리시스템에서는 임펄스 응답을 분석하는 방법은
Fig. 4와 같이 점 확산 함수(Point Spread Function, PSF), 선 확산 함수(Line Spread Function, LSP), 그리고 간선 확산 함수(Edge Spread Function, ESP)를 이용하여 공간주파수응답(Spatial Frequency Response, SFR) 특성을 측정한다.
13,14
Fig. 4 Schematics of inspection optics to measure MTF of lens module
개발된 인라인 MTF 검사시스템은 선 확산 함수에 대한 공간주파수응답 특성을 측정할 수 있도록 하여 고속으로 렌즈 모듈의 성능을 평가할 수 있다.
검사광학계를 통해 결상된 해상력 차트 이미지에서 각 검사 위치에 해당하는 측정 샘플인 렌즈 모듈의 MTF는 공간주파수(
f)의 광강도 분포인 휘도비(Contrast Ratio)로
식(1)에 의해 측정할 수 있다.
11-14
여기에서 C(0)는 디지털 푸리에 변환에 의해 제로 패딩된 정규화된 주파수 성분에 해당한다.
3.1 MTF 분석프로그램 개발
공간주파수 분석 알고리즘을 바탕으로 렌즈 모듈의 MTF 분석을 위하여 C++ 기반의 GUI 프로그램을 개발하였다. 이 GUI 프로그램은
Fig. 5와 같이 렌즈 모듈의 측정 위치를 설정할 수 있고, 각 설정된 위치에서 MTF를 분석할 수 있다. 측정 위치의 설정은 검사광학계를 통해 획득한 해상력 차트의 이미지에서 사용자가 원하는 임의의 위치를 추가하거나 제거할 수 있다. 각각의 측정 위치는 해상력 차트 영상을 기반으로 측정 위치 및 길이를 세팅할 수 있고, 해상력 차트의 각도, 각 측정 위치의 중심이동, 그리고 배율 등은 자동으로 계산될 수 있도록 구현하였다.
Fig. 5GUI program for setting the measurement position of lens module
공간주파수응답(SFR) 방식으로 MTF를 측정하는 일련의 과정을 쉽게 알 수 있도록 데이터 샘플링, 정규화된 데이터 처리, 그리고 선택 위치에서 측정값을 그래프로 처리하였다. 사용자가 원하는 임의의 측정 위치에 대한 설정이 마무리되면 각 필드별로 측정 위치에 대한 MTF 측정 결과를 그래프화하여 조립된 렌즈 모듈의 MTF 특성을 알 수 있도록 하였다.
또한, 렌즈 모듈 생산라인 장비와의 물류 동기화를 함으로써, 검사 이전의 공정에서 진행된 렌즈 모듈 조립 데이터를 바탕으로 필요한 부분만 측정할 수 있도록 GUI 프로그램을 구현하였다.
4. 실험 결과 및 결론
그리드 형상의 해상력차트가 장착된 검사시스템은 공간 주파수 분해능은 1.01 lp/mm (Line pair/mm), 최대 공간 주파수는 516 lp/mm의 사양으로 렌즈 모듈을 측정하는 것을 확인하였다. MTF 분석프로그램을 활용하여 렌즈 모듈의 측정 위치는 렌즈의 중심에 1개의 측정점과 0.4, 0.6, 0.8 필드에 각각 4개의 측정점을 설정하였다. 그리고 0.6 필드와 0.8 필드에 해당하는 측정점은 렌즈 모듈의 수평 방향을 중심으로 각각 45°와 22.5°에 위치하여 설정하였다.
Fig. 6은 각 필드에 해당하는 측정점을 해상력 차트의 이미지에 나타낸 것이다.
Fig. 6 The measured points as a function of various field
기존의 개발된 렌즈 모듈 성능 분석 장비는 십자선 모양의 해상력 차트를 사용하여 렌즈 모듈의 광축과 평행하는 자오면(Tangential Plane)과 광축에 수직하는 구결면(Sagittal Plane)에 해당하는 MTF를 측정한다.
8,12
역투영 방식의 검사광학계가 적용된 인라인 MTF 검사시스템은 그리드 형상의 해상력 차트를 사용함으로써, 측정 위치의 자오면과 구결면에 해당하는 MTF를 각각 측정한 후 평균값을 구하였다.
Fig. 7은 이와 같은 방법으로 110 lp/mm에 해당하는 각 필드의 검사 위치에 대한 자오면과 구결면의 MTF를 10회 반복 측정한 결과이다.
Fig. 7 MTF results measured at the (a) Center field, (b) 0.4 field, (c) 0.6 field, and (d) 0.8 field
각 필드의 검사점에 대한 MTF를 분석한 결과, 각 측정 위치에서 자오면과 구결면에 해당하는 MTF 측정 결과는 ±1% 오차범위 내에서 반복적으로 측정하고 있음을 확인하였다. 하지만 렌즈 모듈의 중심부를 제외한 MTF 수치가 전반적인 낮게 측정되고 있고, 자오면보다 구결면에 해당하는 MTF 수치가 상당히 높게 나타난 문제점을 발견하였다. 이는 검사광학계에 따른 왜곡 및 각 수차에 의한 현상으로 판단한다.
향후 검사광학계의 보완을 통해 발생된 문제점을 개선하고, 시스템을 보정함으로써 산업계에 가장 많이 사용하고 있는 렌즈 모듈 평가 장비와의 비교 분석을 진행하여 장비의 신뢰성을 확보할 계획이다. 그래서 단일 카메라의 사용만으로 렌즈 모듈 생산라인의 다양화와 완전자동화를 실현할 수 있을거라 기대한다.
ACKNOWLEDGMENTS
본 연구는 산업통상자원부의 우수기업연구소 육성사업(ATC+)의 지원으로 수행되었습니다(No. 20009592).
REFERENCES
- 1.
Kim, H. T., Kang, S. B., Kang, H. S., Cho, Y. J., Park, N. G., et al., “Automatic Focus Control for Assembly Alignment in a Lens Module Process,” Journal of the Korean Society for Precision Engineering, Vol. 27, No. 2, pp. 70-77, 2010.
- 2.
- 3.
LG Inootek, “Camera Module for Mobile,” http://www.lginnotek.co.kr/itk_product/camera-module-for-mobile (Accessed 8 APRIL 2021)
- 4.
Choi, D., “Analysis and Suggestion of Smartphone Authentication Scheme Using Biometrics,” Asia-Pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 8, No. 1, pp. 875-885, 2018.
- 5.
Lee, H. J., “IT Market Trends,” The Journal of Korean Institute of Information Technology, Vol. 16, No. 2, pp. 1-6, 2018.
- 6.
TY, Kim., “Latest Technology Trend-Electronic Camera Lens Technology Trend,” The Optical Journal, Vol. 132, pp. 41-45, 2011.
- 7.
Park, H. J., Shin, H. S., and No, Y. H., “Development of Measuring System for Camera Lens Resolution based on the MTF Performance,” Proc. of the KSPE Spring Conference, pp. 629-634, 2000.
- 8.
- 9.
- 10.
- 11.
Che, G. S., Jang, W. S., and Oh, J., “A Study on the MTF of Optical System with Optical Path Difference,” The Journal of Advanced Navigation Technology, Vol. 16, No. 3, pp. 518-525, 2012.
10.12673/jkoni.2012.16.3.518
- 12.
Lee, Y. W., Cho, H. M., Lee, I. W., Hong, K. H., and Lee, H. G., “Design and Fabrication of Real-Time Lens Testing System,” Korean Journal of Optics and Photonics, Vol. 6, No. 1, pp. 8-15, 1995.
- 13.
Bauer, M., Volchkov, V., Hirsch, M., and Schcölkopf, B., “Automatic Estimation of Modulation Transfer Functions,” Proc. of the IEEE International Conference on Computational Photography, pp. 1-12, 2018.
10.1109/ICCPHOT.2018.8368467
- 14.
Lee, Y. W., Cho, H. M., Lee, I. W., Park, T. H.. Yun, S. G., et al., “CCD Scanning Type MTF Measuring System for Microlens Arrays,” Korean Journal of Optics and Photonics, Vol. 5, No. 3, pp. 364-371, 1994.
Biography
- Sangseon Lee
Researcher in Korea Institute of Industrial Technology.
- Hojae Lee
Senior Researcher in Korea Institute of Industrial Technology.
Citations
Citations to this article as recorded by
- Fabrication and Characterization of Automotive Aspheric Camera Lens Mold based on Ultra-precision Diamond Turning Process
Ji-Young Jeong, Hwan-Jin Choi, Jong Sung Park, Jong-Keun Sim, Young-Jae Kim, Eun-Ji Gwak, Doo-Sun Choi, Tae-Jin Je, Jun Sae Han
Journal of the Korean Society for Precision Engineering.2024; 41(2): 101. CrossRef - SEM Image Quality Improvement and MTF Measurement Technique for Image Quality Evaluation Using Convolutional Neural Network
Chan Ki Kim, Eung Chang Lee, Joong Bae Kim, Jinsung Rho
Journal of the Korean Society for Precision Engineering.2023; 40(4): 275. CrossRef
