주행 중 터널 라이닝의 미세 균열검출이 가능한 영상 촬영 시스템 및 기법 개발

Development of Video Shooting System and Technique Enabling Detection of Micro Cracks in the Tunnel Lining while Driving

Article information

J. Korean Soc. Hazard Mitig. 2018;18(5):217-229
Publication date (electronic) : 2018 August 31
doi : https://doi.org/10.9798/KOSHAM.2018.18.5.217
*Member, Director, Research&Development Division, TAEMYUNG Engineering, Construction & Consulting
**President, TAEMYUNG Engineering, Construction & Consulting
김인수*, 이철희**
*정회원, (주)태명이씨앤씨 기술연구소 소장
**(주)태명이씨앤씨 대표이사
교신저자, 정회원, (주)태명이씨앤씨 기술연구소 소장(Tel: +82-70-5029-1711, Fax: +82-70-4009-2284, E-mail: iskim@tmecnc.co.kr)
Received 2018 January 18; Revised 2018 January 23; Accepted 2018 May 8.

Abstract

터널 내부 라이닝 상태를 점검하는 방법은 비계 또는 사다리차 등을 이용하여 점검자가 직접 육안으로 상태를 확인하는 것인데, 이는 점검자의 안전사고 위험성이 상존하고 점검자 숙련도에 따라 상이한 결과가 도출되어 일관성 있고 신뢰할 만한 평가결과를 기대하기 어렵다. 본 연구에서는 차량을 이용하여 주행 중 터널 내부 라이닝 결함 상태(균열, 박리, 박락, 백태, 누수 등)를 촬영할 수 있는 전용 차량을 개발하고 터널 라이닝의 0.1 mm 이상 균열폭 인식이 가능한 영상 촬영 기법을 개발하여, 기존 시설물 점검 방식에 비해 안전관리 차량과 인원을 줄일 수 있고 결함 검출 정확도를 향상시키며 작업시간을 단축시킬 수 있는 방법을 제안하였다. 이러한 영상 시스템 및 촬영기법은 안전점검 비용과 차량 통제로 인한 사회적 비용을 절감시킬 수 있고, 객관적인 결함상태를 포함한 전구간 데이터 확보를 통해 터널 라이닝의 상태를 정확히 판단할 수 있을 것으로 예상된다.

Trans Abstract

The current approach for evaluating the condition of the inner lining of a tunnel is for inspectors to visually assess the state of the tunnel by being located on a scaffold or in an inspection car. However, it is difficult to expect consistent and reliable evaluation results owing to the risk of safety accidents of inspectors and the subjectivity of the results depending on the inspectors' proficiency. In this study, we developed a special vehicle that could shoot the defects (cracks, spalling, desquamation, white coating, leakage, etc.) on the tunnel lining while operating, and a method to recognize and detect cracks width of 0.1 mm or more. Thus, we proposed a method that could reduce the number of safety management vehicles required, labor cost, and work time, compared to those of existing tunnel inspection methods, and improve the fault detection accuracy. It is expected that such imaging systems and imaging techniques can reduce the cost of safety inspection and the social costs of vehicle control, and accurately determine the state of tunnel lining by securing data for the entire tunnel including the objective defect status.

1. 서 론

모든 구조물은 구조적, 환경적 요인 등으로 인하여 시간이 경과하면 열화 및 손상이 발생한다. 또한 터널 구조물은 준공 단계부터 유지관리를 철저하게 실행하지 않으면, 공용기간 중 균열, 박리, 백태, 누수 등과 같은 손상이 심하게 발생할 수 있다. 노후화되는 터널 구조물의 기능을 유지하고 설계 수명을 확보하기 위해서는 정기적인 점검을 통하여 현재의 상태를 파악하고 진단할 수 있는 적절한 유지관리 시스템이 필요하다. 지금까지 건설기술의 개발측면에서 설계 및 시공기술의 개발에 역점을 두어왔기 때문에 기존 구조물의 유지관리에 대한 관심도가 상대적으로 낮아 유지관리 기술은 설계 및 시공기술에 비해 낙후되어 있는 실정이다. 그러므로 터널의 유지관리를 경제적이고 효과적으로 수행하기 위해 유지관리의 전산화, 체계화, 그리고 점검데이터의 디지털화가 무엇보다도 중요하며, 현재 진화하고 있는 컴퓨터 비전 기술, 계측장비, 안전평가방법, 보수‧보강 방법 등을 이용하여 체계적인 의사결정 방법으로 해결할 수 있는 합리적인 유지 관리 시스템의 도입 및 운영이 요구된다. 그러나 현재 터널 내부 라이닝 상태를 점검하는 방법은 비계 또는 사다리차 등을 이용하여 점검자의 숙련도에 따라 상이한 결과가 도출되어 일관성 있고 신뢰할 만한 평가결과를 기대하기 어렵다. 따라서 안전관리 차량과 인원을 줄일 수 있는 방법과 작업시간을 단축시킬 수 있는 방법, 그리고 객관적 결함 정보 데이터 확보를 위한 연구개발이 필요하다.

국외의 선행연구로 유로연합의 ‘ROBO-SPECT’ Project는 컴퓨터 비전 기술과 로봇의 지능 제어 및 능동 학습 기능을 이용하여 터널 라이닝의 검사 및 구조 평가를 한 번에 수행가능한 시스템을 개발하는 것으로, 터널의 구조적 상태와 안전성을 자동으로 신속하게 평가하는 기술을 제시하고 있으나, 검사를 진행하려면, 터널을 장시간 폐쇄시켜야 하므로 도로 터널에는 적용이 불가능하다. 미국의 Dibit Measuring Technique의 ‘TSC Tunnel Scanner’는 특정 시간에 터널 내부를 시각적이고 기하학적인 이미지를 제공하여, 쉽고 빠르게 터널 정보의 평가가 가능하나 장시간 터널을 통제해야 한다. 일본 計測検査㈜의 주행형 계측 차량 ‘MIMM-R’은 교통 통제 없이 70 km/h 속도로 주행하면서 카메라, 레이저, 레이다 장치로 터널 내부를 분석하여 계측 속도의 고속화 및 계측 제어의 자동화로 현장에서 작업 시간을 단축시킬 수 있는 성능을 가진 것으로 확인하였다.

국내의 선행연구로는 터널의 외부 및 내부의 결함을 이동이 가능한 적외선 카메라를 이용하여 열화상 계측을 수행하는 기법으로 국부적 위치에서의 적절한 결함패턴을 신속히 검침하여 안전진단의 가능함을 제시하였다(Han et al., 2004). Jee et al. (2004)은 터널 외관 자동조사 시스템을 이용한 실태와 촬영 영상물에 의한 외관조사 품질의 적정성과 활용성에 대해 조사 및 분석하고 고속철도 터널에 적용 방안을 제시하였다. Kim (2004)은 약 20 km/h의 속도로 이동하며 터널의 영상을 촬영하고 이를 저장할 수 있는 터널 표면의 균열 점검 시스템 개발을 통해 미세한 균열에 대한 정밀 측정이 가능한 방법을 제안하였다. Lee (2006)는 3CCD 카메라를 통해 콘크리트 균열화상을 얻고 이를 PC로 분석할 수 있는 시스템을 구축하고자 하였으며, 균열의 폭, 길이, 그리고 방향을 과학적으로 측정하는 기법과 균열의 패턴을 과학적으로 인식할 수 있는 기법을 제시하였다. Sagong et al. (2006)은 레이저 스캐너를 이용하여 터널 스캐닝 시스템을 제작하고 이를 바탕으로 실제 공용중인 여러 형상 및 크기의 터널에 대한 스캐닝을 수행하여 적용성을 확인하였다.

기존 국내⋅외 선행연구는 열화상 카메라나 CCD 라인 카메라, 레이저 스캐너 등을 이용하여 터널 내 결함상태를 영상 확보 위주로만 연구가 진행되었을 뿐, 0.1 mm 미세균열폭에 대한 자세한 검출 방법 등은 제시되지 않은 실정이다. 또한 국내 선행연구에서는 도로터널인 경우 준공 전 차량이 통행하지 않는 경우에 저속으로 촬영하거나, 철도터널의 경우 철도 운행이 정지된 시간대를 이용하여 촬영할 뿐, 실제 공용중인 상태에서 주행하면서 촬영하는 내용은 제시되어 있지 않았다. 따라서 본 연구에서는 차량을 이용하여 주행 중 도로 터널 내부 라이닝 결함상태(균열, 박리, 박락, 백태, 누수 등)를 촬영할 수 있는 시스템과 실제 촬영 및 성능 평가를 통해 터널 라이닝의 0.1 mm 이상 균열폭 인식이 가능한 최적의 영상촬영 시스템 및 촬영기법을 제안하고자 한다.

2. 터널 안전점검 기준 검토

2.1 터널 안전점검 기준

국내의 터널 안전점검 관련 기준은 ‘시설물의 안전점검 및 정밀안전진단 실시 등에 관한 지침(국토교통부 고시, 제2016-807호, 2016.12.6.)’에서 규정하고 있으며, ‘Guidelines for the Safety Inspection and Precision Safety Diagnosis (MOLIT, 2017)’에서 세부사항에 대해 기술하고 있다. ‘제2장 터널’ 편에서는 현장조사 방법, 재료시험 항목 및 수량, 상태평가 기준 및 방법, 안전성평가 기준 및 방법, 종합평가 기준 및 방법, 보수 보강 방법에 내용이 기술되어 있다. 특히, 터널의 점검항목 및 상태평가 기준을 제시하여, 점검항목 별 평가를 통해 터널의 상태등급을 산정할 수 있도록 하고 있다(Tables 1, 2). 일본의 터널 점검 기준은 ‘道路トンネル維持管理便覧(日本道路協会)’, ‘Regular Inspection Method of Road Tunnel(道路トンネル定期点検要領) (MLIT, 2014.6)’에서 터널 점검의 절차와 방법, 손상에 대한 판단 및 건전성의 진단 등을 제시하고 있다(Tables 3, 4). 미국의 터널 점검 기준은 ‘Specifications for the National Tunnel Inventory (FHWA, 2015)’에서 터널 점검 항목, 세부 요소, 터널 코딩 등에 대한 상세 내용을 기술하고 있다(Table 5). 본 연구에서는 현장조사 방법 중 촬영 장비를 통한 영상 데이터를 활용하여 0.1 mm 이상의 균열 등 결함정보를 획득하는 기법을 개발하는 것이며, 이를 통해 획득한 영상 데이터를 이용하여 터널의 상태평가를 수행할 수 있는 방법을 제시하고자 한다.

Inspection Item for Tunnel (Korea)1)

Assesment Standards for Crack Condition (Korea)2)

Inspection Item for Tunnel (Japan)3)

Assesment Standards for Tunnel Crack (Japan)4)

Specification of Condition State for Tunnel (U.S.A)5)

2.2 기존 터널 안전점검 방법

현재 도로 터널 안전점검 방법 중에서 현장조사는 주행중인 차량을 통제하고 비계 또는 사다리차 등을 이용하여 점검자의 육안에 의존한 방법을 사용하고 있다(Fig. 1). 이러한 방법은 장시간 차량 통제에 따른 사회적 비용의 증가와 대규모 인력 및 장비 투입에 따른 경제적 손실을 야기할 뿐만 아니라, 점검자 및 통행자의 안전사고 위험성도 상존하게 된다. 그리고 점검자의 숙련도에 따라 상이한 결과가 도출되어 일관성 있고 신뢰할 만한 평가결과를 기대하기 어렵다. 따라서 본 연구에서는 안전관리차량과 인원을 줄이고 작업시간을 단축시킬 수 있으며, 객관적 결함정보 데이터 확보가 가능한 주행 중 터널 라이닝의 영상 데이터를 획득하는 방법을 제시하고자 한다.

Fig. 1

The Existing Tunnel Field Inspection

3. 터널 라이닝 영상 촬영 장비

0.1 mm 균열 등 결함정보를 획득하기 위해서는 고품질의 영상 데이터 확보가 가능한 영상 촬영 장비가 구비되어야 한다. 터널 영상 촬영 장비는 터널의 영상을 획득하는 다수의 카메라, 일정 밝기(명도) 이상의 영상을 획득하기 위한 다수의 조명시설, 그리고 다수의 카메라와 조명시설의 각도를 제어하는 팬 틸트 헤드 및 컨트롤러, 촬영된 영상을 저장할 수 있는 장치, 촬영 중 모니터링이 가능한 장치, 터널벽면과의 거리유지를 위한 주행기준장치(거리측정기), 전원 공급 장치 등으로 구성된다. 또한 다수의 카메라와 조명시설, 팬 틸트 헤드를 차량에 장착할 수 있는 프레임과 브래킷이 설치되고, 여러 장치 및 부속품 등을 외부 환경으로부터 보호할 수 있는 덮개나 보호장치를 설치할 수 있다(Fig. 2).


Fig. 2

Video Shooting Equipment for Tunnel Lining

3.1 영상 촬영 장치(카메라)

영상 촬영 장치는 정지영상 및 동영상 촬영이 가능한 카메라를 선택해야 하며, 촬영 영상 데이터는 0.1 mm 균열 및 결함 확인이 가능한 화소(pixel)를 보유해야하므로, 본 연구에서는 Ultra HD급(4K; 약 830만 화소) 이상의 해상도로 정지영상 및 동영상 촬영이 가능한 제품을 사용하였다. 고품질의 영상을 확보하기 위해서 카메라는 흔들림이나 젤로 현상(Jello Effect)이 적어야 하며, 이동 중 촬영이 용이해야 한다. 또한 촬영 거리에 따라 균일한 촬영 면적을 촬영할 수 있어야 하므로, 촬영 거리에 따른 렌즈 선택이 용이한 제품이어야 한다(Table 6 and Fig. 3).

Performance Comparison of Area Camera (4K), CCD Line Sensor Camera, Laser Scanner, Infrared Camera


Fig. 3

Concept for Camera Device

3.2 조명시설

0.1mm 균열 등을 인식할 수 있는 고품질의 영상 데이터를 획득하기 위해서는 카메라 촬영시 충분한 광량이 필요하며, 터널의 상태와 촬영 거리에 따라 적합한 조명시설을 설치해야 한다(Fig. 4). 빛을 내는 방식에 따라 LED, 형광, 할로겐, 백열 등을 사용할 수 있으나, 본 연구에서는 충분한 광량과 전력 효율 및 빛 손실이 적은 LED 방식(출력 300 W/개)의 조명시설 10개를 촬영에 사용하였다.


Fig. 4

Lighting

3.3 주행기준장치

터널 라이닝 영상 촬영 방법은 운전자가 터널 벽면과의 간격을 유지하며 일정하게 주행하면서 촬영해야 한다. 그렇지 하지 않으면 균일한 면적을 촬영하지 못하게 된다. 따라서 정밀한 조향정보를 제공하고 일정하게 촬영되지 않은 영상에 대한 스케일 보정을 위해서 주행기준장치를 설치해야 한다(Fig. 5). 본 연구에서는 레이저 거리측정기, 초음파 거리측정기, 차선촬영용 디지털 카메라로부터 획득되는 멀티채널 정보를 분석하여 터널 벽면과의 간격을 일정하게 유지하는 방법을 적용하였다.


Fig. 5

Concept for Driving Reference System

3.4 카메라 촬영 각도 컨트롤러

촬영 횟수에 따라 한 대의 카메라가 촬영하는 지점은 달라질 수 있다. 따라서 촬영하고자하는 지점의 촬영 각도에 맞추어 카메라를 고정시켜야 하는데, 이 때 필요한 장치가 팬/틸트 헤드(Pan/Tilt Head)이며, 이 장치를 원격으로 제어할 수 있는 컨트롤러가 있어야 한다(Fig. 6). 팬/틸트 헤드 및 컨트롤러는 촬영각도가 1도 미만 단위로 변경되기 때문에 미세 각도 제어가 가능해야 한다. 본 연구에서는 5대의 카메라의 각도를 제어하기 위해서 5대의 팬/틸트 헤드를 설치하고 이를 컨트롤러에 연결하여 각 카메라를 원격으로 제어할 수 있도록 하였다.


Fig. 6

Pan/Tilt Head & Controller

3.5 기타 장치

본 연구에서는 차량에 설치된 카메라가 제대로 촬영지점을 촬영하고 있는지를 차량 내부에서 확인하기 위한 모니터링 장치를 설치하였다(Fig. 7). 또한 영상 촬영시 조명시설 등에 지속적으로 전원을 공급할 수 있는 전원 공급장치와, 영상 촬영시 저장되는 영상 데이터의 원활한 저장을 위하여 대용량 저장장치를 설치하였다.


Fig. 7

Internal Monitoring System

4. 터널 라이닝 영상 촬영 기법

4.1 영상 촬영 시 고려 사항

터널 라이닝에서 영상 데이터를 얻고자 하는 지점을 촬영하기 위해서는 해당 지점의 촬영 면적, 촬영 면적에 따른 촬영 각도 및 거리가 설정되어야 한다. 또한, 라이닝의 수직방향으로 다수의 카메라로 촬영하는 경우에는 촬영 영상 간 수직 정합을 위해서 카메라 간 일정 부분 겹쳐지게 촬영을 해야 한다. 그리고 카메라의 ISO, 셔터스피드, 조리개 값 등을 터널 내부 상황에 맞추어 설정해야 고품질의 영상 데이터를 확보할 수 있다. 본 연구에서는 도로 터널 라이닝의 0.1 mm 균열 인식이 가능한 고품질의 영상 데이터 확보를 위해서 촬영 면적에 따른 촬영 각도 및 거리 산출 방법과 촬영 카메라 대수에 따른 촬영 횟수 및 절차에 대해서 제시하고자 한다. 또한 카메라의 설정값 변화에 따른 성능 테스트 촬영을 통해 최적의 카메라 ISO, 셔터스피드, 조리개 값을 제시하고자 한다.

4.1.1 주행속도

본 연구에서는 차량을 이용하여 주행 중 터널 라이닝 촬영을 실시하였으며, 차량의 주행속도를 20 km/h, 40 km/h로 주행하면서 영상 촬영을 수행하였다. 그 결과 40 km/h로 주행하면서 촬영된 영상보다는 20 km/h로 주행했을 경우에 비교적 양호하고 고품질의 영상을 확보할 수 있었다. 그리고 일정한 주행속도를 유지하기 위해서 차량에 전자식 정속 주행 장치(Auto Cruise Control System)를 설치하여 주행하였다. 40 km/h 주행속도 촬영에서는 정속 주행 장치를 이용하여 차량의 속도를 유지하였으며, 20 km/h 주행속도에서는 운전자가 가속 페달 조종을 통해 주행하였다. 최근 30 km/h 이하에서도 작동하는 정속 주행 장치가 개발 및 판매되고 있어, 향후 저속 정속 주행 장치를 설치하여 30 km/h 이하 속도에서도 좀 더 정교한 정속 주행이 가능하도록 할 예정이다.

4.1.2 촬영 면적

0.1 mm 이상의 균열 검출을 위한 픽셀단위의 영상을 얻기 위해서는 정해진 촬영면적으로 촬영해야한다. 촬영 지점의 면적은 0.5 mm 이상의 균열 등 결함정보를 획득할 경우, 1.0 m×1.0 m으로 촬영하며, 0.1 mm 균열 정보를 획득할 경우에는 0.3 m×0.3 m으로 촬영한다. 카메라 설정에서 4K 동영상 촬영 시, 촬영 지점의 면적은 1.0 m×1.0 m로 촬영할 경우, 영상 데이터의 1 pixel의 크기가 0.35 mm이며, 0.3 m×0.3 m 촬영할 경우에는 영상 데이터 1 pixel의 크기가 0.1 mm를 갖는다(Figs. 8, 9). 이와 같이 촬영하는 이유는 자사가 보유한 균열검출 프로그램이 영상의 pixel 크기 미만의 균열을 검출할 확률이 매우 낮기 때문이다.


Fig. 8

Shooting Area (1.0m×1.0m) & Pixel Size for 0.3mm Crack


Fig. 9

Shooting Area (0.3m×0.3m) & Pixel Size for 0.1mm Crack

균열검출 프로그램의 원리는 촬영된 영상에서 균열과 균열 이외의 객체는 각각의 명도(밝기차이)가 있으며, 일반적으로 균열은 검정색에 가까운 색을 나타내며, 균열로 판단되는 픽셀을 이용하여 정답 영상을 만들어 인공지능 알고리즘에 학습시키면 자동으로 해당 부분을 균열로 인식한다. 그런데 균열 외에 비슷한 명도를 가진 노이즈(잡음)와 구분하기 위해서 균열의 특징(균열의 명도, 원형도, 면적 대비 둘레, 면적, 직경, 방향성 강도, 직진성, 두께) 및 균열의 각 특징 간의 상관관계를 입력변수로 한 Feed Forward 신경망 기법을 활용한 후처리 과정을 수행하여 노이즈 제거 후 최종 균열을 검출한다.

4.1.3 카메라 촬영 각도 및 거리

촬영 대상 터널의 촬영 지점에 대한 촬영 각도 및 거리 산출은 도면 작성 프로그램을 이용하여 산출한다(Fig. 10). 먼저 촬영 대상 터널의 횡단면도를 검토한 후, 터널 규모에 맞추어 촬영 각도 및 거리를 산출한다. 다음은 고속도로 편도 2차로 표준 터널을 대상으로 카메라 5대를 동원하여 촬영면적 1.0 m×1.0 m로 촬영할 경우, 촬영 각도 및 거리 산출의 순서이다.


Fig. 10

Overview for Shooting Method of Tunnel Lining Inspection Equipment

① 요구 촬영 면적 설정

② AutoCAD 프로그램을 이용하여, 촬영 대상 터널 횡단면도 작성(Fig. 11)


Fig. 11

Tunnel Cross-Section (unit: mm)

③ 터널 횡단면도에 실물 크기 점검 차량 및 카메라 설치 도면 삽입(Fig. 12)


Fig. 12

Drawing for Real Size Inspection Vehicle and Camera Installation Drawing (unit: mm)

④ 터널 라이닝 촬영 구간 횡단 길이 설정(Fig. 12)

⑤ 1번 카메라: 횡단면도상에서 라이닝의 오른쪽 시작점을 기준으로 촬영 면적 설정(Fig. 13, 가로×세로 1 m×1 m)


Fig. 13

First Shootable Lateral Lining Length Calculation and Shooting

⑥ 1번 카메라: 촬영 지점 면적의 중심을 기준으로 카메라 촬영 각도 산출(Fig. 13, 카메라1 37°)

⑦ 1번 카메라: 카메라와 촬영 지점 면적의 중심까지 거리 계산(Fig. 13, 카메라1 2.5 m)

⑧ 2번 카메라: 1번 카메라와 2번 카메라와의 종방향(수직방향) 촬영 구역 겹침 비율 30% 설정

⑨ 2번 카메라: ⑥~⑦번과 동일(Fig. 13, 카메라2 촬영각도 43°, 촬영거리 2.7 m)

⑩ 3번 카메라: 2번 카메라와 3번 카메라와의 종방향 촬영 구역 겹침 비율 30% 설정

⑪ 3번 카메라: ⑥~⑦번과 동일(Fig. 13, 카메라3 촬영각도 53°, 촬영거리 3.0 m)

⑫ 4번 카메라: 3번 카메라와 4번 카메라와의 종방향 촬영 구역 겹침 비율 30% 설정

⑬ 4번 카메라: ⑥~⑦번과 동일(Fig. 13, 카메라4 촬영각도 62°, 촬영거리 3.3 m)

⑭ 5번 카메라: 4번 카메라와 5번 카메라와의 종방향 촬영 구역 겹침 비율 30% 설정

⑮ 5번 카메라: ⑥~⑦번과 동일(Fig. 13, 카메라4 촬영각도 69°, 촬영거리 3.5 m)

⑯ 1~5번 카메라가 동시에 촬영 가능한 1번째 횡방향 라이닝 길이 산출

카메라간 겹침 비율을 30% 이상으로 설정한 이유는 각종방향으로 촬영된 영상을 횡방향으로 영상 정합시 파노라마 생성 프로그램이 영상을 안정적으로 정합할 수 있게 하기 위함이다.

그리고 촬영거리에 따른 카메라 렌지의 초점거리는 다르며, 본 연구에서는 다수의 테스트를 통해 1.0 m×1.0 m 촬영면적에서 3.5 m 미만 촬영거리에서는 초점거리 12∼35 mm 렌즈를, 3.5 m 이상 촬영거리에서는 초점거리 35∼100 mm 렌즈를 사용하였다. 0.3 m×0.3 m 촬영면적에서는 1.2 m 이상 2.8 m 미만 촬영거리에서는 초점거리 35∼100 mm 렌즈를, 2.8 m 이상 촬영거리에서는 100∼300 mm 렌즈를 사용하였다.

4.1.4 촬영 횟수

상기 4.1.3에서 횡방향 라이닝 길이 11.6 m, 1~5번 카메라를 동시 촬영이 가능한 횡방향 라이닝 길이 4.2 m일 경우, 총 3회 주행으로 전 단면의 촬영이 가능하다. 첫 번째 촬영 이후, 2번째 촬영 가능한 횡방향 라이닝 길이를 산출하고 촬영을 수행할 수 있으며, 카메라 촬영 위치를 바꾸어 상기의 1~15번 순서대로 다시 수행한다(Fig. 14). 다음으로 3번째 촬영 가능한 횡방향 라이닝 길이를 산출하고 촬영을 수행하며, 카메라 촬영 위치를 바꾸어 상기의 1~15번 순서대로 다시 수행한다(Fig. 15). 만일, 동일한 터널을 대상으로, 동시 촬영 카메라를 9대 사용할 경우, 2회 촬영 가능하며, 18대를 사용할 경우, 1회 촬영 가능하다. 그러나 편도 2차로 또는 양방 2차로 이상의 터널일 경우, 주행 중 촬영시, 다른 주행 차로의 차량으로 인해 촬영이 불가능할 경우에는 동시 촬영 카메라 수를 조절할 수 있으며, 주행 차로를 옮겨서 촬영할 수 있다. 또한 다른 터널을 대상으로 촬영할 경우에는 해당 터널의 횡방향 라이닝 길이와 상기 4.1.3의 1~5번 카메라 촬영 가능 횡방향 라이닝 길이와 비교하여 촬영횟수를 산출할 수 있다.


Fig. 14

Second Shootable Lateral Lining Length Calculation


Fig. 15

Third Shootable Lateral Lining Length Calculation

4.2 촬영 방법

4.2.1 특수조건에서의 카메라 설정 방법

터널 내부에서 영상 촬영시 카메라 설정은 일반 촬영방법과는 조건이 다르다. 터널 내부는 일반 야외 조건과 다르게 조도가 낮고, 주행 중 촬영하며, 다른 주행차량의 전조등에 의해 조도가 수시로 변화하고, 터널 라이닝에 설치된 시설물(터널 조명, 환기팬, 전선 등)들로 인해 초점 거리가 바뀌는 등 다양한 불확실성이 존재한다. 이러한 변수들을 해결하기 위해서는 카메라의 촬영 설정이 중요한데, 대표적으로 ISO, 셔터스피드, 조리개 값이 있다. ISO는 사진 감광재료의 사진 감도를 나타내는 것으로, 디지털 카메라에서는 센서의 감도를 칭하는 용어이다. ISO 수치가 높을수록 사진은 밝아지지만 노이즈가 발생하므로, 최상의 이미지를 획득하기 위해서는 가능한 낮은 ISO를 사용하는 것이 유리하다. 셔터스피드는 빛이 이미지 센서(CMOS)에 기록되는 속도를 말한다. 셔터스피드가 빠를수록 또렷한 영상 취득이 가능하며 느릴수록 잔상이 남게 되는데, 셔터스피드가 빠르면 센서에 기록되는 순간이 짧기 때문에 상대적으로 이미지가 어두워지며 피사계 심도 또한 얕아지게 된다. 조리개 값은 렌즈를 통해 들어오는 빛의 절대적인 양을 물리적으로 차단하는 막을 수치로 나타낸 것으로 단위는 F를 사용한다. F가 높을수록 조리개는 조여져 빛의 양이 감소하게 되며 피사계 심도는 깊어진다. 반대로 F가 낮을수록 조리개는 열리게 되며 빛의 양은 증가하나 피사계 심도는 얕아진다. 따라서 최적의 영상 데이터를 확보하기 위해 터널 내부에서 다양한 카메라의 설정값 성능 평가를 수행하였으며, 그 결과는 Table 7과 같다.

Results of Camera Performance Evaluation Test (Shooting Distance & Camera Set up)

4.2.2 주행 중 촬영거리 유지 방법

주행기준장치를 이용하여 주행 중 촬영거리를 일정하게 유지할 수 있다. 차량 외부 전면에 디지털 영상 촬영 장치를 설치하고, 차선을 촬영하면, 해당 영상이 운전석에 설치된 이미지 디스플레이에 출력이 되어, 운전자가 수시로 차선을 확인하여 조향을 일정하게 유지할 수 있다. 또한 조향방향을 화살표 방향과 크기로 디스플레이에 출력해 주어 정교한 조향이 가능하도록 해준다. 그리고 차량 외부에 초음파 거리 측정기나 레이저 거리 측정기를 설치하여, 주행하는 동안 지속적으로 터널 라이닝을 향해 거리를 측정하게 되면, 주행 거리별 차량(또는 카메라)와 터널 라이닝과의 거리값을 확보하게 된다. 이 거리값을 이용하여, 촬영된 영상 데이터 상의 균열 등 결함정보의 계측값을 보정할 수 있다. 상기 초음파 거리 측정기, 레이저 거리 측정기, 디지털 영상 촬영장치 3가지 장치의 조합을 통해, 최종적으로 촬영 영상 데이터의 크기를 보정할 수 있다. 또한 차량 내부에는 노면 및 차선을 촬영하는 영상 데이터를 기록하는 장치와 차량과 터널 라이닝과의 거리값을 기록하는 장치가 구비되어 실시간을 데이터를 저장한다.

4.3 촬영 절차

도로 터널의 대상으로 촬영절차는 Fig. 16과 같은 절차에 따라 수행한다. 먼저, 대상 터널의 평면도, 횡단면도 등의 도면을 작성해야 하며, 도면에는 터널의 크기와 촬영각도 및 촬영거리가 표시되어 있어야 한다. 그리고 차량에 카메라 및 조명시설을 차량에 설치한 후, 촬영 계획 도면에 따라 촬영 거리에 따른 촬영 각도를 설정한다. 그리고 촬영 영상을 실시간으로 확인할 수 있는 모니터링 장치와 촬영 영상 데이터를 저장하기 위한 저장장치를 설치한다. 그 다음 카메라가 터널의 균열 등 결함정보를 정확히 촬영할 수 있도록 조명시설을 가동하고 한다. 마지막으로 카메라와 주행기준장치를 가동하고, 운전자는 주행기준장치에 맞추어 일정한 속도로 운전을 하면서 터널 라이닝의 영상 데이터를 획득한다.


Fig. 16

Process of Tunnel Video Shooting

4.4 촬영 장비 성능 평가 시험

본 연구에서는 최적의 터널 라이닝 영상 데이터를 획득하기 위해서, 촬영 장비의 성능 평가를 수행하였다. 상기 4.3의 촬영 절차에 따라, 국도 2차로 터널을 대상으로, 주행속도 20 km/h, 촬영면적 0.3 m×0.3 m, 촬영거리 2.6 m를 기준으로 설정하여 카메라의 ISO, 셔터스피드, 조리개 값 등을 조정하면서 촬영한 결과, Table 8과 같은 결과를 얻었다. 이 시험 결과는 카메라 및 렌즈의 종류, 조명의 밝기, 촬영 거리에 따라 다를 수 있지만, Table 7과 같이 다수의 성능 시험 중에서 0.1 mm 균열을 명확히 확인할 수 있는 카메라의 설정이라고 판단되었다.

Results of Camera Performance Evaluation Test

4.5 이미지 프로세싱 프로그램

촬영 장비로부터 획득한 영상 데이터를 본 연구를 통해 개발한 파노라마 정합 프로그램(Fig. 17), 균열 검출, 계측 및 작도 프로그램(Fig. 18)에 입력하여 균열검출을 포함한 다양한 이미지 프로세싱을 실시하였다.


Fig. 17

Panorama Image Program


Fig. 18

Crack Detecting Program

4.5.1 디블러링 기법

셔터스피드, 조리개 등 카메라의 설정값을 최적으로 맞춘다 하더라도 노면 조도 및 차량의 엔진회전에 의한 진동발생과 이미지 센서의 성능한계로 인해 0.1 mm급의 미세균열 촬영시 mixed pixel현상을 원천적으로 방지할 수 없으나, 이미지 프로세싱의 하나인 디블러링 기법을 원본이미지에 적용하고 원본손실이 없는 png 파일 포맷을 사용하여 mixed pixel 현상을 최소화 할 수 있었다.

4.5.2 심층신경망 기반의 균열검출 알고리즘

균열 검출을 위해 여러 심층 신경망 알고리즘 중 최근 전 세계적으로 이미지 객체인식에 뛰어난 성능을 보인 합성곱 신경망(Convolutional Neural Network)을 적용하였으며, 균열의 여러 중요한 특징(feature)을 신경망이 스스로 찾는 장점이 있어 타 신경망에 비해 월등한 검출성능을 보였다.

4.5.3 2D 및 3D 프로파일링

촬영된 영상 중 균열이 포함된 단면을 회색조의 명도로 시각화하여 표현하면 균열과 배경의 형상을 직관적으로 인지할 수 있다. 균열 검출시에는 프로파일링이 필수적이지 않으나, 균열폭 측정시에는 mixed pixel 현상으로 인해 균열과 배경의 경계가 명확히 구분되지 않으므로 프로파일링(Fig. 19)을 통해 확률적으로 분석한 후, 순전파 신경망(Feed Forward Neural Network)에 학습시켜 정확한 균열폭을 측정하였다.


Fig. 19

Crack Profiling

4.6 획득한 촬영 영상의 검증

4.6.1 촬영 영상의 균열 검출 결과

터널 라이닝 촬영을 통해 획득된 영상은 모두 다 사용가능한 것이 아니라, 파노라마 생성이 가능한지, 균열 인식이 가능한 영상인지 검증되어야 한다. 또한 검증된 영상 데이터를 이용하여 이를 기반으로 한 프로그램이 제대로 실행되는지 확인이 필요하며, 인증 받은 프로그램을 통해 균열 검출이 가능한지 확인할 필요가 있다. 본사에서 개발하고 한국도로협회 단체표준 ‘KROADS E 003 영상 데이터 기반의 균열 검출’ 성능 시험에 합격한 ‘TM Crack Detecting Program’을 이용하여 현장에서 획득한 0.1 mm 균열을 포함한 영상 데이터의 시험 결과 Table 9와 같이 90% 이상의 균열 검출 결과를 얻었다. 시험 방법은 전문가가 터널 현장에서 획득한 촬영 영상 데이터의 균열을 확인하고, 확인된 영상을 해당 프로그램에서 실행한 후, 균열 검출 여부를 확인하는 것이다. Table 9의 검출율 산출 수식은 Eqs. (1)(2) 그리고 (3)과 같다.

Laboratory Test Results of Crack Detection Accuracy (0.1 mm Crack)

(1) Recall = T.P / ( T.P + F.N ) = 440 / 512 = 85.9 %
(2) Precision = T.P / ( T.P + F.P ) = 440 / ( 440 + 24 ) = 94.8 %
(3) F-measure = ( Recall + Precision ) / 2 = 90.4 %

Eqs. (1)(2)에서 T.P는 검출된 균열 개수(440)이고, F.N은 미검출 균열 개수(512-440=72), T.P+F.N는 총 균열 개수(512), F.P는 검출된 노이즈 개수(464-440=24), T.P+F.P는 총 검출 개수(464)이다.

참고로 본사에서 개발한 ‘TM Crack Detecting Program’의 시험성적인증서는 Fig. 20과 같다.


Fig. 20

Test Certificate for Crack Detecting Program

4.6.2 획득된 영상을 이용한 기계학습

검증된 영상 데이터는 본 연구에서 개발된 균열 검출 프로그램의 핵심엔진에 해당하는 인공지능 알고리즘(합성곱 신경망)의 가중치(weight)를 기계학습 시키기 위해 활용된다. 알고리즘의 성능은 영상 데이터의 품질이 좋고 영상의 수가 많을수록 꾸준히 향상되므로 지속적인 촬영 및 학습을 위한 데이터 셋(data set) 작성을 통해 알고리즘이 최상의 성능을 발휘할 수 있는 환경을 구축할 수 있다.

4.6.3 영상 촬영의 장점

현재 터널 안전점검에서 외관조사망도의 작성은 점검자가 직접 균열과 같은 결함정보를 육안으로 확인하여, 수동으로 정보(길이 및 폭 등)를 계측하고 도식화하는 방법을 사용해왔는데, 영상 데이터를 이용한 외관조사망도는 균열 검출 프로그램, 균열 계측 및 작도 프로그램 등 자동화 작성 기술을 이용함으로써, 균열 등 결함이 발생한 부위를 신속히 도면화하고, 정확한 손상물량을 표시할 있다.

5. 결 론

터널스캐닝은 일본, 유럽 등 외산 기술에 크게 의존하고 있는 실정이며, 안전점검의 효율화, 자동화, 체계화, 그리고 데이터의 디지털화를 통한 구조물의 이력관리를 위해 터널 촬영 시스템 및 촬영 기법에 대한 원천기술 개발이 시급한 분야이다. 본 연구에서는 0.1 mm 균열의 인식이 가능한 고해상도 및 고품질의 영상을 획득할 수 있는 터널 촬영 시스템 및 촬영 기법을 개발하였으며, 다양한 환경에서 이루어진 시험을 통해 성능을 검증하였다. 이러한 영상을 이용해 인공지능 기반의 균열검출 프로그램으로 균열검출이 가능하고 또한 획득된 영상은 인공지능 알고리즘의 성능개선을 위한 기계학습에 적용이 가능한 고해상도, 고품질 영상임을 확인하였다. 끝으로 본 연구를 통한 얻어진 성과물이 터널스캐닝 기술의 원천기술 확보와 국산화에 밑거름이 될 것이라고 확신한다.

본 연구에서는 2차로 터널을 대상으로, 2.6 m 미만 촬영거리에 대해 카메라의 ISO, 셔터스피드, 조리개 변화를 통한 최적의 설정값을 제안하였다. 본 연구에서 사용된 영상 데이터는 균열 검출 프로그램이 학습한 촬영면적 0.3 m×0.3 m와 1.0 m×1.0 m 이미지이지만, 촬영면적 1.0 m×1.0 m를 초과한 이미지는 본 연구에서 개발된 균열 검출 프로그램이 충분히 학습하지 못한 상태에서 균열 검출율이 낮아질 수 있다. 또한 개발된 균열 검출 프로그램에서 활용될 수 있는 이미지의 명도 평균값(Intensity, RGB좌표 0~255)을 150~200으로 권장하고 있으며, 100이하의 값을 갖는 이미지에 대해서는 균열 검출율이 다소 낮아질 수 있다.

향후 연구에서는 3차로 이상의 터널에 대해서도 촬영거리 변화에 따른 카메라의 설정값 검토 등 다양한 시험이 필요할 것으로 판단된다.

Notes

1)

‘Guidelines for the Safety Inspection and Precision Safety Diagnosis (MOLIT, 2017)’ Section 2: Tunnel

2)

‘Guidelines for the Safety Inspection and Precision Safety Diagnosis (MOLIT, 2017)’ Section 2: Tunnel

3)

‘Regular Inspection Method of Road Tunnel (道路トンネル定期点検要領)(MLIT, 2014.6)’

4)

‘Regular Inspection Method of Road Tunnel (道路トンネル定期点検要領)(MLIT, 2014.6)’

5)

‘Specifications for the National Tunnel Inventory (FHWA, 2015)’ Section 3: Elements

Acknowledgements

본 논문은 국토교통부 국토교통기술사업화 지원사업 ‘인공신경망 알고리즘과 디블러링 기법을 이용하여 40 km/h 주행속도로 터널 균열을 검출할 수 있는 촬영 장비 및 균열 분석, 작도 자동화 패키지 프로그램 개발(16TBIP-C111806-01)’에 의해 수행되었으며, 이에 감사드립니다.

References

Balaguer C , Montero R , Victores JG , Martínez S , Jardón A . 2014 ; Towards fully automated tunnel inspection: A survey and future trends . Proceedings of the 31st International Symposium on Automation and Robotics in Construction and Mining : 19 – 33 .
FHWA (Federal Highway Administration) . 2015 . Specifications for the national tunnel inventory FHWA-HIF-15-006 .
Han YK , Choi MY , Park JH , Kim WT , Hong SJ . 2004 . Measurement using infrared thermography for the safety diagnosis in tunnels . Proceedings of 2004 Spring Conference The Korean Society for Nondestructive Testing . p. 170 – 175 .
Jee KH , Chung JM , Hong SJ , Kim SU . 2004 . A study of quality improvement of the exterior inspection using tunnel scanning system . Proceedings of 2004 Autumn Conference The Korean Society for Railway . p. 24 – 29 .
Kim YR . 2004 . Development of tunnel crack inspection system based on image processing techniques . Master’s thesis Hallym University ;
Korea Expressway Corporation . 2001 . Study on the survey of tunnel management at home and abroad and efficiency of maintenance & management
Korea Road Association . 2017 ; KROADS E 0003 detection of crack based on image data using artificial neural network algorithm
Lee JD . 2006 . Study on utilizing optical imaging equipment for exterior research of tunnel structure . Master’s thesis Honam University ;
Lee JM . 2009 . Estimation of PSF parameters for deblurring linearly motion blurred images . Master’ thesis Hanyang University ;
MOLIT (Ministry of Land, Infrastructure and Transport) . 2017 . Guidelines for the safety inspection and precision safety diagnosis
MLIT (Ministry of Land, Infrastructure, Transport and Tourism) . 2014 . Regular inspection method of road tunnel
Sagong M , Moon CY , Lee JS , Hwang SK , Kim BH . 2006 . Development of a 3D laser scanner based tunnel scanner . Tunnelling Technology Korean Tunnelling and Underground Space Association . 8 ( 4 )p. 377 – 388 .

Article information Continued

Fig. 1

The Existing Tunnel Field Inspection

Fig. 2

Video Shooting Equipment for Tunnel Lining

Fig. 3

Concept for Camera Device

Fig. 4

Lighting

Fig. 5

Concept for Driving Reference System

Fig. 6

Pan/Tilt Head & Controller

Fig. 7

Internal Monitoring System

Fig. 8

Shooting Area (1.0m×1.0m) & Pixel Size for 0.3mm Crack

Fig. 9

Shooting Area (0.3m×0.3m) & Pixel Size for 0.1mm Crack

Fig. 10

Overview for Shooting Method of Tunnel Lining Inspection Equipment

Fig. 11

Tunnel Cross-Section (unit: mm)

Fig. 12

Drawing for Real Size Inspection Vehicle and Camera Installation Drawing (unit: mm)

Fig. 13

First Shootable Lateral Lining Length Calculation and Shooting

Fig. 14

Second Shootable Lateral Lining Length Calculation

Fig. 15

Third Shootable Lateral Lining Length Calculation

Fig. 16

Process of Tunnel Video Shooting

Fig. 17

Panorama Image Program

Fig. 18

Crack Detecting Program

Fig. 19

Crack Profiling

Fig. 20

Test Certificate for Crack Detecting Program

Table 1

Inspection Item for Tunnel (Korea)1)

Division Inspection List
Lining Condition - Crack
- Leakage
- Fail
- Spalling, Desquamation, White Coating, Segregation, Rebar Exposure, Carbonation, Chloride
Condition around Tunnel - Drainage
- Ground
- Portal
- Utility Tunnel
- Special Condition

Table 2

Assesment Standards for Crack Condition (Korea)2)

Assesment Standards Division

Concrete Lining

Concrete Reinforced Concrete

a < 0.1mm < 0.1mm

b 0.1mm ≤ 0.1mm ≤
< 0.3mm < 0.3mm

c 0.3mm ≤ 0.3mm ≤
< 1.0mm < 0.5mm

d 1.0mm ≤ 0.5mm ≤
< 3.0mm < 0.7mm

e 3.0mm ≤ 0.7mm ≤

Table 3

Inspection Item for Tunnel (Japan)3)

Division Daily Routine, Damage, Temporary Note
Portal Desquamation, Leakage, Icicle, Freezing Crack, Step, Separation, Spalling, Desquamation, Gradient, Settlement, Rebar Exposure, Colouring
Lining Desquamation, Icicle Crack, Step, Separation, Spalling, Desquamation, Construction Joint, Leakage, Icicle, Freezing
Interior Materials Fail Deformation, Fail
Ceiling Fail, Leakage Deformation, Fail, Leakage
Pavements/Drainage Fall, Ice, Surface · Berm Change Ice, Surface · Berm Change, Surface Ponding, Sediment Discharge, Crack, Step
etc. Affiliated Facilities Condition

Table 4

Assesment Standards for Tunnel Crack (Japan)4)

Division Object Part Crack Judgment Division
Width Length
5mm ≤ 3~5mm < 3mm 10m ≤ 5~10m 5m <
Crack progress can not be confirmed Lining Inner I~IIa
IIa
III
III
IIb~III
III
IV
Crack progress can be checked Lining Inner IIa~III
III
IV

Table 5

Specification of Condition State for Tunnel (U.S.A)5)

Defect Condition State 1 Condition State 2 Condition State 3 Condition State 4
Cracking (Liners) Width less than 0.012 in. or spacing greater than 5.0 ft Width 0.012 – 0.10 in. below spring line or spacing of 1.0 – 5.0 ft Width greater than 0.10 in. below spring line or greater than 0.012 in. above spring line or spacing of less than 1 ft. Distortion The condition warrants a structural review to determine the effect on strength or serviceability of the element or tunnel, OR a structural review has been completed and the defects impact strength and serviceability of the element or tunnel

Table 6

Performance Comparison of Area Camera (4K), CCD Line Sensor Camera, Laser Scanner, Infrared Camera

Division Mode
Area Camera (Mirrorless/DSLR) CCD Line Sensor Camera Laser Scanner Infrared Camera
Data Acquisition Method Natural Light COMS Image Sensor Natural Light CCD Image Sensor Laser Infrared COMS Image Sensor
Available Range of Crack Detection 0.1mm or more 0.1mm or more 1) 1mm -
Lighting required Required Required Need to turn off in tunnel/Influence on sunlight etc. Required (Option)
Color Color Color Monochrome Monochrome
Characteristic Acquisition of UHD (8 million pixels) or Higher Image Less Noise. Can not acquire images over 4K It can cope with severe bending Acquisition of Images without Lighting
1)

The value of estimating the crack detection range based on the resolution of the camera

Table 7

Results of Camera Performance Evaluation Test (Shooting Distance & Camera Set up)

Shooting Distance Case No. Shooting Area (lens(mm)) Camera Set up Image Results (Focus) Note
ISO Shutter Diaphragm
1.5m 1-1 0.3×0.3 (35~100) 200 1/8000 2.8 Good
Good
1-2 0.3×0.3 (35~100) 400 1/10000 2.8 Good
Good
1-3 0.3×0.3 (35~100) 800 1/8000 2.8 Good
Good
1-4 0.3×0.3 (35~100) 800 1/8000 5.6 Normal
Good
2.6m 2-1 0.3×0.3 (35~100) 800 1/4000 5.6 Normal
Good
2-2 0.3×0.3 (35~100) 800 1/5000 5.6 Normal
Normal
2-3 0.3×0.3 (35~100) 1600 1/4000 5.6 Good
Good
2-4 0.3×0.3 (35~100) 1600 1/5000 5.6 Good
Normal
4.0m 3-1 0.3×0.3 (100~300) 800 1/4000 5.6 Good
Good
3-2 0.3×0.3 (100~300) 800 1/5000 5.6 Normal
Normal
3-3 0.3×0.3 (100~300) 1600 1/5000 5.6 Good
Normal
3-4 0.3×0.3 (100~300) 1600 1/8000 5.6 Good
Normal

※ Image Results Grade: Bad(Undetectable), Normal(Detectable: Crack Outline), Good(Detectable: Crack Pixel)

※ Vehicle Speed: 20km/h

Table 8

Results of Camera Performance Evaluation Test

Shooting Area (Shooting Distance) Division
Camera Set up Image Results Vehicle Speed
ISO Shutter Diaphragm Lightness Focus Crack Inspect
0.3 m×0.3 m (2.6 m) 800~1,600 1/4000~1/5000 2.8~5.6 Brightness Good Possibility 20km/h

Table 9

Laboratory Test Results of Crack Detection Accuracy (0.1 mm Crack)

Recall (%) Precision (%) F-measure (%)
85.9 94.8 90.4
Total Crack Number Right Detection Number Total Detection Number
512 440 464