Article information

Abstract

Trans Abstract

1. 서 론

최근 다양한 철도 사고들이 발생하고 있다. 사고의 원인으로는 다양한 이유가 있으나, 주된 이유은 레일의 노후화 및 유지관리 문제이다(Chenariyan Nakhaee et al., 2019). 따라서 철도 사고를 방지하기 위한 유지관리가 중요하다. 하지만 철도 구조물은 규모가 크며, 오래된 시설들이 많다. 또한, 철도는 특성상 항상 운용하고 있기 때문에 열차 운행을 중단하고 안전진단을 하는데 어려움이 있다. 따라서 보다 효율적인 유지관리 방법이 필요하다.

최근 철도시설물의 유지관리에 IT 기술을 적용하는 다양한 연구들이 존재한다. Marino et al. (2007)은 실시간으로 철도의 볼트를 탐지하여 점검하는 연구를 제안하였다. Hodge et al. (2014)은 무선센서 네트워크를 이용한 철도 모니터링 방법을 제안하였다. Mukojima et al. (2016)은 이미지처리 기술을 사용하여 철도의 장애물을 탐지하는 방법을 제안하였다. Flammini et al. (2016)은 드론을 사용하여 철도 인프라를 모니터링하는 방법을 제안하였다. Jamshidi et al. (2017)은 빅데이터를 활용하여 철도의 유지관리를 하는 방법을 제안하였다. Santur et al. (2017)은 laser camera를 사용하여 레일 표면의 결함을 찾는 방법을 제안하였다. Lee et al. (2021)은 딥러닝을 활용하여 철도 구조물의 Point Cloud를 분류하는 방법을 제안하였다. 또한, 철도에 디지털 모델인 Building Information Modeling (BIM)을 적용하는 다양한 연구들이 존재했다(Bensalah et al., 2019; Neves et al., 2019; Wu and Zhang, 2022).

철도의 디지털 모델을 활용하면 손상 탐지, 시뮬레이션, 예측 유지 보수, 효율적인 운영관리 등 다양한 이점이 존재한다. 하지만 이미 시공된 철도의 경우, 디지털 모델 구축에 어려움이 있다. 시공된 철도의 디지털 모델 구축 시 철도 설계 도면의 데이터를 사용하면 오차가 발생한다. 왜냐하면 시공 오차, 노후화로 인한 레일의 변형, 크랙 등의 이유가 존재하기 때문이다. 따라서 철도의 현재 상태를 반영한 정보가 필요하다. 현재 상태 정보를 수집하기 위해서 가장 많이 사용되는 방법은 LiDAR (Light Detection and Ranging) 스캐닝이다. LiDAR를 사용하여 철도를 스캐닝 하면, 철도에 대한 형상 정보가 3D point cloud 형태로 저장된다. 하지만 LiDAR 스캐닝과 데이터 후처리 과정에서 상당한 시간과 비용이 소모된다.

따라서 본 연구에서는 UAV (Unmanned Aerial Vehicle)를 사용하여 철도를 스캐닝하고 딥러닝을 활용하여 레일을 자동으로 탐지하는 시스템을 제안하였다. 철도 자동 탐지 시스템은 두 가지 단계로 구성되어 있다; 단계 1: SfM (Structure from Motion), 단계 2: Rail Detection. 각 단계별 상세과정은 2장에 서술하였다. 본 연구에서 제안한 레일 자동 탐지 시스템의 성능을 검증하기 위하여 대한민국 세종특별자치시 전동면 노장리에 있는 오송시험선의 철도 교량을 대상으로 하였다. 이에 대한 내용은 3장에 서술하였다. 최종적으로 본 연구에서 구축한 시스템을 사용하면 인력에 의한 후처리 과정 없이 자동으로 레일 영역의 3D point cloud를 얻을 수 있다. 레일의 3D point cloud는 손상 탐지(Ghahremani et al., 2018), BIM 구축(Cheng et al., 2019), 설계 제원 추출(Lee et al., 2020), 시뮬레이션(Urech et al., 2022) 등 다양한 분야에서 활용할 수 있을 것으로 기대된다.

2. 시스템 개발

Fig. 1은 전체적인 시스템의 순서도를 나타낸다. 먼저, 영상 장비를 사용해 철도를 다각도에서 촬영하여 2D 이미지 데이터를 얻는다. 본 연구에서는 이미지 데이터를 얻기 위하여 UAV의 카메라를 사용하였다. 시스템의 첫 번째 단계는 SfM으로 2D 이미지 데이터를 기반으로 3D point cloud 모델을 만드는 과정이다(Ullman, 1979; Hartley and Zisserman, 2003). 한 대상에 대하여 다중 시점의 이미지를 얻으면 대상의 3D 좌표를 추정할 수 있다. 위와 같은 과정을 통하여 철도의 point cloud 데이터를 얻을 수 있다. 시스템의 두 번째 단계는 Rail Detection으로 point cloud 데이터에서 레일 부분만 찾는 과정이다. 본 연구에서는 딥러닝 기반의 semantic segmentation 기술을 활용하여 레일 부분의 데이터를 찾는다. 그 후 MSAC 알고리즘을 활용하여 레일을 제외한 노이즈를 제거한다. 이를 통해서 레일의 point cloud 데이터만 얻을 수 있다. 각 단계에 대한 상세내용은 각 장에서 서술한다.

Fig. 1

Overview of the Proposed Automatic Rail Detection System

2.1 단계 1: Structure from Motion

본 연구에서는 UAV의 카메라를 사용하여 레일의 3D point cloud를 탐지하고자 한다. 하지만 카메라로 얻은 데이터는 2D 이미지이다. 따라서 SfM 기술을 사용하여 2D 이미지를 3D point cloud로 변환하는 과정이 필요하다. 본 연구에서는 SfM의 세부단계를 특징점 추출 및 매칭, 3D point cloud 생성, 3D reconstruction, 노이즈 제거로 나누었다(Fig. 2). 각 세부단계는 다음과 같다.

Fig. 2

Flowchart of Phase 1

SfM에서 가장 먼저 수행되는 단계는 각 사진의 특징점을 찾고 매칭하는 것이다. 본 연구에서는 특징점을 찾기 위하여 기존의 SIFT (Scale-Invariant Feature Transform) 알고리즘(Lowe, 1999)에 도메인 크기 풀링(Domain Size Pooling) 기법을 적용한 DSP-SIFT (Domain Size Pooling SIFT) 알고리즘을 사용하였다(Dong and Soatto, 2015). DSP-SIFT 알고리즘은 먼저 원본 이미지로부터 다양한 크기의 이미지를 생성한다. 각 이미지에서 기존의 SIFT 알고리즘을 통해 이미지에서 특징점을 검출한다. 이 과정에서 scale-invariant한 특징점을 추출하기 위해 가우시안 블러를 적용하여 DoG (Difference of Gaussian) 이미지로 변환하여 특징점을 추출한다. 추출된 특징점들을 통합하여 하나의 특징점 집합을 생성한다. 이 과정에서 각 이미지 크기에서 추출된 특징점들이 서로 다른 스케일의 정보를 포함하게 된다. 마지막으로 통합된 특징점 집합을 사용하여 이미지 간 매칭을 수행한다. 이 과정에서 최근접 이웃(Nearest Neighbor) 알고리즘(Altman, 1992)을 사용하여 일치하는 매칭을 찾고, 일치하지 않는 매칭은 RANSAC (Random Sample Consensus) 알고리즘(Fischler and Bolles, 1981)을 사용하여 제거한다.

두 번째 단계는 3D 구조 및 카메라 포즈 추정으로 여러 이미지로부터 3D 공간의 점들과 각 이미지의 카메라 위치 및 방향을 함께 추정하는 과정이다. 이 과정은 MVG (Multiple View Geometry)이라고 불리며, 이미지로부터 3D 모델을 복원하는 데 사용한다. DSP-SIFT으로 얻은 특징점 매칭을 이용하여 이미지 간의 상대 카메라 포즈(회전 및 이동)를 추정한다. 이 과정에서 Homography Matrix을 사용하여 상대적인 카메라 위치와 방향을 구한다. 추가적으로 번들 조정(Bundle Adjustment)을 사용하여 추정된 3D 점들과 카메라 포즈에 대한 재투영 오차를 최소화하는 최적화 과정을 수행한다(Triggs et al., 2000). 위와 같은 과정을 통해 3D point cloud를 얻을 수 있다. 하지만 이미지에서 추출한 특징점이 이미지의 모든 형상을 나타내지 못한다. 따라서 특징점이 존재하지 않는 부분은 빈 공간이다. 빈 공간을 채운 높은 밀도의 3D point cloud 데이터를 얻기 위해서는 3D reconstruction 과정이 필요하다.

세 번째 단계는 3D reconstruction이다. 3D reconstruction은 특징점을 통해서 점을 추정하는 SfM과 달리, 이미지의 각 픽셀에 대응하는 3D 점들을 추정하는 방법이다(Moons et al., 2010). 이 과정을 통해 높은 밀도의 3D 점 데이터를 얻을 수 있다. 3D reconstruction의 과정은 다음과 같다. 먼저 SfM 과정을 통해 얻은 특징점 및 매칭, 카메라 포즈 정보를 사용하여 이미지들 사이의 공간적 관계를 추정한다. 추가적으로 이미지의 픽셀 값을 서로 비교하여 유사도를 측정하는 상호상관(Cross correlation)을 사용하여 공간적 정보를 정밀하게 한다. 이미지의 공간 정보를 기반으로 각 이미지의 깊이맵(Depth Map)을 생성한다(Anuta, 1970). 깊이맵과 카메라 포즈 정보를 기반으로 이미지 픽셀에 대응하는 3D 점을 계산한다. 위와 같은 과정을 통해 이미지에서 높은 밀도의 3D point cloud를 얻을 수 있다. 하지만 3D reconstruction을 통해 얻은 높은 밀도의 3D point cloud는 노이즈를 포함하고 있다. 따라서 후처리를 통해서 노이즈를 제거하는 과정이 필요하다.

네 번째 단계는 노이즈 제거 단계이다. 본 연구에서는 노이즈 제거를 위해 Statistical outlier removal 필터를 사용하였다(Rusu et al., 2008). 이 방법은 최근접 이웃 알고리즘을 기반으로 한다. 최근접 이웃 알고리즘은 각 점 주변의 k개의 가장 가까운 점들과의 유클리디안 거리의 통계를 계산하는 방식을 사용한다. 통계를 기반으로 표준편차를 이용하여 임계값을 설정하고, 이 임계값을 기준으로 데이터를 분류한다. 임계값을 초과하지 않는 점들은 내부값(inlier)으로 분류하고, 임계값을 초과하는 점들은 노이즈로 판단하여 제거한다. 위와 같은 과정을 통해 노이즈를 제거한 3D point cloud를 얻을 수 있다. 하지만 이렇게 얻은 3D point cloud는 목표로 하는 레일 이외에 주변 데이터를 포함한다. 따라서 레일의 3D point cloud만 얻기 위해서는 추가적인 과정이 필요하다.

2.2 단계 2: Rail Detection

SfM을 통해 얻은 3D point cloud는 3차원 공간에서 점의 집합으로 물체를 표현하는 데이터 형식이다. 하지만, 점의 좌표와 색상 정도만 있을 뿐, 의미적 정보를 포함하고 있지 않다. 이를 활용하기 위해서는 추가적인 후처리 과정이 필요하다. 하지만 철도의 규모는 방대하기 때문에 상당한 시간과 비용이 필요하다. 위와 같은 과정에서 소요되는 자원을 절감하기 위하여 딥러닝 기반 철도 탐지 시스템을 구현하였다. 본 연구에서는 철도 탐지의 세부단계를 semantic segmentation, MSAC 기반 노이즈 제거로 나누었다(Fig. 3). 각 세부단계는 다음과 같다.

Fig. 3

Flowchart of Phase 2

본 연구에서 사용된 딥러닝 모델은 PointNet 모델의 개선된 버전인 PointNet++이다(Qi, Su et al., 2017; Qi, Yi et al., 2017). PointNet++은 3D point cloud의 객체 인식 및 분류, semantic segmentation이 가능한 딥러닝 모델이다. PointNet에 사용하는 max-pooling 함수의 특성상 연산과정에서 최대값을 제외한 로컬 정보들이 소실된다. 따라서 로컬 부분의 정밀한 분류가 어려웠다. PointNet++은 3D point cloud를 샘플링하여 계층을 나눈다. 샘플링 과정에서 FPS (Farthest Point Sampling)을 사용한다. FPS는 점들이 최대한 서로 멀리 떨어져 있도록 뽑는 방법으로 밀도가 불균형하여도 일정하게 샘플링한다. 샘플링한 각 계층에서 로컬 정보들을 모두 학습할 수 있어 기존의 PointNet 보다 성능을 보였다.

PointNet++에 전이학습을 할 경우 3D point cloud에서 레일을 분류할 수 있다. 하지만 이렇게 얻은 데이터에서 레일 이외의 영역인 노이즈가 포함될 수 있다. 본 연구에서는 위와 같은 문제를 해결하기 위하여 레일 이외의 영역을 제거하는 후처리 과정을 추가하였다. 후처리에 사용한 방법은 MSAC이다(Torr and Zisserman, 2000). MSAC은 RANSAC의 개선된 버전으로 데이터셋에서 수학적 모델 추정하는데 사용할 수 있다. MSAC은 데이터셋에서 무작위로 샘플링하여 데이터를 뽑은 후 모델을 생성한다. 본 연구에서는 모델을 3차원 평면으로 설정하였다. 생성된 평면 모델에 임계값 내에 존재하는 포인트의 개수를 카운트한다. 위 과정을 반복하여 3D point cloud에서 평면을 추정할 수 있다. 일반적으로 레일은 평면의 형태인 철도 노반 위에 존재한다. 따라서 철도 노반 평면을 찾으면 레일의 위치를 특정할 수 있다. 특정된 레일이 존재하는 평면을 제외한 나머지 부분을 노이즈로 간주하고 제거하면 레일의 3D point cloud을 얻을 수 있다. 위와 같은 방법으로 레일 탐지를 자동화하였다.

3. 시스템 검증

본 연구에서 제안한 방법을 검증하기 위하여 대한민국 세종특별자치시 전동면 노장리에 있는 오송시험선 철도 교량을 대상으로 하였다. 오송시험선을 대상으로 검증한 시스템의 흐름도는 Fig. 4와 같다. UAV를 통해서 수집한 이미지는 단계 1을 통해서 3D point cloud로 변경된다. 3D point cloud에 단계 2를 적용하면 레일 영역의 데이터를 얻을 수 있다.

Fig. 4

Flowchart of System Validation

먼저, 데이터 수집을 위하여 사용한 장비는 DJI Inspire 2와 Zenmuse X5S이다. 오송시험선 철도 교량은 다양하게 존재하는데, 그 중 제1교량, 제3교량, 제5교량의 데이터를 수집하였다. 수집된 데이터는 다각도에서 얻은 2,500 × 1,873 픽셀의 2D 이미지이다. SfM을 적용하여 2D 이미지를 3D point cloud을 변환해야 한다. 본 연구에서는 오픈소스 소프트웨어인 Meshroom을 사용하여 SfM을 적용하였다(Griwodz et al., 2021). SfM과 3D reconstruction을 통해 얻은 3D point cloud는 15,679,609개의 점으로 구성되어 있으며 Fig. 5와 같다. 선행과정을 통해 얻은 데이터는 노이즈를 포함하고 있기 때문에 Statistical outlier removal 필터를 사용하여 노이즈를 제거하였다. 추가적으로 철도 교량을 span 단위로 구분하여 3D point cloud를 분할하였다. 수집된 데이터 중 제1교량, 제5교량은 PointNet++의 전이학습에 사용하고, 제3교량은 테스트에 사용한다.

Fig. 5

3D Point Cloud of the Railroad Bridge Obtained Using Structure from Motion

전이학습에 앞서 데이터 라벨링 과정이 필요하다. 본 연구에서는 rail과 non-rail 부분으로 나누어 라벨링하였다. 라벨링된 3D point cloud 예시는 Fig. 6과 같다. 라벨링된 데이터를 기반으로 PointNet++에 전이학습을 하였고, 학습에 사용된 하이퍼 파라미터는 Table 1과 같다. 학습된 모델을 통해 제3교량을 대상으로 semantic segmentation을 적용한 결과는 Fig. 7(a)와 같으며, 예측된 레일의 3D point cloud는 Fig. 7(b)이다.

Fig. 6

An Example of the Labeled Data

Table 1

Hyper Parameter

Fig. 7

(a) Predicted Results Using Pointnet++, (b) 3D Point Cloud of the Predicted Rail, (c) 3D Point Cloud of a Denoised Rail Using MSAC

모델 성능평가 지표를 통해 얻은 결과는 Table 2와 같다. 학습된 모델을 사용해서 평균 Accuracy 값은 95.44%, 평균 IoU 값은 72.48%의 결과를 얻을 수 있었다. 레일의 경우, 교량 하부까지 레일로 예측하여 IoU 값이 상대적으로 낮은 결과를 나타냈다.

Table 2

Evaluation Metrics of Semantic Segmentation

따라서 예측된 레일 이외에 노이즈를 제거하고 정확도를 향상시키기 위하여 MSAC 기반 노이즈 제거를 적용하였다. 적용된 결과는 Fig. 7(c)와 같다. 노이즈로 분류된 점들은 non-rail로 재분류된다. 평균 Accuracy 값은 96.97%, 평균 IoU 값은 83.94%의 결과를 나타냈다. 결과는 Table 3과 같다. 평균 Accuracy 값은 1.56%만 상승하였으나, 평균 IoU 값은 11.46% 상승하였다. 향후 학습데이터를 추가적으로 확보한다면 결과가 상승할 것으로 기대된다.

Table 3

Evaluation Metrics of Semantic Segmentation Applying MSAC

4. 결 론

본 연구에서는 철도의 이미지 데이터에서 3D point cloud를 생성하고 레일을 자동으로 탐지하는 시스템을 제안하였다. 제안한 시스템을 검증하기 위하여 대한민국 세종특별자치시 전동면 노장리에 있는 오송시험선을 대상으로 테스트를 진행하였다. 제안한 시스템을 테스트한 결과 최종적으로 평균 Accuracy 값은 96.97%, 평균 IoU 값은 83.94%의 결과를 나타냈다.

본 연구에서 제안한 시스템을 통해 3D point cloud에서 철도 레일 부분의 데이터를 자동으로 얻을 수 있었다. 얻은 레일 3D point cloud 데이터를 활용하면 레일 손상 탐지, 시뮬레이션, 예측 유지 보수, 효율적인 운영관리 등 다양한 분야에서 활용할 수 있을 것으로 기대된다.

Article information Continued