토석류 모니터링 계측자료 신뢰도 향상을 위한 중앙값필터와 칼만필터 적용

Application of Median and Kalman Filter for Reliability Improvement of Debris-flow Remote Monitoring Data

Article information

J. Korean Soc. Hazard Mitig. 2017;17(1):117-122
Publication date (electronic) : 2017 February 28
doi : https://doi.org/10.9798/KOSHAM.2017.17.1.117
김종락*, 유광태, 장수현***, 박기정****, 이득수*****
* Member, General Manager, UnU Inc
*** Deputy Manager, UnU Inc
**** Manager, UnU Inc
***** CEO, EDSYS Inc
**Corresponding Author, Member, CEO, UnU Inc. (Tel: +82-2-6124-5991, Fax: +82-2-6280-1373, E-mail: kty.unu@gmail.com)
Received 2016 October 11; Revised 2016 October 14; Accepted 2016 November 28.

Abstract

원격 모니터링 시스템에서 계측되는 자료는 다양한 요인에 의해 이상값 및 잡음을 포함하게 된다. 정확한 분석을 위해서는 계측자료의 신뢰도가 매우 중요하다. 본 연구에서는 계측자료의 신뢰도 확보를 위해 이상값 제거에 개선된 중앙값 필터 알고리즘, 잡음 제거에 칼만필터 알고리즘을 함께 사용할 것을 제안하였다. 제안한 알고리즘을 현장 계측 자료에 적용한 결과, 잡음과 이상값을 모두 제거하였으며, 채널당 연산 시간이 1밀리초 이하로 매우 빨라 저사양 계측모듈에 쉽게 적용 가능함을 확인하였다.

Trans Abstract

The data measured in the remote monitoring system will contain outlier values and noise due to various factors. Reliability of measured data is important for accurate analysis. In this study, we propose the use of an improved median filtering algorithm to remove outlier data, and Kalman filter algorithm to remove noise. After applying to the field measurement data, the proposed algorithm removed both outlier values and noise, and it was confirmed that the calculation time per channel was significantly low, at less than 1 millisecond, thus it can be easily applied to the low measurement module.

1. 서론

1.1 연구배경 및 필요성

토사재해의 발생 요인은 복잡하고 다양하므로, 효과적인 토석류 모니터링 시스템 운영을 위해서는 매년 반복되는 재해 발생 인자들에 대한 모니터링 자료를 얻는 것이 매우 중요하다. 특히, 미국 USGS와 스위스 WSL의 경우, 토석류 발생 감지 및 예측을 위한 모니터링 시스템을 15년 이상 설치 운영 중이며, 이와 함께 계측자료 분석에 대한 연구가 활발하게 진행 중이다.

국내의 토석류 모니터링 시스템은 연구사업 내 대상지역에 적용되거나(미래창조과학부, 2013) 소방방재청 u-IT 기반 급경사지 통합관리시스템 시범구축 사업에 의한 2개 도시(삼척시, 사천시)에 적용되었으며, 미래창조과학부에서 국립공원 4개소 산사태 감시시스템을 설치 운영하는 등 일부 지역에 적용되고 있는 실정이다. 그러나 최근 다양한 원인으로 인한 재해 가능성의 증가와 사물인터넷(IoT) 관련 사업 활성화 등의 영향으로 이에 대한 관심과 적용이 증가할 것으로 판단된다.

최근 수행된 연구사업에서는 강우로 인한 토석류 발생을 조기 감지하고, 강우 및 지반인자의 상관관계 도출을 위하여 세종특별시에 원격 모니터링시스템이 설치 운영 중이며, 현장에 적용된 계측항목은 강수량, 토양수분함량, 간극수압, 토양온도, 경사, 기온, 진동 등이다(Kim et al., 2016). 그러나 시스템 계측자료의 경우 현장의 환경 조건과 계측설비 등 하드웨어 사양으로 인해 간헐적인 이상값(outlier) 및 잡음(noise)이 지속적으로 발생하고 있기 때문에 자료의 신뢰도 향상을 위해서는 이러한 이상 자료를 반드시 제거해야만 한다. 일반적으로 계측시스템에 적용되는 평균필터 기법은 다른 방법들에 비해 필터링 성능이 비교적 낮으며, 이를 보완하기 위해 중앙값필터나 칼만필터 등 다양한 필터링 기법이 개발되어 이용되고 있다. 최근 발표된 연구 결과에 따르면 Leys et al.(2013)은 평균값보다 중앙값을 사용하는 것이 이상값을 감지하는 데 효과적이라고 하였으며, Kim and Hong(2012)은 돌출값 잡음제거에 중앙값 필터를 사용하였고, Yoo et al.(2011)은 모델 입력자료의 전처리 방법으로 칼만필터를 사용하였다.

주로 산지에 설치 운영되는 모니터링시스템은 외부 전원공급이 어려워 태양광 전원에 의해 운영되는 초소형 저전력 시스템으로 구성되므로, 복잡한 연산기능을 가지는 알고리즘은 높은 전력 소비로 인해 적용이 어려울 수도 있다. 따라서, 현장에 적용되는 모니터링 시스템의 경우 초소형 저전력에서도 가동 가능한 하드웨어장치에서 연산 성능 및 적용성이 반드시 평가되어야 한다.

1.2 연구목표

본 연구에서는 모니터링 시스템에서 측정되는 계측자료의 이상값 제거를 위해 중앙값필터를 사용하고, 잡음제거를 위해 칼만필터를 사용하였다. 중앙값필터와 칼만필터는 이상값 및 잡음이 존재하는 센서 측정값으로부터 이 값이 제거된 정확한 값을 확률적으로 추정을 해내는 데에 널리 사용되는 방법이다. 일반적으로 중앙값필터 적용 후 칼만필터를 적용해야 하며, 칼만필터를 먼저 사용할 경우 이상값이 정상값과 유사하게 변환되어 중앙값필터가 정상적으로 작동하지 않는다. 또한 중앙값필터를 적용하기 위해서는 분석에 사용될 최근 자료 집합의 생성과 정렬 작업 수행 후 중앙값을 선택해야하는 데, 이는 새로운 계측 자료가 생성 될 때마다 반복적으로 수행되어야 하며, 정렬 알고리즘은 자료 크기의 제곱에 비례하여 시간이 증가하므로 적용에 있어 비효율적이다. 따라서 본 연구에서는 정렬 알고리즘을 개선할 수 있는 효과적인 방안을 제안하고, 중앙값에 칼만필터를 적용하여 자료의 이상값 및 잡음을 모두 제거하고자 하였다.

2. 재료 및 방법

2.1 계측 자료

S시 테스트베드 현장에 설치된 원격모니터링시스템은 Fig. 1에 표시한 4개 지점에서 2015년 11월 1일부터 현재까지 운영 중이며, 계측자료를 수집하고 있다.

Fig. 1

Test Bed for Debris-flow Monitoring System at S-city

계측자료에 이상값 및 잡음 자료 특성이 잘 나타내는 2016년 4월 19일 0시부터 14시까지 2초 간격으로 수집된 자료를 알고리즘 개발에 사용하였다. 계측 자료의 특징을 1) 값의 변화(Unsteady), 2) 잡음(Noise) 포함, 3) 이상값(Oulier) 포함 여부를 기준으로 구분하고, 자료의 동일성을 기준으로 분류하였을 때, 3가지 유형의 시계열 종류를 가지는 것으로 나타났다(Table 1).

Time Series Data Types

첫 번째 유형(Type 1)은 시간에 따라 값이 변화하면서, 잡음과 이상값을 모두 가지는 자료로 배터리전압이 이에 해당하였다. 두 번째 유형(Type 2)은 시간에 따라 값의 변화가 크지 않고, 잡음은 있으나 이상값은 없는 자료로 수위, 간극수압이 이에 해당하였다. 세 번째 유형(Type 3)은 시간에 따라 값의 변화가 크지 않고, 이상값은 있으나 잡음은 없는 자료로 기울기, 토양수분함량, 토양온도가 이에 해당하였다.

Fig. 2는 Type 1에 해당하는 배터리전압(voltage), Type 2에 해당하는 간극수압(piezometer), Type 3에 해당하는 토양온도(soil temp.)의 그래프를 대표적으로 보여주고 있다. 본 연구에서는 3가지 유형의 계측자료 모두에 적용 가능한 필터링기법을 개발하고자 하였다.

Fig. 2

Three Types of Time Series Measured Data

2.2 중앙값필터(Median-Filler)

계측자료를 대상으로 시계열자료의 중앙값을 계산하는 과정은 1) 자료 집합 생성, 2) 자료 집합 정렬, 3) 중앙값 산정의 순서로 진행된다.

자료 집합은 매번 갱신되어야 하며, 새로 측정되는 자료는 자료 집합에 포함되고, 맨 처음 포함된 자료는 제거된다. 선택된 자료 집합의 중앙값을 계산하기 위해서는 자료 집합의 정렬 작업 또한 매번 수행되어야 한다. 그러나 정렬 작업은 자료 집합의 크기에 비례하여 연산시간이 증가하므로, 이를 개선하기 위한 중앙값 연산 알고리즘을 다음과 같이 제안하였으며, 알고리즘 적용과정을 Fig. 3에 나타내었다.

Fig. 3

Suggested Median Filter Algorithm

  • Step 1. 자료 집합 N개와 번호 집합 N개 생성

  • Step 2. 최초 자료 측정

    • - 자료 집합은 신규자료로 입력

    • - 번호 집합은 1부터 N까지 입력

    • - 최초 입력자료의 번호를 1로 설정

  • Step 3. 신규 자료 측정

    • - 번호 집합에서 최초 입력자료의 번호가 있는 위치를 검색(a)

    • - 자료 집합에 신규 자료를 포함하여 정렬할 경우, 삽입해야할 위치를 검색(b)

  • Step 4. 번호 집합, 자료 집합의 자료 이동

    • - 위치 b에서 a 방향으로 1칸씩 자료 이동

  • Step 5. 신규 자료 입력

    • - 자료 집합 위치 b에 신규자료 입력

    • - 자료 집합 위치 b에 최초 입력자료 번호를 입력

    • - 최초 입력자료의 번호를 1 증가

  • Step 6. 3부터 5까지 반복 수행

제안된 중앙값 필터의 연산 성능을 검증하기 위해 신규 자료 집합 생성 및 버블정렬을 이용한 중앙값 선택 알고리즘과 계산 시간을 비교하였다.

버블정렬은 인접한 두 자료를 순차적으로 비교하여 정렬하는 방법으로 가장 일반적인 방법이며, 자료집합이 N개일 경우에 정렬에 소요되는 연산 횟수는 N(N-1)/2 회로 자료집합크기 제곱에 비례하여 연산 횟수가 증가하는 단점이 있다. 제안된 중앙값 필터에 사용되는 정렬 알고리즘은 정렬에 소요되는 연산 횟수가 N회로 매우 작다는 장점을 가진다.

2.3 칼만 필터(Kalman filter)

칼만필터는 초기값 선정 이후 예측과정과 추정과정의 총 4 단계 계산을 반복 수행하면서 필터링이 적용된다. 매번 계산되는 오차의 공분산은 추정값의 정확도를 알려주는 척도이며, 이 값을 기준으로 예측된 추정값과 계측값의 반영 정도가 결정된다. 본 연구에 사용된 칼만필터 알고리즘(Kim, 2010)은 다음과 같은 순서에 의해 계산되었다(Fig. 4).

Fig. 4

Kalman Filter Algorithm

  • Step 1. 초기값 선정

  • Step 2. 추정값과 오차 공분산 예측

  • Step 3. 칼만이득 계산

  • Step 4. 추정값 계산

  • Step 5. 오차 공분산 계산

  • Step 6. 2부터 5까지 반복 수행

3. 연구 결과

3.1 칼만필터 적용 결과

Fig. 5는 2초 간격으로 측정된 원시 자료(Raw)와 칼만필터를 적용하여 필터링 된 자료(KF)를 나타낸 그래프이다. 칼만필터를 적용한 결과, 전압과 간극수압 자료의 잡음이 효과적으로 제거되어 시계열 자료가 원시 자료에 비해 완만히 변화되는 것을 확인할 수 있었다. 그러나 토양온도에 포함된 이상값은 원시 자료의 크기만 줄일 뿐, 정상 자료로의 빠른 회복이나 제거가 어려워, 상대적으로 적용성이 높지 않은 것으로 확인되었다.

Fig. 5

Raw (Raw) and Kalman Filtered (KF) Values for Three Types Measured Data

3.2 중앙값필터 선택

Fig. 6은 원시 자료(Raw)와 중앙값필터를 적용하여 필터링 된 자료(MF)를 나타낸 그래프이다. 중앙값필터를 적용한 결과, 토양온도에 포함된 이상값이 제거되었으나, 전압과 간극수압 자료의 잡음은 칼만필터에 비해 효과적으로 제거되지 않았다.

Fig. 6

Raw (Raw) and Median Filtered (KF) Values for Three Types Measured Data

중앙값필터를 사용할 경우, 칼만필터에서 제거되지 않는 이상값이 효과적으로 제거되는 것을 확인할 수 있다.

중앙값필터에 사용할 알고리즘을 선택하기 위해 본 연구에서 제안된 알고리즘(MF)과 버블정렬에 의한 중앙값 계산(BF)의 연산 속도를 비교하였다. 테스트 장비는 아두이노 MEGA2560 보드에서 10 채널의 대상으로 측정되는 총 시간(밀리초)을 측정하였으며, Table 2는 이를 50회 반복한 결과를 나타낸 것이다.

Calculation Times of Each Applied Algorithm

Table 2에 나타낸 시간은 자료생성(data generation, DG) 및 알고리즘 적용을 모두 합한 시간을 나타내며, 자료생성 시간은 1.9밀리초, 칼만필터 알고리즘 단독 수행 시간은 0.4밀리초로 연산속도가 매우 빨랐다. 중앙값필터 적용 후 칼만필터 단독 수행 시간은 자료 집합의 크기에 상관없이 약 1.1밀리초가 소요되었다.

자료 집합의 크기가 30개일 경우 적용된 중앙값필터 알고리즘을 비교하면, MF 알고리즘 수행 시간이 BS 알고리즘 수행 시간에 비해 약 1/10이었다. 자료 집합의 크기가 30개에서 100개로 증가할 경우, BS 알고리즘 수행시간은 약 12배 증가하였지만, MF 알고리즘의 수행 시간은 약 2.3배 증가하여 MF 알고리즘이 BS 알고리즘에 비해 상대적으로 연산시간이 더 빠르고, 효과적이었다(Fig. 7).

Fig. 7

Calculation Times of Suggested Median Filter (MF) and Bubble Sort Based Median Filter (BS) Algorithms

특히, 저사양의 계측모듈에 적용할 경우 연산 시간이 증가할수록 자료의 샘플링(sampling) 간격이 늘어나, 측정하고자 하는 자료를 원하는 시간에 정상적으로 수집할 수 없는 확률이 증가하게 된다.

일정시간 연속하여 발생되는 이상값은 정상값으로 해석될 가능성이 높으며, 이를 효과적으로 제거하기 위해서는 중앙값필터 자료 집합의 크기를 증가시켜야 하는데, 이러한 경우, BS 알고리즘은 연산시간이 크게 증가하게 되어 현장 적용성이 낮아지는 단점을 가진다.

3.3 중앙값필터와 칼만필터 적용 결과

위 연구결과를 통해 계측자료의 신뢰도 향상을 위해 본 연구에서 최종 선정된 필터링 알고리즘은 제안된 중앙값필터를 사용하여 이상값을 먼저 제거하고, 칼만필터를 사용하여 잡음을 제거하는 것이다. 칼만필터를 먼저 수행할 경우, 이상값의 크기가 줄어들어 중앙값필터 적용시 효과적인 제거가 되지 않는 단점을 가지므로, 중앙값필터는 칼만필터를 적용하기 전에 먼저 수행해야 한다.

Fig. 8은 측정된 자료에 제안된 필터링 알고리즘(MF+KF)의 결과를 함께 나타낸 것이다.

Fig. 8

Raw (Raw), Kalman Filtered (KF), Median Filtered (MF) and Suggested Median- Kalman Filtered (MF+KF) Values for Three Types Measured Data

그래프에서 볼 수 있듯이 중앙값필터와 칼만필터를 함께 적용한 경우, 칼만필터만 적용할 경우 제거되지 않았던 토양온도의 이상값이 제거되었고, 중앙값필터만 적용할 경우 제거되지 않았던 전압과 간극수압의 잡음이 모두 제거된 것을 확인할 수 있었다.

세 가지 방법에 의한 필터링방법을 강우기간에 측정되는 자료에 적용하여 방법을 검증하고자 하였다. 검증에 사용된 자료는 2016년 7월 4일 0시부터 14시까지 자료이며, 기간 내 총 강우량은 158.5mm 이다. 제안된 필터링 알고리즘이 전압, 간극수압의 잡음과 토양온도의 이상값을 효과적으로 제거하는 것을 확인할 수 있었다(Fig. 9).

Fig. 9

Filtered Values of Three Algorithms for Rainfall Period Data

3.4 중앙값필터와 칼만필터 연산시간 검토

자료 집합의 크기를 100개로 설정한 후 연산을 수행한 결과, 제안된 필터링 알고리즘의 연산시간은 평균 8.6밀리초 였으며, 이는 10개 채널의 측정자료에 대해 소요된 시간이므로, 1개 채널의 측정자료 필터링 시간은 1밀리초 이하이다.

현재 현장에서 설치 운영 중인 토석류 원격모니터링시스템의 경우, 강우시 2초 간격으로 자료를 수집하고 있으며, 하나의 장치에서 측정되는 자료의 수가 일반적으로 10개 내외이므로, 필터링에 소요되는 시간은 전체 시스템의 성능에 거의 영향을 미치지 않는다.

4. 결론

본 연구에서는 토석류 원격모니터링 계측자료의 잡음 및 이상값을 제거하여 자료의 신뢰도를 향상시킬 수 있는 기법을 제안하였으며, 적용 결과 다음과 같은 결론을 도출하였다.

  • 1) 원격모니터링 계측자료의 잡음을 제거하는 데 칼만필터를 적용하는 것이 효과적인 방법이다.

  • 2) 측정값이 정상값에 비해 비정상적으로 크거나 작은 이상값이 포함될 경우, 칼만필터는 효과적인 제거가 어렵다.

  • 3) 비정상적인 이상값을 효과적으로 제거하는 방법으로 중앙값필터를 적용할 수 있으며, 중앙값 계산의 빠른 연산을 위해 효과적인 방법을 본 연구에서 제안하였다.

  • 4) 계측자료에 중앙값필터와 칼만필터를 순차적으로 적용할 경우, 잡음과 이상값을 모두 제거할 수 있으며, 알고리즘 연산 속도가 채널당 1밀리초 이하로 매우 빠르기 때문에 저사양 계측모듈에 효과적으로 사용할 수 있을 것으로 판단된다.

감사의 글

본 연구는 건설기술연구사업의 연구비지원 (16SCIP-B069989-04)에 의해 수행되었습니다.

References

Kim J. R, You K. T, Jang S. H, Lee D. S, Lee D. S. Development and Application of Debris-flow Remote Monitoring System using Solar Energy in Urban Area. J. Korean Soc. Hazard Mitig 2016;16(3):81–86. 10.9798/KOSHAM.2016.16.4.81.
Kim S. K, Hong J. K. Swell Noise Attenuation Using a Cascade of F-X Filter and Median Filter. Geophysics and Geophysical Exploration 2012;15(4):199–208. 10.7582/GGE.2012.15.4.199.
Kim S. P. Essential Kalman Filter 2010. Seoul: A-JIN. p. 42–46.
Leys C, Ley C, Klein O, Bernard P, Licata L. Detecting outliers: Do not use standard deviation around the mean, use absolute deviation around the median. J. Exp. Soc. Psychol 2013;49:764–766. 10.1016/j.jesp.2013.03.013.
Ministry of Science, ICT and Future Planning. Technical Trend of Landslide Hazard Mitigation 2013. 24–44.
Yoo C. S, Kim J. H, Chung J. H, Yang D. M. Mean Field Bias Correction of the Very-Short-Range-Forecast Rainfall using the Kalman Filter. J. Korean Soc. Hazard Mitig 2011;11(3):17–28. 10.9798/KOSHAM.2011.11.3.017.

Article information Continued

Fig. 1

Test Bed for Debris-flow Monitoring System at S-city

Fig. 2

Three Types of Time Series Measured Data

Fig. 3

Suggested Median Filter Algorithm

Fig. 4

Kalman Filter Algorithm

Fig. 5

Raw (Raw) and Kalman Filtered (KF) Values for Three Types Measured Data

Fig. 6

Raw (Raw) and Median Filtered (KF) Values for Three Types Measured Data

Table 1

Time Series Data Types

Items Unsteady Noise Outlier Type
Voltage O O O 1
Level - O - 2
Piezometer - O -
Slope - - O 3
Water contents - - O
Soil temperature - - O

* O (large), (-) small

Table 2

Calculation Times of Each Applied Algorithm

Case Calculation time (msec)
Dataset size (N) Method DG MF BS KF
- DG only O 1.9±0.0
- KF O O 2.3±0.0
30 MF O O 3.3±0.2
MF+KF O O 4.4±0.2
BS O 31.2±1.3
50 MF O O 4.5±0.2
MF+KF O O 5.6±0.3
BS O 96.9±0.0
100 MF O O 7.6±0.7
MF+KF O O 8.6±0.6
BS O 377.6±0.0

Fig. 7

Calculation Times of Suggested Median Filter (MF) and Bubble Sort Based Median Filter (BS) Algorithms

Fig. 8

Raw (Raw), Kalman Filtered (KF), Median Filtered (MF) and Suggested Median- Kalman Filtered (MF+KF) Values for Three Types Measured Data

Fig. 9

Filtered Values of Three Algorithms for Rainfall Period Data