J. Korean Soc. Hazard Mitig Search

CLOSE


J. Korean Soc. Hazard Mitig. > Volume 21(3); 2021 > Article
Stacked LSTM 기반 실시간 화재 상황 분류 알고리즘 연구

Abstract

Several researchers have been drawn to the development of fire detector in recent years, to protect people and property from the catastrophic disaster of fire. However, studies related to fire monitoring are affected by some unique characteristics of fire sensor signals, such as time dependence and the complexity of the signal pattern based on the variety of fire types,. In this study, a new deep learning-based approach that accurately classifies various types of fire situations in real-time using data obtained from multidimensional channel fire sensor signals was proposed. The contribution of this study is to develop a stacked-LSTM model that considers the time-series characteristics of sensor data and the complexity of multidimensional channel sensing data to develop a new fire monitoring framework for fire identification based on improving existing fire detectors.

요지

최근 몇 년 동안 화재 감지기의 개발은 화재라는 치명적인 재난으로부터 인명과 재산을 보호하기 위해 많은 연구자의 관심을 끌었다. 그러나 시간적 의존성, 화재 유형의 다양성에 따른 신호 패턴의 복잡성과 같은 화재 센서 신호의 몇 가지 고유한 특성으로 인해, 화재 모니터링 관련 연구는 난항을 겪고 있었다. 본 연구에서는 다차원 채널의 화재 센서 신호를 통해 얻은 데이터를 활용하여, 다양한 유형의 화재 상황을 실시간 수준에서 정확하게 분류하는 딥러닝 기반의 새로운 접근 방식을 제안한다. 본 연구의 기여는 센서 데이터의 시계열적 특성과 다차원 채널 센싱 데이터의 복잡성을 고려한 stacked LSTM 모델을 개발하여 기반의 화재 식별을 위한 새로운 화재 모니터링 프레임워크를 개발하여 기존 화재 감지기를 개선하는 것이다.

1. 서 론

화재는 현대 사회에서 광범위한 재산 손실과 인명 피해를 초래하는 매우 치명적인 재난사고 중 하나이다. 소방청에서 발간한 2019년도 화재통계연감에 따르면, 2010년부터 2019년에 이르는 10년 동안 연평균 화재 건수는 42,652건으로 집계되었고, 이에 따른 연평균 인명 피해는 2,176명(사망 302명, 부상 1,874명), 재산피해는 443,137백만 원으로 나타났다. 그리고 10년 동안 발생한 화재 중 49%에 해당하는 208,947건이 부주의에 의한 발화요인으로 발생한 것으로 나타났다(National Fire Agency, 2020).
이러한 통계 데이터를 미루어봤을 때, 화재는 조기 감지 및 모니터링이 적시에 이루어질 경우, 사전에 충분히 예방할 수 있는 재난임에 분명하다(Park and Ko, 2020). 그뿐만 아니라, 화재로 인한 피해와 사상자는 시간이 지남에 따라 기하급수적으로 증가하기 때문에 화재를 조기에 감지하는 것은 선택이 아닌 필수라고 할 수 있다(Lin et al., 2019).
화재에 따른 피해를 최소화하기 위해 화재를 조기에 감지할 수 있는 몇몇 알고리즘에 관한 연구가 그동안 진행되어왔고 실제로 개발에 성공하여 상용화되기도 했다. 하지만 이러한 알고리즘은 실시간 감지를 위해 센서의 민감도를 높여놨기 때문에 불필요한 비상 대피를 유발할 수 있는 오경보 역시 증가시켰다는 단점이 있다. 그리고 이러한 오경보는 상당한 경제적, 사회적 비용을 초래한다. 예를 들어, 항공기에서 오경보가 발생하면 $30,000에서 $50,000 사이의 비용이 드는 것으로 추정된다는 연구결과가 있다(Chen et al., 2007). 결국, 화재감지는 실시간성을 확보하면서도 충분한 신뢰성을 담보할 수 있을 만큼 정확해야 한다.
화재 사고를 감지하기 위한 시스템은 화재 발생 시 시스템에 내장된 센서가 어떤 데이터를 측정하는가에 따라 크게 두 가지로 분류할 수 있다. 하나는 화재가 발생함에 따라 나타나는 화염과 연기를 카메라를 통해 감지하는 비디오 시스템이고, 다른 하나는 화재 시 발생하는 주요 화학물질이나 가스, 먼지 농도 등을 감지하는 화학 센서 기반의 시스템이다(Fonollosa et al., 2018; Guar et al., 2019).
인공지능 기술의 비약적 발전과 함께 최근 영상 기반의 화재감지 연구개발은 활발하게 진행되고 있으나, 화학 센서 기반의 화재감지는 다양한 장점과 잠재력을 가지고 있음에도 불구하고 현재 상용화된 형태의 화재감지 센서 시스템 이상의 연구개발이 잘 진행되고 있지 않은 상황이다. 따라서 본 연구에서는 다차원 화학 센서 데이터를 기반으로 딥러닝 모델을 통해 화재감지 성능과 신뢰성을 향상시킬 수 있는 방법에 대해 논하고자 한다.

2. 화학 센서 시스템 기반 화재감지 연구검토

2.1 화학 센서 시스템 기반 화재감지의 장단점

영상 기반의 화재감지의 경우, 산불과 같이 넓은 공간에서의 화재가 발생할 때 유용하게 사용될 수 있으나, 일반적으로 화재 발생 후 일정 단계 이후의 화염과 연기가 포착되는 것이므로 조기 화재 탐지와는 거리가 있을 수 있다(Guar et al., 2019). 이를 보완할 수 있는 것이 화학 센서 기반의 화재감지로, 영상 기반의 화재감지 기술로는 쉽게 모니터링할 수 없는 초기 단계의 화재 생성 물질, 이를테면 일산화탄소(CO), 연기(먼지) 입자, 산소(O2) 농도의 변화 등을 감지하는 센서를 사용하여 시스템을 구축할 수 있다(Milke et al., 2003; Cestari et al., 2005; Chen et al., 2007; Muduli et al., 2019). 또한, 설치가 간편하고 장비 비용이 저렴하며 실시간으로 화재 발생 여부를 모니터링 할 수 있어 화학 센서 기반의 화재감지 시스템은 항공, 해군, 광업, 실내 건물 등 다양한 분야에서 광범위하게 사용되고 있다(Gottuk et al., 2002; Cestari et al., 2005; Elmas and Sönmez, 2011; Fonollosa et al., 2018).
초기에 화학 센서 시스템을 기반으로 한 일반적인 화재 감지기는 주로 단일한 파라미터(parameter)만을 처리하는 방향으로 발전했고, 현재 상용화된 제품들 역시 일산화탄소나 광학 센서를 통해 연기를 감지하는 등 단일 변수 센싱 방식이 주를 이루고 있다(Sivathanu and Tseng, 1997; Adib et al., 2017; Li et al., 2019). 그러나 이러한 단일 파라미터 감지 방식의 센서 시스템은 작동 방식의 단순성으로 인해 오작동 문제를 항상 가지고 있으며, 특히 오감지율(false alarm rate)이 높게 나타난다는 것이 치명적인 단점으로 지적되어왔다(Rütimann, 2014; Park and Nam, 2020). 이에 따라 단일 파라미터 센싱 방식이 아닌 여러 개의 독립적인 센서를 복합적으로 구성한 멀티센서를 활용하거나, 센서 네트워크(sensor network)를 구성하는 등의 다중센서 기반의 화재감지 방법 연구개발이 수행되기도 했다(Gottuk et al., 2002; Cestari et al., 2005; Elmas and Sönmez, 2011; Kim et al., 2011; Fonollosa et al., 2018).
화학 센서 기반의 화재 감지기는 활용성 측면에서 장점이 많아 현재도 널리 상용화되어 사용되고 있으나, 정확한 화재감지 및 판단을 위해서 여전히 해결해야 할 과제들이 남아있다. 특히, 센서의 화학물질 감지 문제를 어렵게 만드는 가장 큰 요인은 화재 종류의 복잡성에 있다. 화재는 발화 물질에 따라 다양한 양상으로 나타난다. Bukowski et al. (2008)에 따르면 화학 센서 기반의 화재 감지기가 분류해야 할 불의 종류는 크게 세 가지로, 화염과 함께 타오르는 불(flaming), 그을음과 다량의 연기를 내며 타는 불(smoldering), 가열 및 조리 시에 필요한 불(heating or cooking)로 범주화할 수 있다. 일반적으로 화염과 함께 타오르는 불은 눈에 보이는 고온의 불꽃을 일으켜 특정 순간에 온도 변화가 갑작스럽게 일어난다. 반면 그을음과 다량의 연기를 내며 타는 불과 가열 및 조리 시에 필요한 불은 화염과 함께 타오르는 불에 비해 열을 비교적 덜 발생시켜 온도 상승이 점진적으로 나타난다는 특징이 있다. 또한, 이 세 종류의 불이 발생시키는 연소 물질, 열분해 물질, 미세 입자는 전반적으로는 유사하나 다소간의 차이를 보이게 된다. 결국, 불이 나는 상황은 발화 원인이 되는 물질에 따라 발생하는 연소 물질, 열분해 물질, 미세 입자 등이 다르며, 화학 센서의 반응이나 민감성을 미세 조정하기가 쉽지 않음으로 인해 화재감지의 복잡성은 증가하게 된다.

2.2 화학 센서 시스템 기반 화재감지 및 판단 알고리즘

센서에서 수집된 데이터를 바탕으로 정확한 화재 발생 상황의 판단을 위해서는 그에 걸맞은 수준의 화재감지 및 판단을 위한 알고리즘이 요구된다(Kim et al., 2011).
가장 대표적으로 사용되는 것은 다중 센서 정보의 임계값(thresholding value) 기반의 화재감지 알고리즘이다(Gottuk et al., 2002; Cestari et al., 2005; Chen et al., 2007). 이러한 임계값 기반의 알고리즘은 특정 연소 물질이나 화재 상황에 대한 지표값이 사전에 정의된 센서의 임계값을 초과하면 화재가 감지되는 간단한 방식으로 작동된다. 화재 상황 및 공학적 지식만 구축되어 있다면 구현 자체는 매우 간단하나, 주요 단점으로는 장기간의 센서 데이터를 고려하지 않고 최근 센서 측정만 활용한다는 것이 있다. 따라서 이러한 방법은 신호에 변동이나 노이즈(noise)가 있을 때 높은 오경보율을 나타낼 가능성이 있다. 또한, 모든 화재 시나리오에 대해 사전 정의된 센서 임계값 정보를 구축하는 것은 불가능하므로 다양한 유형의 화재를 감지하는 데에는 적합하지 않다.
이후의 연구에서는 좀 더 긴 기간의 과거 센서 데이터 측정을 고려하여 화재 모니터링을 위한 다 변량 통계 처리 접근 방식이 제안되기도 했다(McAvoy et al., 1996; Jiji et al., 2003; Cestari et al., 2005). 하지만 이러한 다변량 통계 접근 방법 역시 데이터 처리 과정에서의 차원 축소 문제, 실시간 데이터 처리 문제 등의 문제점들이 제기되면서, 그 유용성에 의문이 제기되어왔다(Croux and Ruiz-Gazen, 2005; Ferraty and Vieu, 2006; Kim et al., 2011).
머신러닝(machine learning), 딥러닝(deep learning)의 발전과 함께 최근에는 인공지능(AI, artificial intelligence) 기술을 이용한 화학 센서 기반 화재감지 및 판단 알고리즘에 대한 연구가 활발히 진행되고 있다. Kim et al. (2011)의 연구에서는 기계학습 알고리즘 중 Locally-weighted learning의 일환으로 LWPR (Locally-weighted projection regression)을 사용하여 다중 센서가 감지하는 온도, 이산화탄소, 연기 변화량에 대한 탐지 정확도를 보정하는 연구를 수행하였다. Wang et al. (2013)은 화재 모니터링에 확률적 신경망(Probablistic Neural Network, PNN), 방사형 기저함수(Radial Basis Function, RBF), 그리고 역전파(Back Propagation, BP)를 활용한 모델을 사용하였다. Zheng et al. (2015)의 연구에서는 화재감지 분류모델을 훈련하기 위해 퍼지 RBF 신경망(Fuzzy RBFNN)을 사용하였다. Beak et al. (2021)의 연구에서는 다중 채널 화재 센서 신호를 통해 얻은 정보를 활용하여 다양한 유형의 화재를 모니터링하기 위해, 머신러닝 및 최적화 기술을 기반으로 한 화재감지를 위한 새로운 접근 방식을 제안하였다. 이 연구에서 주요하게 활용한 알고리즘은 Support vector machine-dynamic time warping kernel function (SVM-DTWK)이며, 화재를 식별하는 새로운 화재 모니터링 프레임워크(framework)를 개발하여 기존 화재 감지기를 개선하는 연구를 수행하였다.
그러나 그동안 연구되어온 화재감지 및 판단을 위한 알고리즘이 기계학습을 기반으로 하고 있으며, 최근 발전한 시계열 기반의 딥러닝 모델을 적용한 연구는 거의 없어 이를 적용했을 경우, 화재감지 알고리즘의 신뢰성과 정확성에 대한 개선 여부 및 정도에 관한 연구가 필요한 상황이다.
따라서 본 연구는 시계열 기반의 딥러닝 알고리즘을 통한 화재 상황 분류모델을 구축하고 성능을 평가함으로써, 신뢰할 수 있는 화재감지 알고리즘을 제안하고자 한다.

3. 다차원 센서 데이터 기반 화재 상황 분류 딥러닝 모델

3.1 화재 상황 모사 데이터 수집

본 연구는 앞서 언급한 바와 같이 딥러닝 기반의 화재 상황 분류를 통해 실효성과 신뢰성 있는 화재감지 모델을 구축하는 것이 목적이다. 그러기 위해 Bukowski et al. (2008)의 연구에서 언급된 화염과 함께 타오르는 불, 그을음 및 연기를 내며 타는 불, 가열 및 조리를 위한 불을 구분할 필요가 있다고 판단했다. 이와 같은 세 가지 화재 상황을 분류할 수 있는 딥러닝 모델을 구축하는 것이 본 연구의 핵심이라고 볼 수 있다.
그런데 앞서 언급한 세 가지 화재 상황은 다소 추상적인 분류로 딥러닝 지도학습의 정답지에 해당하는 레이블(label)로 사용하기에는 무리가 있다. 그래서 보다 명확한 분류기준 마련을 위하여 본 연구에서는 미국의 National Fire Protection Association (NFPA)의 분류기준인 NFPA 10 (Table 1)의 내용을 반영하였다. 발화 원인 물질에 따라 화재진압 방법이나 소화기 종류에 차이가 있어 화재 등급을 따로 두어 관리하는데, 국가마다 조금씩의 차이는 있으나 대부분 대동소이하다.
Table 1
Fire Classifications of NFPA
Class Pictogram Materials Examples
A kosham-2021-21-3-93-g001.jpg Ordinary combustible materials wood, paper, cloth, rubber, and many plastics
B kosham-2021-21-3-93-g002.jpg Flammable liquids and gases gasoline, tars, petroleum gases, oils, solvents, alcohols, propane, and butane
C kosham-2021-21-3-93-g003.jpg Energized electrical equipment computers, severs, motors, transfomers, and appliances
D kosham-2021-21-3-93-g004.jpg Combustible metals magnesium, titanium, zirconium, sodiunm, lithium, and potassium
K kosham-2021-21-3-93-g005.jpg Cooking oils and greases animal and vegetable fats/oils
본 연구에서는 화재의 조기 감지가 가능한 딥러닝 모델 구축이 목적이므로, 인화성이나 폭발성 화재 상황은 화재감지 대상에서 제외한다. 따라서 NFPA 화재 분류기준 중 특수한 화재 상황에 해당하는 B, C, D를 제외한 A와 K급 상황을 화재감지 대상으로 삼았다. 또한, 각 화재 등급에 해당하는 동시에 Bukowski et al. (2008)의 연구에서 제시된 세 가지 화재 상황과도 연관시킬 수 있는 화재 모사 상황 대상물을 선택하여 화재실험을 Table 2와 같이 설계하였다.
Table 2
Fire Simulation Experiment Design
NFPA class Fire situcation classification (Bukowski et al., 2008) Burning material Label
A Flaming wood, paper, tissue, cotton, rubber, sponge, plastic, resin Flaming
K Flaming animal and vegetable fats/oils Flaming
- Smoldering paper (smoldering), food (burning) Nuisance
- Heating (Cooking) food (cooking), gas burner, water (boiling) Heating
- - candle, cigarette, mosquito repellent Nuisance
- Normal - Normal
Table 2에서 나타난 바와 같이 본 연구에서는 딥러닝 기반의 화재감지 알고리즘을 구축할 때 알고리즘의 실용적 측면과 활용성을 강화하기 위해 실생활에서 화재의 원인이 될 수 있는 물질들을 화재실험 대상으로 삼아 화염을 동반한 화재 상황(flaming)으로 레이블링하고, 화재 감지기가 화재 상황으로 착각할 수 있는 상황은 방해 상황(nuisance)과 단순 가열 상황(heating)으로 설정했으며, 대조군으로 평소 상온 상태의 데이터를 수집한 경우를 보통 상태(normal)로 레이블링하였다.
화재 상황 구현은 열 방출률 시험이 가능한 중형 화재 평가 장비인 룸코너 테스터(room corner tester)(부산테크노파크 첨단융복합소재센터 소재)에서 수행하였다(Fig. 1). 총 11종(온도, 습도, O2, CO2, CO, 먼지(PM10, 2.5, 1.0), 연기(Red, Green, IR))의 파라미터를 센싱 할 수 있는 다차원 통합 센서 보드(sensor board)를 일체형으로 자체 제작하여 데이터를 수집하였다. 센서별 자세한 제품규격은 Table 3에 명시하였다.
Table 3
Product Specification of Sensors for Fire Simulation Experiment
Sensor type Product name Specification
Temperature/Humidity HDC1080 (Texas Instruments) • Error
- Temperature: ±0.2 °C
- Humidity: ±2%
• Resolution: 14bit
• Range
- Temperature: -40~125 °C - Humidity: 0%~100%
CO ZE07-CO (WINSEN) • Range: 0~500 ppm
• Resolution: 0.1 ppm
• Warm-up time: under 3 min
• Response time: under 60 sec
CO2 MH-Z19B (WINSEN) • Range: 0~5,000 ppm
• Accuracy: ±50 ppm
• Warm-up time: under 3 min
• Response time: under 120 sec
O2 ZE03-O2 (WINSEN) • Range: 0~25% (Error: ±3.5%)
• Unit: 0.1%
• Response time: under 15 sec
Dust PMS7003 (PLANTOWER) • Range: 0~500 μg/m3
• Resolution: 1 μg/m3
• Efficiency: more than 50%@0.3 μm, 98%@0.5 μm
• Response time: under 60 sec
• Indivisual response time: under 1 sec
Smoke MAX30105 (Maxim Intergrated) • Range: 65,536 counts
• Sampling: 50 units/sec
• Current controlled by each LED: 6.4 mA
• Wavelength by LED: 880 nm (IR), 660 nm (RED), 537 nm (GREEN)
Fig. 1
Room Corner Tester for Fire Test
kosham-2021-21-3-93-g006.jpg
화재 상황 모사 실험을 시작하기 전 정상상태의 데이터를 1분 수집한 후, 특정 물질을 연소시키거나 가열하여 화재 상황을 모사한 데이터를 10분 수집하였다. 센서의 데이터 수집 주기는 1초이고, 1초마다 11개의 파라미터 값이 동시에 센싱 데이터로 저장된다. 동일한 상황을 4~7회 반복하여 실행하였다. 데이터 수집 방법과 관련하여 Table 4에 나타내었다.
Table 4
Experiment Design of Fire Simulation
Burned material Label Simulation time (sec) Records
- Normal 600 14
Wood Flaming 600 4
Paper Flaming 600 4
Tissue Flaming 600 5
Cotton Flaming 600 4
Rubber Flaming 600 7
Sponge Flaming 600 6
Plastic Flaming 600 7
Resin Flaming 600 7
Fats/Oils Flaming 600 5
Food (cooking) Heating 600 7
Gas burner Heating 600 7
Water (boiling) Heating 600 7
Candle Nuisance 600 4
Cigarette Nuisance 600 5
Mosquito repellent Nuisance 600 4
Paper (smoldering) Nuisance 600 5
Food (burning) Nuisance 600 4

3.2 화재 상황 분류 딥러닝 모델 구축을 위한 피처 엔지니어링(Feature engineering)

3.2.1 화재감지 센싱 데이터 스케일링(scaling)

딥러닝 모델을 구축하기 전, 입력 단계에서의 데이터 크기가 상대적으로 차이가 나게 되면, 학습 과정에서 특정한 특징(feature)만이 강하게 학습되고, 나머지 특징들의 효과는 0으로 수렴하여 학습의 의미가 없어지게 될 수 있다. 따라서 각 특징이 수치로 표현되어 있을 때, 상대적인 크기 차이를 제거해주는 과정을 반드시 거쳐야 하는데 이를 데이터 스케일링(data scaling)이라고 한다.
본 연구에서는 파이썬(Python)의 Scikit-learn 라이브러리에서 제공하는 스케일러 패키지 4종(Standard scaler, MinMax scaler, Robust scaler, MaxAbs sclaer)을 센싱 데이터에 직접 적용하여 모델 훈련에 이용한 후, 최적의 스케일러를 학습 모델에 모듈레이션(modulation)하였다. 각 스케일러를 데이터에 적용했을 때, 데이터 값의 변화나 모델의 성능 차이는 크게 없었기 때문에, 본 연구에서는 일반적으로 가장 많이 사용되는 MinMax scaler를 활용하였다.

3.2.2 화재감지 센싱 데이터 기반 LSTM 분류모델 구축

본 연구에서 수집한 화재감지 센싱 데이터는 시간 순서에 의해 수집되는 데이터로, 화재 모사 상황을 분류하는 모델 구축을 위해 본 연구에서는 순차적인 데이터 학습에 유효한 Long Short Term Memory (LSTM) 네트워크 모델을 활용하였다. LSTM은 기본적인 Recurrent Neural Network (RNN) 모델의 장기기억 의존성(long-term dependencies)이라는 단점을 개선한 모델로 현재도 널리 사용되는 모델이다(Hochreiter and Schmidhuber, 1997).
화재감지 센싱 데이터를 LSTM 모델의 입력 데이터로 만들어 주기 위해서는, 학습 화재 상황을 판단하는 데이터의 시간 범위, 즉 시계열 윈도우(time-series window)의 크기와 윈도우를 움직이는 슬라이드(slide)의 크기 결정하는 것이 중요하다. 시계열 윈도우의 크기는 화재 상황을 분류에 필요한 데이터의 양을 의미하며, 슬라이드는 화재 상황을 분류하는 빈도를 의미한다고 볼 수 있다(Fig. 2). 본 연구에서는 시계열 윈도우의 크기는 10, 슬라이드의 크기는 1로 채택하여 데이터셋을 구축하고, 데이터를 셔플링(shuffling) 한 후에 70%는 학습 데이터, 30%는 테스트 데이터로 분리하였고, 다시 70%의 학습 데이터 중 20%를 검증 데이터로 활용하였다.
Fig. 2
Schematic Diagram of the LSTM Classification Model Based on Fire Simulation Sensor Data
kosham-2021-21-3-93-g007.jpg
실제 화재 상황을 분류하기 위해서는 순환신경망을 여러 겹 쌓아 올려 층이 하나인 순환신경망에 비해 더 깊은 추론이 가능한 형태인 stacked LSTM 구조로 구축하였다(Fig. 3).
Fig. 3
The Structure of LSTM Model for the Classification of Fire Situations
kosham-2021-21-3-93-g008.jpg
총 3층의 LSTM 레이어를 쌓아 올렸고, 각 LSTM 레이어 사이에는 30%의 히든 네트워크의 연결을 끊는 Dropout 레이어를 배치하여 과적합(overfitting)을 방지하였고, 그레디언트 배니싱(gradient vanishing)이나 익스플로딩(gradient exploding)을 막기 위해 배치 정규화(batch normalization) 레이어를 배치하였다. 마지막 레이어인 덴스(dense) 레이어에서는 소프트맥스(softmax) 활성 함수를 통해 10초 동안의 11개 피처의 센싱 데이터가 최종적으로 네 개의 클래스에 대한 확률값으로 변환되고, 가장 높은 확률값의 인덱스(index)를 반환하는 argmax 함수를 통해 하나의 클래스 값을 반환하게 된다.

4. 화재 상황 분류 딥러닝 모델 성능 평가 및 검증

4.1 LSTM 모델 화재 상황 분류성능 평가

4.1.1 LSTM 모델 학습 손실(loss) 및 정확도(accuracy)

앞서 구축한 stacked LSTM 모델 기반으로 배치 크기(batch size)는 32, 30 에폭(epoch)을 학습시켰을 때, Fig. 4에 나타난 것처럼 훈련 손실과 검증 손실 모두 우하향 곡선을 그리며 뚜렷한 감소세를 나타내었다. 훈련 손실 값은 최종적으로 0.0282, 검증 손실 값은 0.0212로 나타났다. 같은 맥락에서 최종 훈련 정확도는 99.26%, 검증 정확도는 99.54%로 나타나 과적합 없이 모델의 학습성능은 상당히 우수한 것으로 나타났다.

4.1.2 평가 모델 및 지표를 통한 LSTM 모델 화재 상황 분류성능 검증

Fig. 4
Loss and Accuracy of LSTM Model for Fire Situation Classification
kosham-2021-21-3-93-g009.jpg
LSTM의 분류성능을 평가하기 위해 혼동행렬(confusion matrix)을 구현한 결과를 Fig. 5에 나타내었다. 혼동행렬의 결과에서도 확인해 볼 수 있듯이 4개의 클래스를 거의 오차 없이 분류해내고 있는 것을 확인할 수 있다. 이러한 결과를 기반으로 다음과 같은 분류성능을 나타내는 지표값을 계산할 수 있다.
Fig. 5
Confusion Matrix of Each Class of Fire Situation in LSTM Model
kosham-2021-21-3-93-g010.jpg
(1)
 Accuracy=TP+TNTP+TN+FP+FN
(2)
Precision=TPTP+FP
(3)
Recall=TPTP+FN
(4)
F1 score =2 Precision  Recall Precision + Recall 
TP: True Positive which indicates the number of positive examples classified accurately
TN: True Negative which shows the number of negative examples classified accurately
FP: False Positive value, i.e., the number of actual negative examples classified as positive
FN: False Negative value which is the number of actual positive examples classified as negative
정확도(accuracy)의 경우 모델이 얼마나 각 클래스를 잘 분류해냈는지에 대한 포괄적인 지표 정도의 의미가 있다. 정밀도(precision)는 모델이 예측한 클래스가 실제 클래스와 얼마나 잘 들어맞는지를 의미하는 지표로, 모델의 신뢰도를 나타낸다고 볼 수 있다. 재현율(recall)은 모델이 클래스를 얼마나 실제 클래스와 일치하게 분류했는지를 나타내며, 모델의 실용성과 관련된 척도라고 할 수 있다. 정밀도와 재현율을 동시에 고려한 평가 지표가 F1 점수로 정밀도와 재현율의 조화평균으로 계산한다. 본 연구에서 사용한 LSTM 모델 학습 결과로 얻은 위의 분류성능 지표는 Table 5에 나타내었다.
Table 5
Results of Classification Performance Indices of LSTM Model for Fire Situation Classification
Class Precision Recall F1-score
Normal 1.00 1.00 1.00
Flaming 1.00 0.99 0.99
Heating 1.00 0.98 0.99
Nuisance 0.98 1.00 0.99
Accuracy 0.99
앞서 언급한 분류성능 평가 지표 중, 재현율은 실제의 클래스를 올바르게 분류한 비율로, 민감도(sensitivity) 혹은 참 양성비율(True Positive Rate, TPR)라고도 불린다. 추가로 실제 해당 클래스가 아닌 것을 아니라고 옳게 분류한 비율을 특이도(specificity)라고 하며, 1에서 특이도를 뺀 값은 거짓 양성비율(False Positive Rate, FPR), 혹은 폴-아웃(Fall-out)이라고 한다.
(5)
Specificity=TNFP+FN
(6)
FPR=1Specificity=FPFP+TN
참 양성비율을 y 좌표 거짓 양성비율을 x 좌표에 위치시켜 분류모델의 성능을 평가하는 곡선을 Receiver operating characteristic (ROC) 곡선이라 하며, ROC 곡선의 아래 면적인 Area under curve (AUC) 값이 1에 가까울수록 분류성능이 좋은 모델이라고 할 수 있다. 기본적으로 ROC-AUC를 이용한 분류성능 평가는 이진 분류(binary classification) 모델에서 사용되는데 본 연구에서 구축한 LSTM 기반의 화재 상황 분류모델은 클래스가 총 4개이므로, 4개의 클래스 각각에 대해서 ROC 곡선을 도출한 후, AUC 값을 계산하였다. Fig. 6에 나타난 바와 같이 다른 분류성능 지표와 일관성 있게 각 클래스에 대한 AUC 값은 1.00으로 나타나, 본 연구에서 구축한 LSTM 기반의 화재 상황 분류모델은 분류성능이 매우 우수한 분류모델임을 다시 한번 검증할 수 있었다.
Fig. 6
ROC Curves and AUC Scores of Each Class of Fire Situation in LSTM Model
kosham-2021-21-3-93-g011.jpg

4.2 LSTM 모델 화재 상황 실시간 분류성능 평가

본 연구의 중요한 목적 중 하나는, 구축한 딥러닝 기반의 화재 상황 분류기가 실시간으로 화재 상황을 정확하고 신속하게 분류해내는지의 여부이다. 이러한 부분을 평가하기 위하여, 구축한 LSTM 모델 가중치(weight)를 바탕으로 10초마다 현재 상황에 대한 클래스를 반환하는 형태로 모델을 재구축하였다. 즉, 실시간 화재 상황 분류모델은 센서가 10초 동안 11개의 파라미터에 대한 센싱 데이터를 수집하는 순간부터 1초마다 현재 상태에 대하여 정상(normal), 화재(flaming), 가열(heating), 방해(nuisance) 상황 중 하나의 클래스를 반환하게 된다. 실제로, 난방기가 작동하거나 낮에 햇볕이 강하게 내리쬐어 실내 온도가 28 ℃ 이상 올라가자 실시간 모델이 ‘가열 상태’로 1초마다 판단하는 것을 Fig. 7(a)를 통해 확인할 수 있다. Fig. 7(b)는 실시간 모델을 대시보드(dashboard) 형태로 시각화시킨 것이다. 11개의 파라미터 값의 시간에 따른 변화와 네 가지 클래스에 대해 모델이 얼마의 확률값을 가지고 판단을 내리고 있는지를 확인할 수 있도록 나타내었다.
Fig. 7
Real-Time Fire Situation Classification Model
kosham-2021-21-3-93-g012.jpg
실제 실시간 분류성능은 별도의 테스트 환경에서 새로운 실험을 구성하여, Beak et al. (2021)의 연구에서 사용한 지표를 본 연구의 모델에 맞게 변형한 Eq. (7)Eq. (8)을 사용함으로써 평가하였다.
(7)
FSTA = | TFSTEFST | 10
(8)
FAR(%)=t=10TFST+9I(y^(t)y(t))TFST1×100
TFST: True fire-starting time in each experiment
EFST: Estimated fire-starting time predicted by the model
FSTA: Fire-starting time accuracy, which is the absolute difference between the TFST and the EFST
FAR: False-positive alarms rate raised by the model
I(·): the indicator function
• y (t): the actual class of the observation at time t
y^(t) : the predicted class by the LSTM model at time t
각 지표값에 대해 상술하면 다음과 같다. 첫 번째 지표인 화재 시작 시각 정확도(Fire-starting time accuracy, FSTA)는 실제 화재 상황 모사실험을 시작한 시각인 실제 화재 시작 시각(True fire-starting time, TFST)과 모델에 의해 예측된 추정 화재 발생 시각(Estimated fire-starting time, EFST)의 차이에 절댓값을 취한 값으로 계산하며, 본 연구에서 구축한 모델은 10초의 데이터를 수집하는 시간 지연(time lag)이 발생하므로 10을 추가로 빼주었다. 이 값은 작을수록 모델의 실시간 분류성능이 높다고 볼 수 있는 지표이다.
두 번째 지표는 화재실험이 시작하기 전까지 모델은 계속해서 현재 상황을 기본상태인 ‘정상’ 상태로 인식하고 있어야 하며, 다른 상태로 인식해서는 안 된다. 즉, 실제로 정상상태에서 정상을 제외한 하나의 클래스를 반환하는 오탐(false alarm)이 발생해서는 안 된다. 데이터를 축적하는 10초부터 화재 상황 모사실험 데이터로만 온전히 판단을 내리기 직전의 TFST+9초까지 모델은 지속해서 ‘normal’ 값만을 반환해야 한다. 결국, 위양성탐지율(False-positive alarms rate, FAR)은 이 TFST-1초의 시간 동안 LSTM 모델이 ‘정상’ 이외의 클래스를 반환한 비율을 의미하며 값이 작을수록 실시간 분류성능이 높다고 볼 수 있다.
실시간 분류성능 테스트를 위한 실험 설계와 결과는 Table 6에 나타내었다. 실험 시 화재를 발생시키는 물질의 종류에 따라 EFST는 차이를 보이나, 평균값을 통해 확인해 보면 가열 클래스를 가장 빠르게 감지하고, 뒤이어 화재, 방해 순으로 빠르게 감지하는 것을 알 수 있다. 평균 FSTA 값은 화재에서는 54.28, 가열에서는 35.13, 방해 상황에서는 84.22로 나타났다. 관련하여 Beak et al. (2021)의 연구에서는 머신러닝 기반의 독자적인 실시간 화재감지 모델인 SVM-DTWK를 통해 화재, 가열, 방해 상황 통틀어 평균 FSTA 값이 251.30으로 제시되었으며, 이는 기존의 임계값 센서 방식이나 확률적 신경망 방식으로부터 얻은 FSTA 값보다도 훨씬 개선된 값이었다. 이러한 기존 연구결과를 비추어보았을 때, 본 연구에서 실시간 화재감지 모델 성능 지표로서 제시한 FSTA 값은 최신 연구 성과보다 뛰어난 성능을 나타낸다고 할 수 있다.
Table 6
Experiment Design of Real-Time Fire Situation Classification and the Performance Evaluation
Class Burned material # TFST (sec) EFST (sec) FSTA (sec) FAR (%)
Flaming Paper 1 300 339 29 0.00
2 300 342 32 0.00
3 300 340 30 0.00
4 250 297 37 0.00
5 350 392 28 0.00
Cotton 1 300 365 55 0.00
2 300 359 49 0.00
3 300 362 52 0.00
4 250 309 49 0.00
5 350 411 51 0.00
Class Burned material # TFST (sec) EFST (sec) FSTA (sec) FAR (%)
Flaming Sponge 1 300 370 60 0.00
2 300 362 52 0.00
3 300 363 53 0.00
4 250 313 53 0.00
5 350 417 47 0.00
Plastic 1 300 376 66 0.00
2 300 375 65 0.00
3 300 379 69 0.00
4 250 328 68 0.00
5 350 427 67 0.00
Wood 1 300 385 75 0.00
2 300 382 72 0.00
3 300 378 68 0.00
4 250 323 63 0.00
5 350 427 67 0.00
Average 54.28 0.00
Heating Gas burner 1 300 345 35 0.00
2 300 339 29 0.00
3 300 344 34 0.00
4 250 292 32 0.00
5 350 391 31 0.00
Water (boiling) 1 300 351 41 0.00
2 300 349 39 0.00
3 300 347 37 0.00
4 250 299 39 0.00
5 350 391 31 0.00
Food (cooking) 1 300 348 38 0.00
2 300 352 42 0.00
3 300 344 34 0.00
4 250 291 31 0.00
5 350 394 34 0.00
Average 35.13 0.00
Nuisance Cigarette 1 300 398 88 0.00
2 300 401 91 0.00
3 300 397 87 0.00
4 250 354 94 0.00
5 350 437 77 0.00
Mosquito repellent 1 300 382 72 0.00
2 300 391 81 0.00
3 300 399 89 0.00
4 250 339 79 0.00
5 350 433 73 0.00
Average 84.22 0.00
모든 조건에서 FAR 값은 0.00(%)을 나타내 정상상태에 대한 실시간 분류성능 역시 높은 것을 확인할 수 있다. 화재 모사실험 시 실제 기체나 연기 등이 센서에 영향을 미치는 시간은 화재를 발생시키는 시간과 차이가 있을 것이므로, 이러한 잠재된 변수까지 고려한다면 모델이 화재 상황을 최초로 감지하여 분류하는 시간은 더 빨라질 수도 있다는 것 역시 추정해볼 수 있다.

5. 결 론

화재는 가장 치명적인 인명 재해 중 하나이며 인명 및 재산 손실 측면에서 가장 높은 순위를 차지한다. 이에 따라 화재감지의 정확성과 신속성은 현대 사회가 날마다 개선해 나가야 하는 숙제이며 오늘날에도 많은 연구자가 관심을 가지고 연구개발에 힘쓰는 주제이다. 그럼에도 불구하고, 다양한 화재 유형 상황에서 수집된 화재 센서 신호에 존재하는 다양한 신호 패턴 및 시간 의존성과 같은 고유한 특성을 포착해내는 것은 매우 어렵고 까다로운 일이다. 또한, 그러한 특성을 포착해 화재 상황을 실시간으로 판단하거나 분류하는 것은 더더욱 고도화된 알고리즘을 요구하는 일이다.
이러한 문제를 극복하기 위하여 본 연구에서는 4차 산업혁명 시대, 가장 화두가 되는 딥러닝 기술을 활용하여 정상, 화재, 가열, 방해 상황을 높은 수준의 성능으로 분류해내는 모델을 개발하였다. 이는 최근 연구의 딥러닝 기반 화재감지 연구가 다소 화재 영상분석으로 치우쳐 가는 가운데, 본 연구는 센서 데이터만을 기반으로 딥러닝 모델을 구성하였고, LSTM 모델을 통해 시간 역학적인 변수를 고려하였고, 다중 채널 센서 신호 간의 상호작용을 LSTM 레이어 내 멀티 레이어를 쌓는 형식으로 고려하여 안정적이고 효과적인 모델을 구축했다는 데에 그 의의가 있다.
본 연구에서는 하이퍼 파라미터 튜닝(hyper- parameter tuning)을 통한 모델 고도화나 피처 엔지니어링(feature engineering)을 통한 피처 전시회(feature selection) 등의 과정은 생략한 채, 가장 초기화된 형태의 모델 성능만을 평가했으므로, 향후 고도화된 형태의 화재 분류모델 성능 역시 연구의 대상이 될 수 있을 것으로 판단된다. 또한, 본 연구에서는 분류모델을 구축하였으나 현재 센싱 데이터를 기반으로 미래의 값을 예측할 수 있는 예측 모델이 실제 화재감지에는 실용적일 것으로 판단되는바, 향후 연구로서 충분한 가치가 있을 것으로 사료된다.

감사의 글

본 연구는 산업통상자원부의 재원으로 안전기술상용화플랫폼구축사업(P0003951)의 연구비 지원을 받아 수행되었습니다.

References

1. Adib, M, Eckstein, R, Hernandez-Sosa, G, Sommer, M, and Lemmer, U (2017) SnO2 nanowire-based aerosol jet printed electronic nose as fire detector. IEEE Sensors J., Vol. 18, No. 2, pp. 494-500.
crossref
2. Baek, J, Alhindi, T.J, Jeong, M.K, Jeong, Y.S, Seo, S, Kang, J, et al (2021) Real-time fire detection algorithm based on support vector machine with dynamic time warping kernel function. Fire Technol., Vol. 195, pp. 1-25.
crossref pdf
3. Bukowski, R, Peacock, R, Averill, J, Cleary, T, Bryner, N, and Reneke, P (2008). Performance of Home Smoke Alarms, Analysis of the Response of Several Available Technologies in Residential Fire Settings. Technical Note (NIST TN), National Institute of Standards and Technology, Gaithersburg, MD.
crossref
4. Cestari, L.A, Worrell, C, and Milke, J.A (2005) Advanced fire detection algorithms using data from the home smoke detector project. Fire Safety J., Vol. 40, No. 1, pp. 1-28.
crossref
5. Chen, S.J, Hovde, D.C, Peterson, K.A, and Marshall, A.W (2007) Fire detection using smoke and gas sensors. Fire Safety J, Vol. 42, No. 8, pp. 507-515.
crossref
6. Croux, C, and Ruiz-Gazen, A (2005) High breakdown estimators for principal components:The projection- pursuit approach revisited. J. Multivariate Anal., Vol. 95, No. 1, pp. 206-226.
crossref
7. Elmas, C, and Sönmez, Y (2011) A data fusion framework with novel hybrid algorithm for multi-agent Decision Support System for Forest Fire. Expert Syst. Appl., Vol. 38, No. 8, pp. 9225-9236.
crossref
8. Ferraty, F, and Vieu, P (2006). Nonparametric functional data analysis:theory and practice. Springer Science &Business Media.
crossref
9. Fonollosa, J, Solórzano, A, and Marco, S (2018) Chemical sensor systems and associated algorithms for fire detection:A review. Sensors, Vol. 18, No. 2, pp. 553.
crossref pmid pmc
10. Guar, A, Singh, A, Kumar, A, Kulkarni, K.S, Lala, S, Kapoor, K, et al (2019) Fire sensing technologies:A Review. IEEE Sens. J., Vol. 19, No. 9, pp. 3191-3202.
crossref
11. Gottuk, D.T, Peatross, M.J, Roby, R.J, and Beyler, C.L (2002) Advanced fire detection using multi-signature alarm algorithms. Fire Safety J., Vol. 37, No. 4, pp. 381-394.
crossref
12. Hochreiter, S, and Schmidhuber, J (1997) Long short-term memory. Neural Comput., Vol. 9, No. 8, pp. 1735-1780.
crossref pmid
13. JiJi, R.D, Hammond, M.H, Williams, F.W, and Rose-Pehrsson, S.L (2003) Multivariate statistical process control for continuous monitoring of networked early warning fire detection (EWFD) systems. Sensor. Actuat. B-Chem., Vol. 93, No. 1-3, pp. 107-116.
crossref
14. Kim, W.J, Kim, B.J, and Chung, K.S (2011) Machine Learning based Fire Detection Method in Sensor in Wireless Sensor Networks. Proceedings of Symposium of the Korean Institute of Communications and Information Sciences, 2011) No. 6, pp. 998-999.
crossref
15. Li, J, Yan, B, Zhang, M, Zhang, J, Jin, B, Wang, Y, and Wang, D (2019) Long-range raman distributed fiber temperature sensor with early warning model for fire detection and prevention. IEEE Sensors J., Vol. 19, No. 10, pp. 3711-3717.
crossref
16. Lin, G, Zhang, Y, Xu, G, and Zhang, Q (2019) Smoke detection on video sequences using 3D convolutional neural networks. Fire Technol, Vol. 55, No. 5, pp. 1827-1847.
crossref pdf
17. McAvoy, T.J, Milke, J, and Kunt, T.A (1996) Using multivariate statistical methods to detect fires. Fire Technol., Vol. 32, No. 1, pp. 6-24.
crossref pdf
18. Milke, J.A, Hulcher, M.E, Worrell, C.L, Gottuk, D.T, and Williams, F.W (2003) Investigation of multi-sensor algorithms for fire detection. Fire Technol., Vol. 39, No. 4, pp. 363-382.
crossref
19. Muduli, L, Mishra, D.P, and Jana, P.K (2019) Optimized fuzzy logic-based fire monitoring in underground coal mines:binary particle swarm optimization approach. IEEE Syst. J., Vol. 14, No. 2, pp. 3039-3046.
crossref
20. National Fire Agency (2020) Fire Statistical Yearbook, 2019.
crossref
21. Park, J.K, and Nam, K (2020) Implementation of Multiple Sensor Data Fusion Algorithm for Fire Detection System. J. Korea Soc. Comp. Inf., Vol. 25, No. 7, pp. 9-16.
crossref
22. Park, M, and Ko, B.C (2020) Two-step real-time night-time fire detection in an urban environment using Static ELASTIC-YOLOv3 and Temporal Fire-Tube. Sensors, Vol. 20, No. 8, pp. 2202.
crossref pmid pmc
23. Rütimann, L (2014). Reducing False Alarms (A Study of selected European Countries). Technical Report, Siemens Switzerland Ltd.
crossref
24. Sivathanu, Y.R, and Tseng, L.K (1997) Fire detection using time series analysis of source temperatures. Fire Safety J., Vol. 29, No. 4, pp. 301-315.
crossref
25. Wang, X.G, Lo, S.M, and Zhang, H.P (2013) Influence of feature extraction duration and step size on ANN based multisensor fire detection performance. Procedia Engineer., Vol. 52, pp. 413-421.
crossref
26. Zheng, D, Wang, Y, and Wang, Y (2015) Intelligent Monitoring System for Home Based on FRBF Neural Network. Int. J. Smart Home, Vol. 9, No. 2, pp. 207-218.
crossref


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
AUTHOR INFORMATION
Editorial Office
1010 New Bldg., The Korea Science Technology Center, 22 Teheran-ro 7-gil(635-4 Yeoksam-dong), Gangnam-gu, Seoul 06130, Korea
Tel: +82-2-567-6311    Fax: +82-2-567-6313    E-mail: master@kosham.or.kr                

Copyright © 2024 by The Korean Society of Hazard Mitigation.

Developed in M2PI

Close layer
prev next