소방 구조 활동을 위한 실시간 영상 개선 시스템에 대한 연구

A Study on the Real-time Image Enhancement System for Fire Rescue Efforts

Article information

J. Korean Soc. Hazard Mitig. 2017;17(01):183-192
Publication date (electronic) : 2017 February 28
doi : https://doi.org/10.9798/KOSHAM.2017.17.1.183
김상준*, 임태섭**, 석재왕
* Member, Aiview Technology CTO, Department of Disaster & Security Management, Konkuk University
** Member, Professor, Department of Architecture Engineering, Seoil University
***Corresponding Author, Member, Professor, Department of Security and Disaster Management, Konkuk University (Tel: +82-2-450-4183, Fax: +82-2-3437-6610, E-mail: sjwang3670@hanmail.net)
Received 2016 August 28; Revised 2016 August 30; Accepted 2016 November 15.

Abstract

시대의 변화에 따라 각종 재난 화재의 종류와 사고들이 많이 발생하고 있는 것이 현실이다. 사고 현장에서 발생하고 있는 고온의 화재, 연기 및 암흑 속에서의 구조 활동은 치명적인 위험을 초래할 수 있기 때문에 현장의 상황을 신속, 정확하게 판단할 수 있는 휴대용 영상감시, 감지 장비 기술 개발이 시급하다. 본 연구에서는 재난사고 화재와 어두운 상황에서도 연기를 투시하여 선명한 영상을 화면을 획득할 수 있는 광학 카메라 장치와 디스플레이 영상저장 장비기술을 개발을 통해 실시간 영상을 개선할 수 있는 방안을 제시한다. 이 같은 기술의 개발로 다음과 같은 효과를 기대할 수 있을 것이다. 첫째는 건물 내 출입 통로를 식별할 수 있어 생존자와 부상자의 신속한 구조가 가능하다는 점이다. 둘째는 카메라의 줌 기능을 활용하여 특정 지역에 대한 집중적인 구조가 가능하여 조난자의 수색이 용이하다는 점이다. 셋째는 카메라의 영상개선 장치를 통하여 열악한 환경에서도 구조대원의 안전을 도모할 수 있다는 점이다. 광학카메라 및 일반카메라 영상을 비교 분석한 결과, 이 같은 영상 개선 효과는 확인할 수 있었으며, 향후 소방안전 및 인명 구조 등 분야에서 광범위하게 활용될 것으로 관측된다.

Trans Abstract

The patterns of fire accidents have been diversifying along with the industrialization and the urbanization of the modern societies. The fire accidents are becoming more and more fatal both in the high rise buildings and in the plants with toxic-agents. However, the fire fighting authorities fall far short of technologies to cope with the severe fire accidents. The fire fighters in the field are confronting deadly situations without necessary equipments. In order to improve the current imbalance, the development of the portable detection device is urgently required more than anything else. This paper suggests the technologies of improving real time image both applied by optical camera device and by display image storage device. Those divices enable the fire fighters to secure vivid image from the dark and the smoky fire sites. With the development of these technologies, the following effects can be expected. First, quick rescue of the survivors and the wounded is possible by locating the entrances of the sites. Second, the zoom function of camera can facilitate the detection of the sufferer. Third, the image enhancement device of camera can help securing the safety of fire fighters. As a matter of consequence, the effect of image enhancement of these technologies is verified by comparing the optical cameras and the ordinary ones through research. These technologies are expected to be widely used in the area of fire fighting and life saving.

1. 서론

한국은 위험사회에 진입함에 따라 각종 안전 사고가 빈번하게 발생하고 있다. 최근 도시 건축물이 고층화되고 대규모화됨에 따라 각종 재난사고 또한 대형화 되고 있다. 특히 규모가 큰 화재나 폭발과 같은 화재 현장에서의 진압여부는 소방대원들의 개인 경험과 장비성능에 의해 결정된다. 인명구조 활동에 참여하는 소방 구조대원들은 매년 수많은 사상자를 발생되고 있는 것이 현실이다. 따라서 화재 사고 현장에서 구조대원들이 인명과 탐색, 구조 활동을 안전하게 할 수 있도록 하는 보조 장비의 개발이 시급한 상황이다. 특히, 화재 현장의 경우 연기로 인해 구조 활동이 지연되거나 구조원들에게 치명적인 결과가 발생할 수 있기 때문에 현장의 상황을 빠르고 정확하게 판단할 수 있는 휴대용 영상 감시와 감지 장치의 관련 기술 개발이 필요한 실정이다.

국민안전처의 발표 자료에 따르면 2010년 한해 41,862건의 화재가 발생한 것으로 나타났다. 구체적으로 보면 일일 평균 115건의 화재로 인해 년 평균 인명피해 1,892명(사망 304명, 부상 1,588명)이며, 재산 피해액 2,667억 원에 이르는 것으로 집계되었다. 년도 별 화제의 현황과 피해액은 Table 1과 같다.

Fire & Casualties Status

Table 2는 년도 별 소방관 순직 및 공상자 현황을 나타내고 있는데, 이 역시 본 연구의 당위성을 방증해준다.

Fire Fighters who Died and Injured Status

화재 예방과 화재발생 후 진압과 인명구조를 위한 기술 개발의 당위성은 아무리 강조해도 지나치지 않는다. 화재에 의한 조난자 발생과 연기에 의한 사고의 치사율이 매우 높다. 따라서 화재발생시 구조대원들의 안전을 도모하기 위한 화재 진압 및 구조용 안전 장비와 보조 장비 개발이 요구 된다 있다. 본 연구는 효율적인 구조 활동을 통해 인간의 생명과 재산을 보호하기 위한 장비를 개발 하여, 재난 화재발생시 연기를 투시하고, 실시간 동영상을 확인 할 수 있는 장비와 시스템을 개발하고 적용 가능성을 모색하는데 그 목적이 있다. 아래 Table 3은 화재 현장에서의 문제점과 이에 따른 영상 개선장비 개선 필요성을 보여주고 있다.

Fire Status and Problems

이에 본 연구에서는 다음과 같은 세 가지의 효과를 기대할 수 있을 것이다.

첫째, 방독면을 착용하고 작업을 해야 하는 상황이나 연기와 어둠 속에서도 진출입 통로를 식별할 수 있어 생존자 및 부상자들의 신속한 구조가 가능하다.

둘째, 카메라의 줌 기능을 이용하여 특정 지역에 대한 집중적인 구조를 가능하게 함으로써 조난자의 수색을 용이하게 한다.

셋째, 카메라의 영상개선 장치를 통하여 열악한 소방 환경 내에서도 구조대원 및 소방관 안전을 도모하는 구조 장비로서의 활동도 기대된다.

2. 연구동향 및 방법

2.1 국내 관련 기술 동향 및 제품사례

국내의 모든 열화상 카메라 제품은 물체나 그 표면의 온도를 실제로 측정해 가상의 컬러 이미지를 만들어 열 분포 상태를 더 쉽게 파악할 수 있도록 해 주며 이 때 열화상 카메라를 통해 만들어진 이미지를 열화상이라 부른다. 국내의 열화상 카메라의 가장 큰 장점은 위험성이 없고 대상물을 파괴하지 않으면서 인체에 무해한 방식으로 측정할 수 있다는 것이며 사고 현장 사항에서 인명구조와 탐색 활동 유용하게 활용될 것이다.

또한 국내의 감시 카메라 영상개선 분야인 관제 프로그램 소프트웨어로 처리하는 기술은 부분적으로 활성화가 되어 있으나 하드웨어적으로 영상개선 분야에 대한 기술 개발은 전무한 상태이다. 감시 카메라의 영상개선 요구는 KBS방송에서 천안함 피격 침몰한 사건 후 천안함 인양 작업 속보를 방송할 때 서해바다 속이 진한 해무와 태양 위치 변화로 인한 역광으로 방송 영상을 확보하기 어려웠으나 스웨덴 Lyyn사의 Hawk 시스템을 이용하여 영상을 실시간으로 복원하여 방송하였다. 방송 이후 군부대에서 고성능 감시 시스템에 대한 개발 요구가 지속적으로 제기되고 있다. 유사한 기능을 가진 제품으로 Table 4와 같은 제품이 현재의 현황이다.

Domestic Product Penetration into that Image Enhancement

2.2 국외 관련 기술 동향

국외에서는 오래 전부터 군사용 목적으로 열 영상 카메라와 감시용 무인 카메라가 적용되고 있는 것으로 조사되고 있다.

현재 판매 사용되고 있는 미국 Bullard사와 스웨덴 Lyyn사의 제품이 있다. 최근 일본의 Rohm사에서 개발한 전자식에서 악 조건의 화재 현장인 연기속에서도 영상을 개선을 할 수 있는 IC(BU6521KV)을 개발 공급 하면서 국외 및 국내의 다수 업체에서 이 IC를 이용하여 부가 회로만 첨가하여 개발한 제품이 출시되고 있다.

이렇게 전 세계 시장에 출시된 영상개선 제품은 SD급 정도의 영상용만이 개발되어 있으나 감시카메라 시장이 HD급 메가 픽셀용 카메라로 급격히 변화 하고 있다. 이와 같이 국제적으로 생산 판매되고 있는 제품은 Table 5와 같다.

International Image Enhancement Product Status

3. 연기 검출 연구 분석

3.1 개발 기술의 개요

본 연구에서 제시한 기술은 열악한 화재 현장의 악천후 상황에서도 영상개선을 통하여 선명한 영상을 획득할 수 있는 광학 카메라 장치와 디스플레이 장치 및 영상저장 장치를 개발하고자 한다. 본 기술은 실제 재난화재 현장에서 실용도가 매우 높은 기술 제품이다. Fig. 1은 개발품의 시스템 구성도로서 비디오 디코더 영상개선 FPGA 비디오 엔코더와 32비트 MCU 카메라와 LCD 제어회로 등으로 구성된다.

Fig. 1

System Composition

Fig. 2에서는 연기 검출 연구 분석 시스템 블록의 개념으로 분석하였다. 시스템 개념과 같이 화재 현장에서 발생하는 연기는 화재 진압과 인명구조 활동에 많은 영향을 미치게 된다. 이러한 조건을 극복하기 위해 화재현장에서 발생하는 연기를 보정할 수 있는 알고리즘 및 장비를 연구 분석하였다. 카메라를 통하여 입력 받은 영상자료는 영상처리부에서 노이즈 제거 및 연기를 보정한 후 영상저장 장치와 영상표시부에 각각의 개선된 영상신호를 전송하였으며 전원 부는 건전지로부터 입력된 전원을 12V와 5V로 각 부분별로 공급되었다. 또한 영상 저장 부는 SD카드를 이용하여 개선된 영상신호를 실시간으로 저장하고 영상 표시부에서는 LCD 표시장치로 선명한 화질을 사용자에게 전달되는 것으로 확인되었다.

Fig. 2

System Block Diagram

3.2 연기 검출 알고리즘

실제 화재 현장에서는 암흑색의 연기와 함께 화염이 분출되고 있어 카메라 사용에서 현장의 사물을 파악하는데 어려움이 발생한다. 카메라에 들어오는 영상물에 연기가 포착 되고 연기의 밀도에 따라 카메라의 영상을 보정하도록 하는 기술이 필요하다. 이렇게 입력된 영상에서 연기가 존재하는 지를 판단하기 위해서는 우선 연기의 특징을 정의하고 원색과 다르게 나타나는 특징을 추출해야 한다.

특히 화재의 현장에서 영상물에 검출되는 연기의 특징으로는 첫 번째로 전체적인 영역들이 보통 영상에 비해 밝은 값을 가지는 화소와 검은색 값을 가지는 화소들이 많이 존재한다는 것이다. 두 번째로 영상에서의 거리에 따라 물체들의 윤곽선이 선명하지 않게 보인다는 것이다. 세 번째로 색상에서의 채도 성분이 많이 떨어진다는 것으로 이는 연기로 인해 흰색 성분이 노이즈와 같은 형태로 추가된 것과 동일하게 생각할 수 있다.

연기가 낀 영상에서는 사물의 윤곽선이 뚜렷하게 나타나지 않기 때문에 보통 영상에 비해 에지 성분의 검출이 매우 어렵다. 또한 영상에 노이즈 성분이 강하게 발생한 효과와 유사하기 때문에 색상의 정보를 올바르게 추출하기에도 어려움이 있다. 이러한 연기의 특징과 현상을 보완하기 위한 처리 단계로 영상 대비 도를 향상시키고 색상을 원색에 가깝도록 처리하는 과정이 필요한 것으로 분석되었다. 이와 같이 카메라 영상의 대비를 향상시키는 보편적인 알고리즘들이 많이 존재 하지만 연기와 같이 전반적으로 흐려지는 영상 화면에 대해서는 잘 적용되지 않는 것을 볼 수 있다.

입력 영상에 대해서 연기의 유무와 밝기를 판단할 수 있도록 제안하는 연기 검출 알고리즘의 흐름으로 진행하였다. 첫 번째 영상이 입력되었을 경우 입력된 영상물을 분석하여 사용 할 관심영역을 지정하고 해당 픽셀들을 추출 하였으며 이러한 관심 영역은 카메라에서 거리가 멀고 연기 화소만 존재하는 부분으로 지정하였다. 또한 관심 영역에서 추출된 픽셀들의 밝기 성분에 대한 평균과 표준 편차를 구하고 이 분포를 가우시안으로 모델링하여 분석하였다. 카메라에서 영상물을 주출하여 Fig. 3과 같은 방법으로 분석 진행 하였다.

Fig. 3

Smoke Detection Algorithm Flowchart

3.3 알고리즘 모델 분석

알고리즘으로 입력된 영상에 대한 히스토그램을 구하고 앞에서 계산된 가우시안 평균거리 m과 편차 σ를 이용하여 m-2σ~m+2σ 범위 내에 존재하는 화소 수를 계산하고 이때 전체에 대한 화소 수에 대한 비율을 계산하여 해당 화소 수가 전체의 60%이상이고, 표준 편차가 15이내에 존재하는 경우 입력 영상에 연기가 존재한다고 판단하고, 그렇지 않을 경우는 보통 영상으로 판단 분석하였다. 디지털에서 화소는 하나의 점이기 때문에 사진 및 영상으로 만들어지기 위해서는 화소 수가 많으면 많을수록 화질과 해상도가 좋은 것으로 알려져 있다.

Fig. 4에서 보듯이 (a)검은 연기의 경우 히스토그램에서 어두운 영역 즉 낮은 값을 가지는 화소들의 분포가 상대적으로 많이 분포되어있다. (b)하얀 연기의 경우 히스토그램에서 밝은 영역 즉 높은 값을 가지는 화소들의 분포가 상대적으로 많이 분포되어 있고 또한 (c)일반적인 영상의 경우 히스토그램의 분포가 연기 영상에 비해 넓은 대역에 걸쳐 화소가 분포되어 있는 것으로 확인되었다. 이러한 것은 화재의 특징을 일반화 하여 영상의 히스토그램에서의 밝은 값 또는 어두운 값을 가지는 성분들의 형태로 분석되어 영상의 속에 연기가 존재 한다고 할 수 있다.

Fig. 4

Smoke Histogram

3.4 감마 검출 방법

영상의 평활 화를 사용하지 않고 감마변환을 이용하는 목적은 하드웨어 재원을 최대한 사용하기 위함이다. 연기가 많이 발생하는 경우 일반적으로 한 프레임의 휘도의 분포가 한 쪽에 집중적으로 분포하고 있다. 어떠한 상황에 따라 휘도분포는 다소 차이가 있을 수 있다. 하지만 대부분 휘도는 고 계조에 위치하고 있다. 이러한 원리를 이용하기 위해 감마값을 변화시키는 방법을 사용하였다.

Fig. 5은 원형상에 감마값을 적용했을 경우 나타낸 히스토그램 그래프이다. 연기가 발생하면 고 계조에 많은 영상들이 분포하게 된다. 여기서 식 (1)과 같이 0에서 255까지 범위중 일정구역을 나누어서 가중치를 적용한다. 감마값을 적용하면 저 계조 부분으로 전체적인 히스토그램이 수행하였다. 또한 더 높은 가중치를 적용하면 히스토그램은 저 계조 방향으로 더욱 이동하는 것을 볼 수 있다. 이렇게 한 프레임의 전체화소를 저 계조 방향으로 분포시키는 방법을 수행하였다.

Fig. 5

Position Change of Gamma Curve

(1)Y=Xγ(0X255)

하나의 감마값을 적용할 경우 명암대비가 높아지지만 전체적인 영상은 어두운 쪽으로 치우치는 현상이 발생된다. 그러므로 저 계조 부분을 보면 원 영상에 비하여 저 계조에 상당히 많은 영상신호가 분포하는 것을 확인 할 수 있다.

특히 휘도가 ‘0’인 계조 값은 감마값 적용 전 거의 분포하지 않지만 최종적으로 많이 늘어난 것을 알 수 있다. 이로 인하여 영상의 어두운 부분이 많아져 전체적인 화질을 저하시킨다. 이러한 단점을 극복하기 위해 감마값을 단계적으로 적용하는 방법으로 다음과 같은 식으로 적용하였다. 식 (1)에서는 감마값을 적용하지 않는 경우에는γ = 1일 때 선형적으로 표현되어 입력되는 영상은 그대로 출력되었다. 또한γ 값을 조금씩 증가시키면 저 계조에서 고 계조로 갈수록 감마값을 2차 함수의 그래프로 비선형적으로 영상이 변화하였다. 측정은 Red, Grn, Blu 등의 각각에서 측정된 데이터 값을 제어부에서 선택하여 가중치에 적용하는 방법으로 수행하였다. Fig. 6은 감마 변환부의 블록도 현황이다.

Fig. 6

Gamma Conversion

또한 Table 6과 같은 조건으로 입력 및 출력 데이터 값으로 입력하여 수행하였다.

LUT for Color Sapce Conversion

3.5 영상 스트레칭 방법

감마보정에 의한 영상처리가 진행되면 고 계조에 분포하는 영상 데이터가 저 계조에 고루 분포한다. 분포된 영상 데이터에 영상스트레칭 기법을 사용하여 보다 높은 명암대비를 얻을 수 있도록 설정하였다. 영상 스트레칭 방식으로 최대 화소값과 최소 화소값을 영상 상황에 맞게 변화시킬 수 있도록 설정하여 진행하였다.

Fig. 7의 분석 결과와 같이 연기의 강도가 강하거나 영상데이터가 중간에 집중 분포되어 있는 경우를 대비하여 스트레칭의 강도를 조절하는 기능으로 제어는 마이크로프로세서에서 수행하였다.

Fig. 7

Image Stretching Clock Diagram

Fig. 8은 영상스트레칭이 수행하여 중간에 분포한 데이터가 최대의 화소값과 최소의 화소값에 따라 균등하게 분포하는데 여기서 최대 화소 값과 최소 화소값의 수치를 매우 크게 하면 최종적으로 0과 255의 데이터 값만이 존재하게 된다. 따라서 정확한 화면 보정을 수행하기 위해서는 연기 발생 농도에 따라 수치의 입력 값으로 조절이 되어야 한다. Table 6의 수치 기준으로 Fig. 8의 현상을 분석할 수 있다.

Fig. 8

Variation of the Histogram After Stretching

4. 기구 디자인 모델

Fig. 9에서 프로토 타입의 모델에서 화재 현장 환경은 매우 열악한 상태로 화염과 소화물, 현장의 장해물 등으로부터 보호가 될 수 있도록 방진 방수 등을 고려한 제품과 휴대성과 조작성이 용이하도록 개발된 제품이 요구되고 있다.

Fig. 9

Prototype Model

국외에서 사용되는 제품은 이러한 사항을 고려하여 제작되었기 때문에 기존 제품을 벤치마킹하여 국내 현실과 제품의 특성을 고려하여 개발설계를 하였다. 따라서 개발품의 기구학적 측면에서 긴급하고 열악한 환경에 적합한 구조로 운용성이 높아야 하고 이동 및 사용 중에 충격에 대해 내구성을 확보 할 수 있어야 하며 방독면을 착용한 상황에서도 쉽게 식별이 가능한 수준의 크기로 모니터가 제작되어야 한다. 또한 방화 장갑을 착용한 상태에서도 휴대 및 조작이 용이하여야 하고, 제품의 재료는 가볍고 화재에 견고하며 내구성이 탁월하여 장시간 사용해도 인체에 부담을 최소화할 수 있는 제품으로 설계되고 있다. 이렇게 사용 질감을 좋게 할 수 있는 표면처리가 되어야 하며 부분적 표면처리는 칼라 아노다이징을 적용하여 외부 충격에도 장비 손상을 최소화할 수 있도록 사용자 중심에서의 최적화로 개발하였다.

5. 실험 결과 및 분석

5.1 연기 영상 개선 출력장치 성능시험

본 연구에서 개발한 연기 속 영상물을 판단하는 출력장치 개발은 연구실 내부에 연기를 발생후 실제 화재 환경을 모델링하여 구성한 후 일반 카메라의 성능과 비교하여 영상을 분석 하였다.

Fig. 10(a), (b)에서는 개발된 연기투시 영상 출력장치를 사용한 영상으로 시험 실시 전·후에 두 영상을 비교한 영상물이다.

Fig. 10

Compare Test Result 1

첫 번째 실험은 외부의 빛에 영향을 받는 경우에 연기속의 영상 개선 출력장치를 이용한 성능 시험으로 일반 카메라영상과 비교한 영상물에서 연기투시 영상 출력장치의 영상은 명암비가 높아 우수한 성능을 나타내고 있음을 알 수 있다. Fig. 10(c), (d)와 같이 창 외부에서 들어오는 빛의 영향에 의하여 창 부분의 영상이 히스토그램 의 평활 알고리즘으로 더욱 밝아진 것을 알 수 있다.

두 번째 실험은 연기 영상개선 출력장치의 성능을 극대화하기 위해서 IR조명과 LED조명으로 적색 레이저포인터와 렌턴 등 다양한 조명기기를 사용하여 시험을 실시하였다. Fig. 11(a)는 연기 발생 전 화면의 모습이며, Fig. 11(b)에서는 동일한 조건에서 연기 발생 20-30분 후 일반 카메라로 촬영한 영상이며, 화면에 영상이 전혀 나타나지 않음을 확인 할 수 있다. 시간이 약 20분에서 30분 소요되는 것은 실험장소가 20×20m로 매우 넓은 장소이기 때문이다. Fig. 11(c)은 연기 발생 후 IR조명을 장착하여 연기투시 전송장치를 사용한 영상으로 밝은 명암을 확인할 수 있다. Fig. 11(d)에서는 랜턴을 사용한 연기 영상 개선 출력장치 영상이다. 실험 조건은 야간 및 연기가 발생되고 밀폐된 장소에서 최대한 암실에 가깝게 실험장소를 만들어 실시하였다.

Fig. 11

Compare Test Result 2

연기 영상개선 출력장치 성능시험을 통하여 일반 카메라의 경우에는 야간 및 빛이 없는 상황에서 약간의 조명을 비추었을 경우 화면의 변화가 전혀 없는 것으로 확인되었다. 또한 연기 영상 개선 출력장치에 IR조명을 부착하여 촬영한 경우에는 Fig. 11(c)와 같이 연기 입자에 의한 난반사로 물체의 식별이 불가능 할 정도로 시야 확보가 되지 않았다.

Fig. 11(d)에서는 랜턴을 사용하여 창의 외부 빛은 랜턴에 비하여 상대적으로 어두워져 전체 영상의 밝기 레벨이 더욱 세분화 되어 표현되는 것을 알 수 있다. 앞의 실험으로 개발하는 연기투시 영상 개선 출력장치가 조명기구와 함께 사용 시 자체의 성능을 더욱 높일 수 있다는 것을 확인 되었다. 보다 정확한 연기농도와 휘도 값을 측정하기 위하여 휘도 측정 장비 CS-200과 연기 농도 측정 장비 OP100을 사용하였다. Table 7에서 확인하였듯이, 시간이 지날 수 록 연기농도가 짙어지고, 휘도는 감소되는 것을 확인하였다.

Smoke Concentration and Luminance

Image Identification Performance

5.2 연기 영상 개선 출력 장치 공인 시험

개발품의 성능 신뢰성 확보를 위하여 국가공인시험기관에서 성능시험을 수행하였다. 또한 실험 공간에서 10-20분 경과 후 연기가 차면 랜턴을 이용하여 암실 내부를 확인한 후 외부의 제어실에 설치된 모니터링 시스템을 이용하여 영상 개선 카메라와 일반 카메라의 영상 결과를 비교 분석하였다.

Fig. 12는 일반카메라와 연기투시 영상 개선 카메라(시험체) 설치와 암실내부의 실험 환경 장소를 보여주고 있는 모습이다.

Fig. 12

Camera Installed in Smoke Test Place

5.2.1 실험 장비

Fig. 13의 휘도 측정 장비 CS-200과 Fig. 14의 연기 농도 측정 장비 OP100을 사용 하여 암실 내부의 휘도와 연기의 농도를 확인하였다.

Fig. 13

Luminance Measurement (CS-200)

Fig. 14

Smoke Concentration Measurement (OP 100)

5.2.2 실험 결과

개발된 영상개선 카메라와 일반 카메라의 성능을 비교 분석하기 위하여 Fig. 15(a)와 같이 하나의 모니터에서 두 개의 비교 영상을 모두 표시하도록 하였다. 10분에서 20분 경과후 우측 일반 카메라는 전혀 물체를 인식할 수 없는 암흑 상태로 표현이 되었고, 좌측 영상개선 카메라는 암실 내부에 연기가 가득 차 있는 상태에서도 선명한 영상을 표시하였으며 피사체로 설정한 마네킹 모습도 일반 카메라 영상과 비교 결과 선명하게 나타남을 알 수 있었다.

Fig. 15

Compare Test Result 3

Table 9Table 10, Table 11에서는 실험의 시간별 식별 가능한 연기 농도 및 휘도 현황을 표현 하고 있다. 연기의 농도가 10-20분 경과하면서 암실 내에 연기가 가득 찬 후 두 영상을 비교 분석한 결과 영상의 선명도 측면에서 크게 차이가 남을 알 수 있었다.

Smoke Concentration and Luminance (1)

Smoke Concentration and Luminance (2)

Image Identification Performance

6. 결론

본 연구는 소방대원들이 안전하고 신속하게 인명 탐색과 구조 활동을 할 수 있도록 보조 및 보호 장치로서 소방용 영상 출력장치를 개발⋅제시하였다.

화재나 폭발과 같은 화재현장에 진입하는 소방인력의 업무 수행의 효과성과 안전성 여부는 개개인의 경험과 숙련도, 그리고 개인장비의 성능에 의해 결정된다. 개발된 영상개선 카메라와 일반 카메라의 성능을 비교, 분석하기 위하여 한 개의 모니터에서 두 개의 비교 영상을 모두 표시하도록 하였다. 일정시간이 경과하면서 암실 내에 연기를 가득 주입한 두 영상을 비교한 결과, 영상의 선명도 측면에서 큰 차이를 확인 할 수 있었다. 따라서 본 기술을 적용시 안전하고 신속한 소방 및 인명구조 활동이 가능할 것으로 관측된다.

논문에 적용된 알고리즘 성능의 개선 특징은 다음과 같다

첫째 감마값 가중치 변환을 이용하여 연기로 인하여 휘도가 집중되어 있는 영상을 분산시키고 명암대비를 높일 수 있도록 하였다.

둘째, 감마 변환된 영상에 대하여 영상 스트레칭 기법을 적용함으로써 영상처리 효과를 극대화 하였다.

현재 전 세계시장에 출시된 영상 개선 제품은 SD급 정도의 영상용만이 개발되어 있으나, 감시 카메라시장이 HD급 메가 픽셀용 카메라로 급격히 변화를 하고 있어 추후 HD급 메가 픽셀 카메라용 영상개선 제품을 개발할 경우 수요의 급증이 예상된다. 또한 소방관의 화재 진압시 뿐 아니라 군부대 감시 시스템 및 해경 감시정의 밀수선에 적용하는 등 그 적용 범위가 확대될 것으로 기대된다.

마지막으로 CCD소자와 적외선 센서의 국산화를 통해 소방관이 보다 광범위하고 선명한 시야를 확보할 경우 수입대체 효과를 창출함으로써 한국 경제 활성화에도 일정 부분 기여할 것이다.

감사의 글

This Research was Supported by Technology Innovation Development Program funded by the Small & Medium Business Administration.

References

Celik T, Thahadi T. Automatic Image Equalization and Contrast Enhancement using Gaussian Mixture Modeling. IEEE Transaction on Image Processing 2012;21(1):145–156. 10.1109/TIP.2011.2162419. 21775265.
Cha H. S, Hong S. H. Improved Retinex algorithm for image sharpening. Korea Multimedia Society 2013;16(1):29–41. 10.9717/kmms.2013.16.1.029.
Davis Menotti, Laurent Najman, Jacques Facon, Arnaldo de A. Multi-Histogram Equalization Methods for Contrast Enhancement and Brightness Preserving. IEEE Transaction on Consummer Electronics 2007;53(3):1186–1194. 10.1109/TCE.2007.4341603.
John B. Zimmerman, Stephen M. Pizer, Edward V. Staab, Randolph Perry J. An Evaluation of the Effectiveness of Adaptive Histogram Equalization for Contrast Enhancement. IEEE Transaction on Medical Imaging 1988;7(4)10.1109/42.14513. 18230483.
Kim Y. T, Han H. S. Lane Detection Techniques for imaging through fog Retinex algorithm based on median filter. Korea Society of Computer Information Transactions 2010;15(8):1–9. 10.9708/jksci.2010.15.8.001.
Land E. An alternative technique for the computation of the designator in the retinex theory of color vision. Proceeding of the National Academy of Science 1986. 83p. 3078–3080. 10.1073/pnas.83.10.3078.
Land E, McCann J. Lightness and retniex Theory. J. Optical Society of America 1971;61(1):1–11. 10.1364/JOSA.61.000001.
Laurence Meylan, Sabine Susstrunk. High Dynamic Range Image Rendering with a Retinex-based adaptive Filter. IEEE Transaction on Image Processing 2006;15(9):2820–2830. 10.1109/TIP.2006.877312.
Loza A, Bull D, Achim A. Automatic Contrast Enhancement of Low-Light Images Based on Local Statistics of Wavelet Coefficients. Digital Signal Processing 2013;23(6):1856–1866. 10.1016/j.dsp.2013.06.002.
Tarik Arici, Salih Dikbas, Yucel Altunbasak. A Histogram Modification Framework and Its Application for Image Contrast Enhancement. IEEE Transaction on Image Processing 2009;18(9):1921–1935. 10.1109/TIP.2009.2021548. 19403363.
ZhiYu Chen, Besma R. Abidi, David L. Page, Mongi A. Abidi. Gray-Level Grouping: An Automatic Method for Optimizes Image Contrast Enhancement. IEEE Transaction on Image Processing 2006;15(8):2290–2302. 10.1109/TIP.2006.875204.

Article information Continued

Table 1

Fire & Casualties Status

Year Fire (No) Daily(No) Dead injury Property Damage (Mil.won)
2010 41,862 115 304 1,588 266,777
2011 43,875 120 263 1,599 256,528
2012 43,249 118 267 1,956 289,494
2013 40,932 112 307 1,877 434,462

[Source: National Security Agency, Annual Fire Statistics]

Table 2

Fire Fighters who Died and Injured Status

Year Dead injury Year Dead injury
AVG 7 332 2009 3 335
2007 7 279 2010 8 340
2008 9 337 2011 8 355

[Source: National Security Agency]

Table 3

Fire Status and Problems

Type Problem Solution
fire situation ▪ no lighting facility, Dark
▪ Smoky
▪ Many obstacles
Portable smoke image enhancement device
Fire-man ▪ Field of vision is narrow
▪ various equipments
Danger ▪ difficult to secure navigation and retreat

Table 4

Domestic Product Penetration into that Image Enhancement

Product name Company Component    Function
Lyyn Hawk Lyyn Korea Lyyn FPGA Humidity, Fog, Smoke real time improvement device
Secure Eye Blue Berry Rohm ASIC Image Enhancement device
MCT- 1000VE Maccronix Rohm ASIC Analog Image Enhancement device

Table 5

International Image Enhancement Product Status

Product name Company Component    Function
Lyyn Hawk Sweden Lyyn Lyyn FPGA Worldwide
T320 U.S Bullard T320 Thermal camera in U.S
Module U.S EVD EVD FPGA Thermal camera in U.S
Module Japan Rohm BU6521 Remove fog of the ASIC

Fig. 1

System Composition

Fig. 2

System Block Diagram

Fig. 3

Smoke Detection Algorithm Flowchart

Fig. 4

Smoke Histogram

Fig. 5

Position Change of Gamma Curve

Fig. 6

Gamma Conversion

Table 6

LUT for Color Sapce Conversion

input data output data
0 0
1 0
2 1
3 1
……… ……
253 76
254 76
255 76

Fig. 7

Image Stretching Clock Diagram

Fig. 8

Variation of the Histogram After Stretching

Fig. 9

Prototype Model

Fig. 10

Compare Test Result 1

Fig. 11

Compare Test Result 2

Table 7

Smoke Concentration and Luminance

Time Smoke concentration [%/m] luminance [cd/m2]
0 min 0 0
5 min 0 356.51
10 min 8.1 343.11
15 min 10.3 321.75
20 min 22 298.91

Table 8

Image Identification Performance

Time   video identification performance
10min computer monitor is not correctly identified on the screen (Fig.10, 11 (b))
20min computer monitor is not correctly identified on the screen (Fig.10, 11 (b))

Fig. 12

Camera Installed in Smoke Test Place

Fig. 13

Luminance Measurement (CS-200)

Fig. 14

Smoke Concentration Measurement (OP 100)

Fig. 15

Compare Test Result 3

Table 9

Smoke Concentration and Luminance (1)

Table 10

Smoke Concentration and Luminance (2)

Time Smoke concentration [%/m] Luminance [cd/m2]
0 min 0 0
5 min 4.9 135
10 min 13.7 121
15 min 27.9 110
20 min 25.3 108

Table 11

Image Identification Performance

Time    video identification performance
10 min computer monitor is correctly identified on the screen (Fig. 15(c)(d))
20 min computer monitor is correctly identified on the screen (Fig. 15(c)(d))