1.1 연구의 배경

3차원 영상 기술은 시각 정보의 질적 수준을 높여주는 새로운 개념의 실감 영상기술로 3차원TV를 비롯해 정보 통신, 방송, 의료, 영화, 게임 애니메이션 등과 같은 기존의 모든 산업제품개발에 응용되고 있는 추세이다.

컴퓨터 그래픽기술과 네트워크 기술, 센서 기반의 기술, 그리고 콘텐츠 산업분야에 대한 정부(정부10대 핵심 분야)의 집중적인 투자가 이루어지면서 3차원 영상 기술 분야 역시 급속도로 발전하였다. 3차원 영상 기술이란 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미하는데 컴퓨터 그래픽을 통하여 실제 주변 상황·환경과 상호작용을 하도록 하는 기술에서, 실제공간에 약간의 가상정보를 추가하는 형태의 혼합현실 기술로 발전해왔다. 이러한 기술 발전에 힘입어 문화 관광을 비롯하여 의료, 교육, 오락, 국방, 스포츠 등의 분야에서는 기존 산업에 가상현실 기술을 응용한 콘텐츠 기술이 발전되어 왔으며 특정산업에 국한되지 않고 폭넓게 응용되고 있는 것이 현재 추세이다.

통합 방재 및 관제분야에서도 이러한 기술을 응용할 계획을 가지고 있는 것으로 추정된다. 아직 구체적으로 실시간 재난관제시스템을 위한 다중 영상매핑 시스템에 관한 연구는 제품화 되어 나온 것은 없지만 3차원영상 기술을 이용한 통합관제 서비스 기술이 상용화되는 것을 보았을 때 재난 발생시에 표출방식을 2차원에서 눈에 보이지 않는 사각지역을 확인 가능한 3차원 관제 솔루션 기술로 나타내는 것은 더욱더 효과적인 시스템기술 입니다 아래의 Fig. 1은 3차원 재난 관제 시스템 구성도입니다.

Fig. 1

3D Disaster Management System

Fig. 3

3D CAD Drawing

1.2 연구의 차별성

기존 3차원 영상 기술을 이용한 영상관제 기술은 그 성능이 우수하나 타 시스템과 호환이 필요하며 다수의 모니터링 화면에 비해 적은 관리인원의 투입으로 업무가 복잡하게 구성되어 있다. 실시간 재난 관제 시스템을 위한 다중 영상 매핑에 관한 연구는 CCTV카메라 기술과 네트워크기술만 있다면 그 자체만으로 관제하고자 하는 시설 및 설비에 집중할 수 있다. 또한 긴급 상황이 발생했을 때 실시간 재난 관제 시스템을 위한 다중 영상 매핑에 관한 연구는 단 하나의 모니터 화면으로도 상황에 대한 인식과 대처를 수행하여 업무의 복잡성을 줄일 수 있고, 필요 시 출입통제 시스템과 연계하여 침입자의 도주 차단 및 자연재난, 구제역 가축 질병 예방을 막을 수 있는 시스템으로 발전할 수 있다. 따라서 출입통제 시스템뿐만 아니라 타 센서 기반의 기술과 연계하여 보안 순찰 요소들에 대한 파악이 가능하도록, 보안 담당자가 영상기술을 가지고 순찰하듯이 관제하기 때문에 공간내부의 시설물까지 3차원모델링 할 필요가 없다. 즉 기술 낭비를 막을 수 있기 때문이다.

최근 과학 지식기술의 수준이 높아지면서 재난 및 안전 보안 관제 시스템에 대한 수요가 급증하고 있는 것이 현실이다. 기존의 통합관제 시스템이 가지고 있는 기능은 다양하고 우수하나 사용자에 따라 필요 없는 옵션을 구입하게 되거나 옵션을 뺄 경우 제 기능을 100% 수행할 수 없다는 단점 때문에 구축하는데 많은 비용이 든다. 그러나 실시간 재난 관제 시스템을 위한 다중 영상 매핑에 관한 연구는 카메라의 순찰 관리를 중심으로 한 시스템으로 사용자가 관제하고자 하는 대상에 필요한 센서기술을 추가하는 방향으로 시스템 구축이 가능해 예산 비용이 적게 들 것으로 예상된다.

1.3 연구의 목적

이와 같은 3차원 복잡한 형상을 지닌 대상물에 대해 보다 간소화된 방법으로 컴퓨터 공간상에서 3차원 다중영상매핑 시스템을 재현할 수 있는 GUI 환경을 구현하여, 과거의 정적인 텍스처 정보를 현재의 동적인 시각정보로 제공하여 실시간 재난 관제 시스템 구축을 제시 하고자 한다.

1.4 기대효과

공간 내 시설물까지 3차원 모델링 하는 기술에 비해 예산이 적게 들것으로 예상됨에 따라, 국가기관의 재난 방재분야뿐만 아니라 중요문화재는 물론 인텔리전트 빌딩, 아파트 등 소규모 관리 시설에도 적용하는데 큰 무리가 없을 것으로 판단된다.

1.5 국내외 연구현황

국외의 선행연구로 해외 주요 선진국에서는 3차원 가상현실을 미래 핵심전략기술로 지정하여 R&D에 적극적인 투자를 하고 있다.

독일은 Fraunhofer CRCG(Centre dor Research in Computer Graphics), IGD(Institute for Computer Graphics), IAO(Institute dor Industrial Engineering)와 같은 산하 연구소를 중심으로 3차원 가상현실 기술 개발에 대규모 투자를 진행하고 있다. 영국은 몰입감을 높일 수 있는 연구와 소프트웨어 커널 기술을 발전시키고 있으며 가상현실 훈련센터인 CMSC(Construction Management Simulation Centre)를 설립한 바 있다. 미국의 경우 연방정부의 여러 기관으로 구성된 컨소시엄의 요청에 따라 연방정부 차원에서 3차원 가상현실 분야의 연구개발 투자지침과 방향이 설정되어 R&D가 추진 중이며, 타 국에 비해 민간 기업 중심으로 가장 활발히 R&D가 추진되고 있다(BIR, 2010).

국내에서의 선행된 연구로는 1990년대에 KAIST 3차원 가상현실 그룹을 주축으로 시작되었으며 기계, 건축, 예술 인문학 분야의 전국적 구성원을 포함하는 가상현실 연구센터에서 활발히 성장해 가고 있다. 또한 이화여대 컴퓨터 그래픽스/가상현실 연구센터, KIST의 영상 미디어 센터, ETRI(한국전자통신연구원)의 가상현실 연구팀도 가상현실 분야의 대표적인 국내 연구기관으로서 활발한 연구를 수행하고 있다(Shon, 2010). 이러한 연구내용들은 재난 관제 솔루션에 적용할 수가 있다.

2.1 실시간 다중 영상 매핑 시스템 구현 기술

본 연구를 구현하고자 하는 기술은 5가지 핵심 기술로 Fig. 2와 같다.

Fig. 2

Multiple Texture Blending System for Disaster Management System

가. 3차원도면 Rendering 기술

아래의 3차원도면 Rendering 기술은 Fig. 3에서 3D CAD Drawing과 Fig. 4에서 3D Multiple Texture Blending System와 같은 형태를 보이고 있다.

Fig. 4

3D Multiple Texture Blending System

나. CCTV영상 맵핑 기술

다. 다중 영상 맵핑 기술

라. Camera Walking 기술(수동부분)

마. Navigation System 기술 (자동)

아래의 Fig. 3은 3D CAD Drawing으로 나타낸 모텔링 형태입니다.

2.2 CCTV 동영상 연산처리 매핑 수행 방법

Fig. 4와 같이 3D Multiple Texture Blending System에서 일반적인 3차원 그래픽 처리에서는 3차원 공간상의 정점들을 2차원 공간으로 변환한 후, 2차원 정점들을 연결하여 폴리곤을 구성하고 그 내부에 텍스처로 맵핑한 이 과정을 렌더링이라고 한다.

3차원 모델링 툴마다 상이한 파일구조를 가지는 것을 엔진에서 정확히 불러올 수 있도록 Plug-In을 만들어 자사의 엔진에 부합되는 파일구조로 변환시킨다. 많은 3차원객체를 렌더링 할 경우 속도의 개선을 위하여 Culling 기술을 활용하여 카메라의 View Frustum에 걸리는 부분만 나오게 하므로 렌더링 속도를 개선시킨다.

특히 3차원 정점을 2차원 정점으로 변환하는 과정은 아래의 식과 같은 각 변환 단계에서 행렬 연산이 사용된다. 본 연구의 실험에서는 가상공간 렌더링은 아래의 변환 연산이 적용되었다. 이렇게 투영 변환이란 3차원 좌표계를 2차원 좌표계로 바꾸는 변환이다. 3차원 카메라 좌표계를 2차원 좌표계로 바꾸는 대표적인 예는 그림자를 생각하면 된다. 또한 그림자의 실체는 3차원 물체지만 정작 그림자는 2차원 평면에 투영되어 2차원의 이미지로 만들어지기 때문이다. 이와 같이 투영 변환도 와 같이 3차원 카메라 좌표계를 2차원 투영 평면에 투영하는 변환의 형태이다.

1) 2차원 좌표변환

수치영상에서의 대상물은 카메라의 CCD 센서와 전달자에 의해 밝기 값으로 수치 정보화되며 모니터에 아날로그 신호의 유효 영상 폭으로 출력된다. 영상의 유효 폭은 그 크기가 일정하게 규정된 직각 포맷을 이루며, 타겟의 픽셀좌표는 영상의 좌측상단을 평면상의 원점(0,0)으로 하여 측정된다. 그러므로 영상 중심으로의 좌표변환은 축척이 동일한 2차원 등각 사상변환(conformal transformation)을 이용한 아래의 식(1)과 같은 공식을 이용하여 수행되었고 Fig. 5와 같이 수치영상의 좌표 체계를 활용하여 분석하였다.

Fig. 5

Coordinate Method of the digital image

여기서 x, y는 영상 좌표이며 x’, y’는 픽셀 좌표이다. 그리고 dx, dy는 x, y 방향의 픽셀 크기이다.

2) 3차원 좌표변환

3차원 좌표변환의 매개변수는 x, y, z축에 대한 회전각 ω, φ, x와 이동량 X_T, Y_T, Z_T이며, x, y, z축과 연계된 회전체계로의 변환을 위해 단계별 3차원 회전 변환을 수행한다.

3차원 회전변환 식 (2)와 같다.

여기서, 3차원 회전 행렬 R은 식 (3)과 같다.

위의 식에서 회전행렬 R의 요소를 간단히 표시하면 다음과 같은 식 (4)과 같다.

3) 영상처리 변환

영상의 히스토그램은 입력영상에 대하여 밝기 단계에 따라 분포하는 픽셀의 빈도를 수록한 도표로써 영상 전체의 밝기 분포를 나타내는 그림이다.

히스토그램의 x축은 명암 값에 해당하고 y축을 이용하여 히스토그램 평활화 밝기 값의 한 곳에 집중하거나 균일하지 못한 경우 이를 균일한 값을 가지도록 재배열함으로써 일정한 분포를 지니는 히스토그램을 생성하기 위한 비선형 처리 기법을 말한다. 아와 같은 방법으로 히스토그램의 평활화 처리의 수행으로 밝기 값을 넓게 분포시킴으로써 양질의 영상을 획득할 수 있게 된다. 이렇게 히스토그램이 넓은 영역에 골고루 퍼져 있으면 명암대비가 높아서 영상이 선명하다. 또한 이를 정규화 시키며 정규화 된 축적 히스토그램을 밝기 값 매핑 함수를 이용하여 히스토그램 평활화를 구현하기 위한 식은 다음과 같다.

여기서 N은 영상내 픽셀의 총수이며, T는 밝기값의 빈도수를 나타낸다. 그리고 A는 빈도당 평활화된 픽셀수를 나타낸다. 또한 i값을 갖는 픽셀의 빈도수 B_i는 다음 식으로 표현된다.

여기서 H_i는 i 값을 갖는 밝기값 들의 수를 나타내며, int는 정수화 함수 이다.

Fig. 6에서 히스토그램 평활화가 수행된 영상과 원 영상의 누적분포함수를 비교할 경우 Fig. 6(a)(c)와 같이 원 영상은 일정부분에 픽셀수가 대부분 분포함을 알 수 있고 히스토그램 평활화를 수행하면 Fig. 6(b)(d)와 같이 선형적으로 누적분포함수가 변화된다. 이것은 영상의 픽셀이 전 영역에 걸쳐 고루 분포되는 현상으로 분석되었다.

Fig. 6

Change in the cumulative distribution function

3.1 단일 영상 매핑시 비정상 부문 영상 출력 과정

초기 개발시에는 단일 영상 매핑만 가능하였으며, 아래 Fig. 7와의 내용과 같이 매체의 중복 출력에 따른 비정상 영상 매핑의 문제점을 가지고 있었다. 또한 이러한 문제점 때문에 고정 시점으로 영상을 표출할 수밖에 없다.

Fig. 7

Multiple Texture Blending Process (1)

Fig. 8

Flow Chart 1

Fig. 7은 프로그램 상에서 반복적으로 영상을 매핑하는 과정을 보여주고 있다.

또한 Flow Chart에 대한 Mapping 과정을 나타내면, 첫째 촬영된 영상을 디코딩하여 메모리에 로딩하고, 둘째 로딩된 영상의 각 Frame을 텍스쳐 이미지에 실시간으로 기록하며, 셋째 관찰자 시점에서 3D 가상공간을 구성하는 메시의 정점들을 2D공간으로 변환하고, 넷째 변환된 좌표를 텍스쳐 맵핑에 필요한 UV좌표로 변환하여 분석하였다. 마지막으로 UV좌표를 이용하여 영상이 기록된 텍스처를 메시에 매핑되는 과정을 수행하였다.

앞에서 설명한 Fig. 7와 같이 CCTV 카메라가 지면과 수직으로 촬영 시에는 영상의 늘어짐이 없지만 Fig. 9와 같이 지면과 카메라 중심선의 촬영 각이 커짐에 따라 투영되는 영상이 늘어지게 된다. 이와 같이 본 연구에서는 지면과 카메라 중심선의 촬영각이 90도에 가까워질 경우에만 시각화 기능개선 과정을 수행하였다.

Fig. 9

Multiple Texture Blending Process (2)

CCTV 융합 영상에서 늘어진 부분을 제거한 뒤 3차원 메쉬에 표출한 결과는 Fig. 10과 같다. CCTV 영상이 3차원 다중영상매핑 융합 및 표출되어 CCTV 영상 확인과 함께 CCTV카메라의 위치 확인이 용이하며, 3차원 화면 제어 시에도 사용자의 시야에 관계없이 영상 확인이 할 수 있다.

Fig. 10

3D Multiple Texture Blending System

3.2 다중 영상 매핑에 대한 영상 출력 개선 과정

아래의 Fig. 11과 같이 벽면과 카메라의 거리를 계산하여 비교함으로써 매체의 중복 출력에 따른 비정상 영상매핑 처리를 개선하였다.

Fig. 11

Multiple Texture Blending Process (3)

D1와 D2거리를 계산하는 함수의 로직은 윈도우 플랫폼에서 제공하는 Direct 3D X 9.0의 정점 및 픽셀을 비교 계산하여 거리를 나타내었으며, 영상의 왜곡 및 겹친 부문을 개선하기위한Shading Processor는 굴곡진 표면을 나타내주는Constant Shading과, Constant Shading 보다 좀 더 부드러운 표면을 나타내주는 Gouraud Shading, Gouraud Shading 보다 좀더 부드러운 표면을 나타내주는 Phong Shading을 나타내준다. 이러한 기존의 고정 시점이 아닌 자유 순찰 시점 영상표출을 아래와 같은 식 (7)는 Phong Shading을 활용하여 가능하게 하였다.

I = 반사밀도(reflection intensity

I_a = 주변 빛 의 반사(reflection ambient light)

k_d = 확산 반사계수(diffuse reflection constant)

N¯ = 단위체적당 계수(unit surface normal)

Lj¯ = j번째 빛 신호의 벡터방향(vector in the direction of the jth light source)

k_s = 거울반사계수(specular reflection coefficient)

Lj'¯ = j번째 빛 신호와 표면사이의 중간 벡터방향(vector in the direction halfway between the viewer and the jth light source)

n = 표면광택의 지수(exponent glossiness of the surface)

여러 개의 영상 매핑을 처리하기위하여 로직을 반복적으로 수행하였다.

그러나, 무한정 반복처리는 하드웨어의 부하가 가중되어 정확한 영상매핑이 되질 않으므로 Shader의 명령 슬롯(Shader Instruction Slot)의 개수를 제한하여 4개의 아래 영상이 Fig. 12과 같이 표출하도록 수직으로 제한하고, 프로그램 수행과정은 Fig. 13. Flow Chart 2와 같다.

Fig. 12

Multiple Texture Blending Process (2)

Fig. 13

Flow Chart 2