1. 서 론
최근 반복적으로 발생하는 재난에 대해서 대응에 실패하는 사례가 증가하면서 재난으로 인한 직접⋅간접적 피해를 줄이고자 하는 재난관리의 중요성이 높아지고 있다. 재난대응 관점에서 이러한 재난관리 운영체계가 잘 작동하고 있는지, 얼마나 효과적이었는지에 대한 구체적인 분석과 평가의 역할이 더욱 강조되고 있다. 재난관리평가제도는 2004년 우리나라 최초의 재난전담기구인 소방방재청 개청을 계기로 2005년 자연재난 중심의 지방자치단체 재난관리 실태점검부터 시작되었다. 이후 평가대상이 중앙부처, 공공기관으로 점차 확대되어 2019년에는 325개 기관을 대상으로 재난관리평가를 실시했다. 특히 2014년 4월 16일 세월호 침몰사고를 계기로 재난관리평가가 재난과 안전에 대한 총괄조정 기능의 핵심수단으로서의 필요성이 높아지면서 그간 자연재난 위주의 평가에서 사회재난, 안전사고까지 이르는 다양한 재난유형으로 평가지표가 확대되어 실시해 오고 있다.
재난관리평가는 눈에 보이는 문제를 해결하기 위한 일반 평가 프로그램과는 다르게 언제 발생할지 예측할 수 없는 재난 및 안전사고에 대한 준비사항을 점검하는 것이다. 모든 국가 또는 지역사회는 예측하기 어려운 위험이 항상 존재하지만 얼마나 많은 대응과 복구역량이 필요한지를 결정하고 이에 따른 재난관리계획이 잘 되어 있는지에 대한 질을 평가하는데 많은 어려움이 있다. 이러한 재난관리 업무의 특성으로 인해 재난관리평가의 실효성에 대해 의문이 종종 제기되기도 한다.
재난관리평가의 대상인 재난관리책임기관(중앙행정기관, 지방자치단체, 공공기관 등)은 실제 재난발생을 대비하여 효과적으로 대응하기 위해 경감, 대비, 대응, 복구에 기반한 가시적인 정책을 집행하는 중요한 역할을 하지만 재난관리평가 발전에 필요한 제도적인 노력을 적극적으로 시도하지 않고 있는 실정이다. 대부분의 기관은 실제 예측하지 못한 재난이 발생하면 신속하게 응급조치가 활성화되는 사례가 드물기 때문에 현재와 같이 재난관리 업무의 추진 실적을 평가하는 것에 대한 어려움과 평가과정에서의 업무 피로도를 토로하기도 한다.
정부는 재난관리평가를 매년 실시하고 그 결과를 바탕으로 재난관리평가 체계개선 및 지표개발을 위하여 정책연구 용역을 실시하는 등 지속적으로 문제점을 개선해 왔다. 그러나 15년 이상의 재난관리평가 역사에도 불구하고 재난관리평가 제도에 대한 문제점과 종합적 발전방안에 대해 평가이론을 접목한 연구가 거의 이루어지지 않고 있다. 재난관리평가가 재난과 안전관리에 대한 종합적인 평가체계로 장기적으로 발전하기 위해서는 재난관리평가가 일반적 정책⋅사업평가와는 다른 차별화된 이론적 정립과 재난관리 특성을 감안한 성과측정 연구가 필요하다. 본 연구는 재난관리평가도 객관적인 평가이론 접목을 통하여 문제점과 종합적 발전방안을 체계적으로 도출하는 것이 필요하다는 점에서 출발하였다.
최근에 관심을 끌고 있는 새로운 평가분야인 메타평가(meta evaluation)는 간략하게 요약하면 평가에 대한 평가(evaluation of evaluation)를 의미한다(Scriven, 1991). 미국 교육평가기준합동위원회[Joint Committee on Standards for Educational Evaluation (JCSEE), 1994]에서 개발한 PUFA 모형은 메타평가 모형의 하나로 평가가 잘 실시되고 있는지를 종합적으로 재평가한다는 점에서 다양한 분야에서 폭넓게 적용될 수 있다(Ryoo, 2016). 이와 같이 PUFA 모형은 단순하면서도 포괄적인 내용을 담고 있어 매우 유용한 평가모형으로 활용될 수 있다(Hwang et al., 2009). 또한 국내에서도 Ryoo (2016)가 PUFA 모형을 적용하여 지방자치단체 합동평가 분석을 위한 실증연구를 진행한 바 있다.
이에 본 연구에서는 재난관리평가 활동 전 과정에 대해 총체적으로 검토하고 재난관리평가의 개선방안을 제시하고자 한다. 이를 위해 PUFA 메타평가 모형을 적용하였으며, 재난관리평가에 대한 수준을 파악하기 위해 평가위원, 피평가기관의 담당 공무원을 대상으로 설문조사를 수행하였다. 재난관리평가에 대한 적합성, 유용성, 실현가능성, 정확성 측면에서 재난관리평가가 성공적으로 잘 실시되고 있는지에 대한 이해관계자 간 차이를 확인하고, 재난관리평가에서도 PUFA 메타평가 모형이 이론적으로 유용한지를 검토하였다. 본 연구의 최종목적은 메타평가를 이용하여 재난관리평가제도의 문제점을 검토하고 재난관리평가 제도를 개선하는데 그 목적이 있다.
2. 이론적 논의
2.1 재난관리평가 제도
재난관리평가제도는 2004년 ｢재난 및 안전관리기본법｣(이하 재난안전법)이 제정됨에 따라 최초로 도입되어, 2005년 처음으로 실시한 이후 매년 정기적으로 행정안전부가 주관하여 실시되고 있다. 2014년 세월호 침몰사고를 계기로 재난관리책임기관의 역량제고를 위한 핵심수단으로서 재난관리평가의 중요성이 강조되면서 재난관리평가 대상기관이 확대되었고 모든 재난유형과 안전사고까지 평가할 수 있는 지표로 확대되었다. 또한 ICT 기반 평가시스템(Disaster Management Evaluation System, DMES) 구축과 평가제도의 환류기능 강화를 위한 많은 제도 개선사항이 이루어졌다.
평가 방식은 중앙평가와 자체평가를 절충하고 있다. 중앙평가는 시⋅도 및 중앙부처의 주요업무 추진 실적에 대하여 민간전문가로 구성된 중앙재난관리평가단이 직접 서면⋅현장 평가하는 방법이다. 자체평가는 시도 및 중앙부처가 관할 시⋅군⋅구와 공공기관을 자체 평가하고, 그 평가한 결과를 중앙평가에서 확인평가하는 방식이다. 따라서 재난관리평가의 주체는 행정안전부 중앙재난관리평가위원과 중앙부처 및 시도의 자체평가위원이며 전년도 실적에 대하여 자체평가, 확인평가, 이의신청을 거쳐 최종적으로 평가결과를 확정하는 순으로 수행한다.
재난관리평가의 주요내용은 동법 제33조의2에 따라 대규모 재난 발생 대비 재난관리 단계별 임무와 역할, 대응 조직의 구성과 체제 정비, 안전관리시스템과 안전관리 규정, 재난관리 기금의 운용관리 현황 등으로 전반적인 재난관리 실태를 점검하고 있다. 이에 따른 평가지표는 Table 1과 같으며 2015년부터 도입된 개인역량, 부서역량, 네트워크역량, 기관역량의 4개 분야에 대하여 정량과 정성지표를 활용하여 평가하고 있다.
최근 재난관리평가 선행연구는 재난관리의 역량평가체계 도입의 필요성과 지표를 제시한 연구(Ko and Kang, 2015; Lee et al., 2018), 외국제도와 비교하여 재난관리평가 제도의 개선방안을 제시한 연구(Choi and Lee, 2016; KIPA, 2017; Rheem and Kim, 2018) 등 주로 재난관리의 역량지표 도입 필요성과 개선방안 연구가 수행되었다. 타 분야 평가제도의 연구에 비해 다양한 연구가 많지 않고 연구내용도 국내⋅외 평가제도와 비교하여 문제점과 개선방안 위주의 연구들이다. 2014년 세월호 침몰사고를 계기로 재난관리평가제도에 대한 많은 개선이 이루어졌지만 피평가기관의 경우 재난안전 분야에 대한 각종 평가의 중복으로 피로감이 높아 재난관리평가 결과 환류기능을 기대하기도 어려운 실정이라는 지적도 있다(Rheem and Kim, 2018). 본 연구에서는 이러한 문제의식을 갖고 메타평가의 이론적 틀로 검증된 PUFA 모형을 적용하여 재난관리평가 활동 전 과정에 대한 총체적인 점검을 시도하였다.
2.2 PUFA 메타평가 모형
평가라 함은 일정한 기관⋅법인 또는 단체가 수행하는 정책⋅사업⋅업무 등에 관하여 그 계획의 수립과 집행과정 및 결과 등을 점검⋅분석⋅평정하는 것을 의미한다(Framework act on government performance evaluation article 2). 메타평가는 평가의 한 분야로서 평가의 질을 향상시키고 평가결과 활용도를 높이기 위한 수단으로 중요성이 높아지고 있다. 개념적으로 협의와 광의로 구분하고 있는데 협의개념은 평가결과 종합하여 재분석 또는 개별평가를 다시 평가하는 상위평가를 의미하고 광의개념은 평가체제에 대한 평가를 의미한다(Kim, 2009).
재난관리평가는 재난과 안전관리에 대한 재난관리책임기관의 책임성과 역량 제고를 위한 제도이다. 이러한 목적을 효과적으로 달성하기 위해서는 평가제도 자체에 대한 메타평가를 통해 지속적으로 제도 개선 및 발전을 위한 점검이 필요하다. 이러한 측면에서 메타평가를 위한 기준은 부분보다는 전체적인 관점에서의 접근이 적합할 것이다(Cho and Cho, 2013). PUFA모형은 미국 교육평가기준합동위원회(JCSEE)에서 1994년도에 개발된 모형으로 교육평가 등 여러 유형의 프로그램 평가에서 널리 사용되고 있는 메타평가(meta evaluation)중 하나이다. 이 위원회에서는 지속적으로 좋은 평가를 구성하는 요인으로 적합성(Propriety), 유용성(Utility), 실현가능성(Feasibility), 정확성(Accuracy)의 4개 기준과 체크리스트를 제시하였다(Table 2 참조).
첫째 적합성(Propriety) 기준항목은 해당 평가가 직접적으로 업무를 개선시키는데 적합한 평가요소인지를 구체적으로 점검하는 기준으로, 평가내용이 다양한 이해관계자를 폭넓게 고려하면서 공정하게 실행된 것인지를 검토하기 위한 측정문항을 구성하고 있다. 둘째 유용성(Utility) 기준항목은 해당 평가가 이해관계자에게 실질적으로 도움이 되는 것인지를 구체적으로 점검하는 기준으로 이해관계자의 다양한 요구를 나타내는 평가인지, 평가자의 평가수행능력 여부, 가치판단을 수행할 수 있는 구체적인 평가 근거가 존재하는지, 평가결과 활용이 잘되고 있는지를 검토하기 위한 측정항목을 구성하고 있다. 셋째, 실현가능성(Feasibility) 기준항목은 평가가 효율성, 효과성 측면에서 가능한 평가인지 여부를 분석하는 기준으로 평가가 절차대로 이뤄졌는지, 다양한 이해관계자의 기대목표치에 따라 평가가 정량적으로 계획되고 구체적으로 실행되고 있는지, 평가가 효율적으로 수행되면서 가치 있는 정보를 생산하고 있는지를 검토하기 위한 측정항목을 구성하고 있다. 넷째, 정확성(Accuracy) 기준항목은 계획된 평가가 정확하게 수행되고 절차에 맞게 진행되고 있는지를 확인하는 기준으로 평가대상과 관련하여 정책환경, 사회적 맥락 등을 충분히 고려하여 평가하였는지, 평가방식이 적절한 방식으로 분석되었는지, 또 공정하였는지를 검토하기 위한 측정항목을 구성하고 있다.
3. 연구 설계
3.1 PUFA 모형 적용 개요
이상의 메타평가의 유용한 틀로 검증된 PUFA의 모형을 적용하여 재난관리평가 활동 전 과정에 대한 총체적으로 평가하기 위해 Ryoo (2016)의 연구에서 사용한 설문내용을 재난관리평가 특성에 맞게 수정하였다. 본 연구에서는 적합성(Propriety)은 재난관리평가가 업무 개선에 적합한 공정한 평가인지, 유용성(Utility)은 재난관리평가 결과 신뢰와 수용할 수 있는 평가인지, 실현가능성(Feasibility)은 재난관리평가가 효율적인지, 정확성(Accuracy)은 재난관리평가가 평가대상과 관련된 환경, 맥락 등을 충분히 고려하여 적절한 방식으로 평가되는지를 살펴보기 위해 Fig. 1과 같이 PUFA에 기반한 틀을 활용하였다.
3.2 분석 자료의 수집
본 설문조사는 행정안전부가 주관한 2018년 재난관리평가 대상기관(중앙부처, 지방자치단체, 공공기관) 워크숍에서 설문지를 시작 전에 배포하고 종료 시에 수거하는 방식으로 진행하였다. 워크숍은 2018년 평가대상기관 326개 기관을 대상으로 각각 2회(2017년 11월 28일, 30일)실시 되었고 이중 자료는 1회 133개, 2회 51개가 수집되었다. 중앙평가위원 대상으로 한 설문지는 이메일로 2017년 11월 28일-12월 22일까지 55개를 배포하여 27개가 수집되었다. 설문은 인구통계학적 변수인 성별, 나이 근무기간, 직급, 재난관리업무 경험, 재난관리평가 경험 등을 제외한 모든 항목들이 5점 척도(1: 전혀 그렇지 않음 ~ 5: 매우 그러함)로 구성하였다. 설문지 회수 후 응답 누락 여부 점검을 통하여 최종 표본은 중앙평가위원 27개, 피평가기관 184개(중앙부처: 9개, 지방자치단체: 133개, 공공기관: 42개)로 총 211개이다.
통계분석을 위한 표본크기 결정에 대해 정량화된 방법론은 존재하지 않는다. 다만 검증력에 미치는 영향을 기준으로 최소 표본크기를 결정하고 있다. 검증력에 미치는 인자는 효과크기, 유의수준, 표본크기 등이 있다. 모집단의 크기를 알 수 없는 경우는 중심극한정리에 의해 30개 정도를 최소 표본크기로 결정하기도 한다. 일반적으로는 Cohen (1988)의 이론을 주로 적용하며, Cohen (1988)은 적절한 연구설계가 되기 위해서는 유의수준은 0.05, 검증력은 80%가 확보하도록 제안한 바 있다. 본 연구에서는 G*Power 3.1 version을 이용하여 효과크기 0.8, 유의수준 0.05, 검정력은 0.08인 경우에 대해 최소 표본크기를 검토하였으며, 그 결과 t-검정 (양측 검정)에 필요한 최소 표본크기는 52개(집단 표본크기 26개), ANOVA 분석은 24개(집단 표본크기 6개), 다중회귀 분석의 경우는 최소 40개의 표본이 필요함을 확인하였다. 따라서 본 연구에서 조사된 설문의 개수는 최소 표본크기기준을 만족하고 있다.
3.3 문항의 신뢰성 검증
본 연구는 Ryoo (2016)의 ‘PUFA 모형의 적용을 통한 지방자치단체 합동평가 개선방안’연구에서 사용한 총 30개 설문 문항 중 재난관리평가와 관계가 없다고 생각되는 문항 3개를 제외한 27개 문항을 사용하였다. 제외한 문항은 ‘정부예산의 지출, 배분 내역’, ‘계량정보 분석’, ‘질적정보 분석’의 3개 문항으로 재난관리평가의 경우 정부예산의 지출, 배분 사항, 계량정보와 질적정보에 대한 정의 부재로 응답자가 인식하지 못할 것으로 판단되었기 때문이다. 이외에 PUFA 모형에서 제시한 기준이 재난관리평가 수준에 미치는 영향력을 검증하기 위해 “재난관리평가가 성공적으로 잘 실시되고 있다”는 문항을 추가하였다. Ryoo (2016)의 연구에서는 로짓회귀분석을 위해 추가 문항을 “yes, no”로 측정하였으나 본 연구에서는 다중회귀분석을 위해 “5점 척도”로 측정하였다.
우선적으로, 재난관리평가 제도의 메타평가 분석틀로 PUFA모형이 적용되기 위해서는 측정문항의 신뢰성에 대한 검증이 필요하다. 신뢰도 (reliability)는 예측변인의 질을 평가하는데 사용되는 개념으로 측정의 일관성, 안정성, 동등성 등을 의미한다. 일반적으로 신뢰도 평가에는 검사-재검사 신뢰도(test-retest), 동등형 신뢰도(equivalent-form), 내적일치 신뢰도(internal consistency), 평가자 간 신뢰도(inter-rater reliability) 등이 있다. 본 연구에서는 전체 신뢰도와 각 개별 문항의 신뢰도를 살펴보기 위해 Cronbach-α 계수를 이용하였다. 일반적으로 Cronbach-α 계수가 0.6 또는 0.7이상일 때 신뢰도(일치도)가 높다고 판단한다(Nunnally, 1967). PUFA 모형의 4개 기준 측정문항은 Cronbach-α의 계수가 0.89~0.97로 신뢰도를 확보하고 있다. 신뢰도 분석결과 재난관리평가에 대한 PUFA 메타평가 기준은 적합한 것으로 판정되어 최종 총 4개 평가 영역, 28개 평가항목으로 구성하였다.
3.4 분석방법
자료 분석을 위한 통계처리는 SPSSWIN 22 프로그램을 사용하여 우선적으로 각 설문지에 대한 타당도와 신뢰도 검증을 위해 탐색적 요인분석과 신뢰도 분석을 실시하였다. 요인분석 단계에서는 요인추출 과정에서 주성분 방법을 활용하였으며, 배리맥스(Varimax)회전 방식을 기반으로 한 직교회전을 시행하여 요인 적재값(factor loading)을 각각 산출하였다. 선행연구(Ryoo, 2016)와 마찬가지로 요인 적채치가 0.4 이상인 4개의 요인으로 축소되어 PUFA모형이 동일하게 적용되고 있음을 확인하였다. 또한 평가대상기관 및 평가위원 사이에 예상되는 성향의 차이를 규명하기 위하여 One-way ANOVA를 적용하였으며, Scheffe's multiple range test 등을 사용하여 사후검증을 수행하였다. 마지막으로 재난관리평가수준의 영향력을 검정하기 위해 최소제곱법(Ordinary Least Square, OLS)에 의한 다중회귀분석을 실시하였다.
4. 분석결과
4.1 기술통계 및 차이분석
설문조사 결과를 바탕으로 분산분석을 수행하기 위해 우선 기술통계 분석을 수행하였다. 자료의 정규성을 검토하기 위해 평균과 표준편차, 왜도와 첨도를 통해 문항의 분포를 파악하였으며, 일반적으로 왜도의 크기가 3.00을 넘지 않고 첨도의 크기가 8.00 또는 10.00을 넘지 않을 경우 정규성에 위배되지 않는다고 판단한다(Kline, 2005).
우선, Table 3의 평균값 결과를 살펴보면, 평가위원과 피평가기관의 적합도(P), 유용성(U), 실현성(F), 정확도(A)의 평균은 각각 3.28, 3.33, 3.13, 3.39로 정확도(P)의 평균값이 가장 높았다. 이를 기관별로 살펴보면 평가위원의 경우 모든 항목에서 가장 높은 평균값을 보여 피평가기관에 비해 재난관리평가에 대해 보다 긍정적으로 인식하고 있다. 반면 중앙부처의 경우 인식도를 제외한 모든 항목에서 평균값이 가장 낮아 재난관리평가에 대해 부정인 인식을 가지고 있음을 확인하였다. 기관별 전체 평균점수는 평가위원(3.85)-공공기관(3.44)-지자체(3.13)-중앙부처(2.96) 순으로 조사되었으며, 항목별 전체평균점수는 정확성-유용성-적합도-실현 가능성 순으로 분석되었다. 이중 중앙부처는 모든 항목에서 평균점수가 가장 낮았으며, 특히 실현가능성에 타기관에 비해 부정적으로 인식하고 있다.
이러한 결과는 이는 재난안전분야 점검, 진단, 평가 등이 연중 중복적으로 시행됨에 따른 피로도가 반영된 것으로 판단된다. 반면 민간 전문가로 구성된 평가위원의 경우 모든 항목에서 평균점수가 가장 높아 피평가기관과 달리 재난관리평가를 긍정적으로 생각하고 있다. 측정 항목 중 정확성이 가장 높은 것은 재난관리평가가 질적, 양적자료 수집과 사전 분석을 통해 정확성을 높이고, 서면으로 기록, 보고되기 때문인 것으로 판단된다. 반면 측정항목 중 실현가능성이 가장 낮은 원인으로는 재난유형별 분산관리, 다양한 재난환경여건 및 역량수준 차이에 대응하여 평가되지 못하기 때문인 것으로 판단된다.
다음으로 피평가기관인 중앙부처, 지자체, 공공기관과 평가위원의 적합도, 유용성, 실현성, 정확성에 대한 집단 간 차이분석을 위해 분산분석과 사후검정을 실시하였다. 앞서 적합성, 유용성, 실현가능성, 정확성에 대하여 평가위원과 피평가기관별로 평균의 차이가 있어 분산분석 결과에서도 이들 간에 인식의 차이가 있을 것을 미루어 짐작할 수 있다. 그 결과 모든 항목에서 유의수준 0.05내로 분석되어 중앙부처, 공공기관, 지방자치단체, 평가위원 간의 재난관리평가에 대한 인식차이가 통계적으로 유의미함을 확인하였다(Table 3 참조). 세부적으로 적합도 항목에서는 평가위원-중앙행정기관/지방자치단체에서, 유용성 항목은 평가위원-지방자치단체, 실현성 항목에 대해서는 평가위원-중앙행정기관/지방자치단체, 정확도 항목은 평가위원-지방자치단체간에 차이가 존재함을 확인하였다.
평가위원과 피평가기관들 간의 차이 발생에 대한 구체적인 원인을 검토하면 다음과 같다. 먼저 적합도 항목은 재난관리평가 결과를 공개에 관련된 문항에서 평가위원과 피평가 기관들간의 의견차이가 없으나, 이를 제외한 모든 항목에서 평가위원과 지방자치단체간의 의견차이가 발생하였다. 또한 업무의 장단점이 고려된 재난관리평가인지를 조사하는 항목에서는 평가위원과 모든 피평가기관과의 인식차이가 발생하였다. 유용성 항목은 중앙행정기관과 지방자치단체들이 평가위원을 신뢰도 하지 못하고 있으며, 이해관계자의 요구반영에 불만을 가지고 있음을 확인하였다.
다음으로 실현성 항목은 모든 항목에 대해 평가위원과 중앙행정기관/지방자치단체간의 인식의 차이가 컸으며, 그중 현실을 고려하지 못한 재난관리평가 절차에 대한 부정적인 의견이 많았다. 마지막으로 정확성 항목은 모든 문항에서 지방자치단체와 평가위원간의 의견차이가 발생하였으며, 특히 재난관리평가 결과에 대한 공정성에 대해 중앙행정기관과 지방자치단체가 부정적인 인식을 가지고 있다. 이는 재난에 대한 태생적으로 취약한 지역과 그렇지 않은 지역을 고려하지 않은 현실성에서 원인을 찾을 수 있을 것이다.
이들의 결과를 종합해 보면 대부분의 항목에서 평가위원과 지방자치단체간의 의견차이가 크게 발생하였으며, 중앙행정기관에서는 중앙행정의 고유업무의 특성반영 및 타 부처평가와의 중복성을 재난관리평가의 문제점으로 지적하고 있다. 따라서 재난관리평가 대상의 업무특성을 고려하여 이해관계자들이 수긍할 수 있는 평가지표의 개발과 재난관리평가 결과를 공개에 있어 충분한 증거자료의 제시가 필요한 것으로 판단된다.
4.2 다중회귀분석
재난관리평가 대상기관과 평가위원을 대상으로 재난관리평가 수준의 영향력을 검증하기 위해 PUFA 모형 4개 요인별 하위요소를 독립변수로, 재난관리평가가 잘 실시되고 있는지를 종속변수로 정의하였다. 평가대상자는 평가자와 서로 다른 입장을 나타내는 것이 일반적이다. 본 연구에서도 평가 대상기관인 중앙부처, 지방자치단체, 공공기관의 경우도 평가위원에 비해 재난관리평가에 대해 상대적으로 부정적인 인식을 가지고 있다. 이런 점에서 평가대상기관과 평가위원을 구분하여 PUFA 모형 4개 요인별 하위요인에 대한 재난관리평가 수준의 영향력을 파악하는 것은 의미가 있다. 그러나 평가위원의 경우 응답자 수가 27명에 불과하기 때문에 통계결과가 도출되지 못할 것으로 추론할 수 있다(Ryoo, 2016). 따라서 본 연구에서는 평가위원과 피평가기관을 구분하지 않고 전체적으로 PUFA 모형 4개 요인별로 측정된 항목 중 재난관리평가 수준에 미치는 영향요인을 파악하기 위해 다중회귀분석을 수행하였다.
다중회귀분석을 수행한 결과(Table 4 참조), 4개의 영향요인에 대한 유의수준 p값은 0.001보다 작아 회귀모형은 통계적으로 유의하였다. 첫 번째로 적합성(Propriety)의 영향요인 중 P2, P3은 재난관리평가의 성공적 실시와 관련된 사항으로 통계적으로 양(+)의 관계를 가지는 것으로 분석되었다. 이는 재난관리평가의 목적, 방법, 시기 등에 대해 평가대상 기관과 공식적으로 합의하여야 하고, 재난관리평가가 국민(주민)의 안전을 보호하기 위한 수단으로서 적합할 경우 재난관리평가가 잘 실시된다는 것을 의미한다. 두 번째로 유용성(Utility)의 영향요인 중 양(+)의 관계를 보이는 요인은 U1, U2, U3, U4, U7로, 이는 이해관계자의 다양한 요구가 반영되고 신뢰하는 평가자가 평가를 수행하여야 하고, 재난관리평가 대상이 되는 업무와 관련한 정보수집, 평가결과 활용성이 높을 때 재난관리평가가 잘 실시된다는 것을 의미한다.
세 번째로 실현가능성(Feasibility)의 영향요인 중 F2, F3가 성공적 재난관리평가 실시와 양(+)의 관계를 가지는 것으로 분석되었으며, 재난관리평가가 효과적으로 실시되고, 평가가 중복되지 않도록 실시되어야 재난관리평가가 잘 실시된다는 것을 의미한다. 재난관리평가가 효과적으로 실시되기 위해서는 재난관리평가 활동이 대국민 책무성 제고 차원에서 이루어져야 하는 것을 뜻한다. 현 수준의 재난관리평가 지표는 행정안전부 부서단위 수준의 업무에 대한 단기적 실적으로 한정되어 있다. 국가 재난관리 업무에 대한 명확한 전략목표와 임무 설정이 전제가 된 재난관리평가 목표 정립이 필요하다는 것을 알 수 있다. 마지막으로 재난관리평가 수준에 미치는 정확성(Accuracy)의 영향요인중 양(+)의 관계를 보이는 요인은 A2, A5, A6, A10이다. 재난관리평가 대상기관의 고유업무 등이 고려되고 재난관리평가 의도에 맞는 정보 수집, 신뢰할 수 있는 정보가 활용될 때 재난관리평가가 잘 실시된다고 할 수 있다. 또한 재난관리평가 실시 후에 재난관리평가를 총괄적으로 재검토하는 것도 재난관리평가 수준에 영향을 주는 것으로 파악되었다. 아울러 표준화계수를 통한 영향요인의 크기를 살펴보면 P3이 0.340, U7이 0.290, F2가 0.528, A6이 0.25로 위 요인들은 재난관리평가 수준에 가장 큰 영향을 주는 인자이다.
5. 결 론
본 연구는 평가 이론적 측면에서 유용한 틀로 인식되고 있는 PUFA 메타평가 모형을 기반으로 제시한 4개 기준에 대한 하위요인들을 적용하여 재난관리평가가 잘 실시되고 있는지를 검토하였다. 재난관리평가 대상기관 담당자와 평가위원을 대상으로 실시한 설문조사 결과를 활용하여 재난관리평가 이해관계자 간 속성에 따른 차이분석과 재난관리 평가 수준에 미치는 영향요인을 실증적으로 분석하였다. 그 결과를 정리하면 다음과 같다.
첫째, 설문항목에 대한 평균값으로 비교시 평가위원은 피평가기관에 비해 재난관리평가에 대해 보다 긍정적으로 인식하고 있다. 특히, 중앙부처 담당자의 경우 평균값이 가장 낮아 재난관리평가에 대한 상대적으로 부정적인 인식이 가장 큰 것으로 나타났다. 이러한 분석결과는 평가자와 피평가자의 역할이 서로 다른 측면을 감안하여 볼 때 당연한 결과이지만 재난관리평가가 성공적으로 정착되기 위해서는 평가목적, 평가지표, 평가방식, 평가절차 등에 대해 일방적 통보방식으로 이루어질 것이 아니라 양자 간 이해관계가 상충되는 입장을 고려하여 상호 존중하며 소통할 수 있는 공론의 과정을 마련하는 등 재난관리평가의 수용성과 절차적 정당성을 높이기 위한 노력이 필요할 것으로 보인다.
둘째, 집단 간 차이를 분석한 결과, 모든 설문항목에 대하여 통계적으로 유의미한 수준에서 인식도의 차이가 나타났다. 집단 간 가장 큰 차이를 나타낸 항목을 살펴보면, 재난관리평가 결과에 대한 공정성에 대한 인식이다. 지방자치단체의 경우 지역별 재난위험 및 취약성 정도가 상이하기 때문에 노력도에서도 큰 차이가 있지만 이러한 지역적 재난환경을 고려하지 않는다는 점에서, 중앙부처의 경우 주관하는 재난 유형에 따라 고유한 정책 기능이 부처별로 차이가 있음에도 불구하고 이러한 점이 재난관리평가 항목 상에 고려되지 않는다는 점에서 부정적인 인식을 한 것으로 해석된다. 즉, 재난위험에 환경적으로 취약할 수밖에 없는 지역과 그렇지 않은 지역적인 특성과 기관별로 나타나는 고유한 정책집행 또는 업무 수행 기능을 고려한 맞춤형 평가지표체계로 개선할 필요가 있다. 아울러 재난관리평가 관련 이해관계자들이 수긍할 수 있도록 충분한 증거자료를 제시하면서 결과를 국민들에게 적극적으로 공개할 필요성도 있다.
셋째, 회귀분석결과, 재난관리평가 수준에 영향을 미치는 하위요인의 일정부분이 통계적으로 유의한 것으로 나타나 PUFA 모형은 재난관리평가가 잘 실시되고 있는지를 설명하는 유용한 틀로 확인되었다. 가장 큰 영향을 미치는 요인은 재난관리평가의 효과성 확보였고 다음으로 국민(주민)의 안전을 보장하기 위한 수단으로서 적합성이었다. 이는 재난관리평가 활동 결과가 대국민 책무성 제고 차원에서 이루어져야 하는 것을 의미한다. 현 수준의 재난관리평가는 행정안전부 부서단위 수준의 업무에 대한 단기적 실적에 한정되어 있어 국민이 체감할 수 있는 평가지표 체계로 개선이 필요하다는 것을 알 수 있다. 또한 국가 재난관리에 대한 명확한 전략목표와 중앙부처, 지자체, 공공기관의 임무 간 연계된 재난관리평가 목표 정립이 무엇보다 중요할 것으로 보인다.
이상의 분석결과를 바탕으로 재난관리평가의 개선방안을 종합해 보면 다음과 같다.
(1) 평가 이론적 측면에서 PUFA 모형에서 제시한 평가기준과 하위요소를 감안한 제도개선이 필요할 것으로 보인다. 재난관리평가의 성공적 실시를 위해서는 재난안전 업무 개선에 적합한 공정한 평가인지, 재난관리평가 결과를 신뢰하고 수용할 수 있는 평가인지, 효율성과 효과성을 고려한 평가인지, 평가대상기관의 환경, 맥락 등을 충분히 고려하여 적절한 방식으로 평가되는지를 기준으로 점검하는 접근방식이 필요하다. 본 연구 결과 평균값이 가장 낮게 나타난 평가의 중복성(F3), 평가결과의 활용성(U7), 평가 이해관계자 간 상호작용(P4), 현실에 적합한 평가절차(F1), 효과적, 효율적 평가 시행(F2) 등이 개선되어야 재난관리평가의 실효성이 제고될 것으로 보인다.
(2) 평가운영 측면에서 평가부서의 전문성, 평가자에 대한 신뢰성을 확보하기 위한 노력이 필요하다. 재난관리평가는 행정안전부 주관하에 중앙부처, 지방자치단체, 공공기관 등 다수의 기관을 대상으로 매년 평가를 실시하고 있는 재난안전 업무에 대한 종합적 평가기능을 가지고 있다. 평가대상 기관이 지속적으로 확대되고 있고, 장기적인 관점에서 국가재난관리의 전략목표와 기관별 임무 등과 연계된 재난관리평가 목표 정립이 필요한 점을 고려할 때 평가전담 부서의 신설과, 평가 공무원의 전문성 확보는 중요하다고 할 수 있다. 또한 신뢰도가 높은 평가자를 확보하는 것은 평가결과 수용성 관점에서도 중요하다고 할 수 있다. 평가자의 신뢰성을 확보하기 위해서는 평가자가 가치판단할 수 있는 명확한 평가 근거가 제시되도록 평가지표가 개선되어야 하고 아울러 평가자에 대한 지속적인 교육훈련 확대가 필요할 것으로 보인다.
(3) 평가지표 체계 측면에서 평가대상기관의 재난안전 업무특성을 고려한 평가지표 체계로 개선이 필요하다. 현행 지표의 경우 ｢재난 및 안전관리기본법｣ 등 행정안전부 소관 법률에서 규정된 업무에 대한 실적점검 위주의 지표로 구성되어 있다. 다만, 이러한 측정방법으로는 기관별 역량 제고 및 책무성 강화라는 평가목적을 달성하는데 한계가 있기 때문에 이에 대한 제도 개선방안으로 핵심역량 평가제도 도입의 필요성이 지속적으로 대두되고 있다. 이와 유사한 맥락에서 한국적 재난행정체계와 재난 유형별 위험특성을 고려할 때 미국의 행정체계와 같은 핵심역량을 규명하는 데는 한계가 있을 것으로 판단되어‘역량 –성과 다차원 평가체계’로 개선할 것을 제안할 수 있다. 역량평가와 성과평가의 장점, 단점을 모두 가지고 있는 평가모델로서 한국적 재난행정과 환경특성을 고려한 개선방안으로 판단되며 평가이론적 측면에서도 평가결과의 정당성과 공정성을 확보할 수 있을 것으로 보인다.
본 연구는 평가이론의 유용한 틀로 PUFA 모형을 적용하여 재난관리평가 활동 전 과정에 대해 평가대상과 평가위원의 총체적인 평가를 통하여 현 재난관리평가 수준에 영향을 미치는 요인을 분석했다는 점에서 의미를 가진다. 그러나 설문자료가 최소 표본수를 만족하고는 있지만, 설문자료의 응답자 간 표본크기의 차이가 커서 대상별 영향요인을 보다 명확하게 파악하지 못하였다는 점과 측정문항이 개인의 주관적인 인식을 중심으로 측정되었다는 점에서 한계점을 들 수 있다. 향후 재난관리평가가 재난과 안전관리에 대한 종합적인 평가체계로 발전하기 위해서는 재난관리평가가 일반적 정책⋅사업평가와는 다른 차별화된 이론적 정립과 재난관리 특성을 감안한 평가체계 연구가 필요하다. 아울러 설문 개수의 확대와 차별화된 평가연구에 대한 한계점을 보완하여 보다 다양한 연구가 진행되길 기대한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
Print
