경제성 및 다기준을 고려한 소규모 행정구역 수해복구사업의 우선순위 평가

Prioritizing Flood Restoration Project of Small Administrative District Considering Economic Efficiency and Multi-criteria

Article information

J. Korean Soc. Hazard Mitig. 2018;18(2):339-345
Publication date (electronic) : 2018 February 28
doi : https://doi.org/10.9798/KOSHAM.2018.18.2.339
*Member, Senior Researcher, Hydro Science and Engineering Research Institute, Korea Institute of Civil engineering and building Technology
**Member, Senior Researcher, Hydro Science and Engineering Research Institute, Korea Institute of Civil engineering and building Technology
***Member, Post Doctor, Hydro Science and Engineering Research Institute, Korea Institute of Civil engineering and building Technology
****Member, Senior Research Fellow, Hydro Science and Engineering Research Institute, Korea Institute of Civil engineering and building Technology
강성규*, 최시중,**, 김길호***, 이동률****
*정회원, 한국건설기술연구원 수자원⋅하천연구소 수석연구원
**정회원, 한국건설기술연구원 수자원⋅하천연구소 수석연구원
***정회원, 한국건설기술연구원 수자원⋅하천연구소 박사후연구원
****정회원, 한국건설기술연구원 수자원⋅하천연구소 선임연구위원
교신저자: 최시중 Tel: +82-31-910-0664, Fax: +82-31-910-0251, E-mail: sjchoi@kict.re.kr
Received 2017 October 30; Revised 2017 October 31; Accepted 2017 November 6.

Abstract

본 연구에서는 2014년 부산지역의 집중호우 시 읍⋅면⋅동 단위의 집중호우 피해 자료를 조사하고, 경제성 및 다양한 평가기준에 의해 사업의 우선순위를 결정하는 방법을 적용하였다. 경제성 분석을 위해 집중호우에 의한 피해액과 복구비용을 조사하였고, 인명피해 및 이재민에 의해 발생한 피해액은 다차원홍수피해산정법을 활용하여 결정하였다. 의사결정방법은 다속성의사결정방법론 중 순서우위방식인 ELECTRE 및 PROMETHEE를 이용하였다. 이 방법론은 각종 재난복구사업의 우선순위를 결정하는데 사용할 수 있으며, 도시계획 수립 시 소 구역별 홍수방어를 위한 대안 선정 등에 유용하게 활용할 수 있다.

Trans Abstract

In this study, we applied the method to determine the priority of the flood restoration project according to economic efficiency and various evaluation criteria. In order to analyze the economical efficiency, the damage cost and the recovery cost caused by heavy rainfall at each administrative district (Eup, Myeon and Dong) in 2014 at Busan were investigated. The cost caused by human damages were determined by using Multi-Dimensional Flood Damage Analysis. The Outranking method (ELECTRE and PROMETHEE), one of the Multi-Attribute Decision Making used for prioritizing restoration projects. This methodology can be used to determine priorities of various disaster recovery projects and can be useful for selection of flood protection countermeasures suitable for small district in urban planning.

1. 서 론

최근의 집중호우는 좁은 지역에 강한 강우강도로 나타나며, 인접한 지역이라도 그 기상현상과 피해 정도가 크게 다르다. 2014년 부산, 경남 등에 내린 국지성 집중호우는 부산지역에 큰 피해를 입혔다. 국민안전처(2014)에 따르면 2014년도 전체 재산피해액의 74%인 1,341억원의 피해가 8월 25일 집중호우로 발생하였다. 이때 일 강수량 기준으로 창원은 248 mm, 양산 177 mm, 부산 117 mm였으며, 최대 강우강도는 AWS기준으로 부산 금정구에서 130 mm가 기록되었다. 이때 부산지역의 피해는 일 강수량보다는 강한 강우강도에 의한 피해가 대부분이었다. 이와 같은 국지성 집중호우는 해당지역의 여건에 따라 피해규모와 양상이 다르게 나타나므로 고려해야할 사항이 많아 그 대처방안의 선정 및 복구에 있어 의사결정에 어려움을 겪는 경우가 종종 발생한다. 또한 풍수해저감 종합계획이나 하천기본계획을 수립할 때, 혹은 도시계획을 신규로 수립할 경우에도 효율적인 홍수방어 대안 및 사업지역의 선정이 필요하다. 이때 주로 활용하는 것이 경제성 분석 및 계층화 분석과정을 통한 의사결정이다. 치수사업의 경제성 분석 방법으로는 2004년도에 건설교통부에서 개발한 다차원 홍수피해산정방법을 기본으로 사용하며 피해액의 산정항목 및 세부 방법을 보완, 개선하여 이용한다. Lee et al.(2006)은 다차원 홍수피해산정방법을 개선하여 도시지역의 홍수피해액을 산정하는 연구를 수행하였으며, 이 연구를 통해 도시지역의 공공시설 피해율이 비도시지역보다 적음을 보여주었다. Shin et al.(2007)은 모의를 통해 침수심을 결정하고 침수로 인한 건물피해액과 건물내용물피해액으로 침수피해액을 추정하였으며, 침수피해저감액을 편익으로, 침수심 이하의 건물공간의 임대손실을 비용으로 하는 비용편익분석을 수행한 바 있다. Lee and Park(2011)은 GIS자료와 다차원홍수피해산정방법을 이용하여 댐 하류의 홍수피해예상액을 빈도별로 분석하였다.

의사결정방식은 전문가들을 통한 설문조사 방식이 예비타당성 조사 등에서 광범위하게 이용되고 있으나, 설문항목이나 평가기준 등을 다양한 조합을 통해 분석하고자 하는 경우에는 설문조사를 처음부터 다시 해야 하는 번거로움이 발생하기도 한다. 이때 주로 사용하는 것이 순서우위 방법이며 대표적으로는 ELECTRE 및 PROMETHEE 등이 있다. 이들 방법에 대한 적용방법은 Kang et al.(2017)의 연구를 참고할 수 있다. 본 연구에서는 홍수피해복구 실적에 근거한 읍⋅면⋅동 단위의 홍수피해현황을 조사하고, 조사에 근거한 비용편익을 포함하는 다양한 평가기준을 고려하여 피해복구 사업을 시범 평가해 보았다.

2. 대상지역 자료 수집 및 가정

본 연구는 부산광역시를 대상으로 하였으며, 피해발생현황은 2014년 8월 25일부터 2014년 9월 1일까지의 자료를 이용하였다. 자료의 수집단위는 행정구역기준으로 읍, 면 및 법정동으로 하여 세밀한 평가가 가능하도록 하였다.

피해액을 기준으로 상위 10개 읍면동의 자료를 대상으로 하였으며 Fig. 1은 대상 행정구역의 주요 하천 및 침수심별 침수흔적도이다. 피해원인별 피해액은 Table 1과 같다.

Fig. 1.

Inundation Area of Study Districts

The Flood Damage Cost by Causes (Unit: 1,000 KRW)

Table 1의 피해액은 공공시설 피해액을 집계한 것으로 기타 피해액은 도로, 사면, 석축, 공원 및 배수지 등의 시설물이며 사유시설 피해액은 자료의 불확실성 및 확정여부가 투명하지 않아 분석 대상에서 제외하였다.

경제성분석은 Table 1의 피해액 대비 복구액으로 대신하되, 피해액을 편익으로 복구액을 비용으로 하는 B/C분석을 이용한다. 인명 손실 및 이재민의 손실액은 다차원홍수피해 산정방법의 방법을 차용하였으며, 1인당 피해액은 Ministry of Land, Transport and Maritime Affairs(2008)의 방식을 이용하여 결정하였다. 10개 대상 행정구역에서 집중호우로 인한 인명손실은 동래구 온천동에서 부상 2명, 사망 3명으로 조사되었으며, 이재민은 읍면동단위로 조사가 불가하여 Ministry of Public Safety and Security(2014)의 군⋅구 단위의 이재민 수를 환산 후 피해액을 추산하였다. 군⋅구 단위로 조사된 이재민 수는 Eq. (1)과 같이 소속 군⋅구단위의 침수면적 및 인구수 대비 해당 읍면동의 침수면적과 인구수를 각각 50%씩 반영하여 환산하였다. Eq. (1)의 V는 이재민 수를 IA는 침수면적을, P는 인구수를 각각 나타내며, EMD는 읍면동을, GG는 군, 구를 의미한다.

(1) V(EMD)=0.5V(GG)IA(EMD)IA(GG)+0.5VP(EMD)P(GG)

사상자와 이재민에 의한 피해액은 Table 2에 관련 정보와 함께 표시하였다. Ministry of Land, Transport and Maritime Affairs(2008)는 이재민의 경우 1인당 국민 총소득(GNI)에 이재민 수와 대피기간을 곱하는 방식으로 이재민이 받은 경제적 손실을 추정하도록 하고 있으며, 평균 대피일을 10일로 보고 있다. 통계청 통계정보시스템에 의하면 2014년 우리나라의 1인당 국민총소득은 연 29,377 천원이다. 아울러 Ministry of Land, Transport and Maritime Affairs(2008)는 사망자에 의한 피해액은 생산손실이 약 88%, 위자료 10% 등을 포함하여 389,877 천원(1인당)으로 제시하고 있다. 부상의 경우 4,228 천원(1인당)으로 추산하고 있어 이를 전체 피해액에 반영하여 평가기준 및 대안을 Table 3과 같이 나타내었다. 평가기준은 앞서 설명한 요소 외에 인구밀도와 취약인구(65세 이상, 15세 미만) 수, 침수면적(명/km2), 복구사업의 종류별 개소 수 등을 포함하는 10개의 평가기준을 선정하였다. 대안은 각 행정구역별 복구사업을 의미한다.

Damage Cost by Victims, Casualties and Necessary Material (Cost unit: 1,000 KRW)

Alternatives and Correspondences

3. 대안별 우선순위의 평가

우선순위의 평가는 다속성의사결정방법 중 순서우위 방법을 활용하였다. PROMETHEE 및 ELECTRE Ⅳ 방법을 적용하였으며 적용 순서는 Fig. 2와 같다.

Fig. 2.

Flow of MADM

3.1 가중치 산정 및 표준화

가중치는 평가기준 간 상대적 중요도를 고려하기 위해 사용하는 것으로 다양한 방식이 있으나 본 연구에서는 주어진 수치만을 이용해 가중치를 결정하는 엔트로피 방식을 이용하기로 하였다. 다기준분석에서 가중치는 최종 우선순위의 결정에 매우 큰 영향을 줄 수 있어 결정에 주의가 필요하다. 이에 개인의 주관적인 요소가 들어가지 않도록 엔트로피 방식을 선정하였다. Table 4에 나타낸 가중치 산정 결과 지배적인 영향을 끼치는 평가기준은 복구비용과 인구밀도, 재방복구사업의 개수이다.

Weights from Entropy

ELECTRE Ⅳ 적용을 위한 표준화 방식은 자료의 크기 및 단위의 편차를 없애기 위한 방법으로 McCall(1923)이 제시한 T-score 방식을 사용하였다. 평가기준에 따른 대안의 값이 클수록 순위에 부(-)영향을 주는 항목은 T-score의 최대값인 80에서 해당 점수를 빼주는 방식으로 고려하였다. Table 4에 제시된 엔트로피에 의한 가중치는 PROMETHEE 및 ELECTRE Ⅳ 방법 모두에 공통으로 적용된다.

3.2 PROMETHEE에 의한 우선순위 도출

PROMETHEE를 이용하기 위해 선호함수는 V형을 선정하였다. 모든 대안을 2개씩 선정하여 쌍대비교를 통해 순위를 결정하는 방법이며 선호함수에 가중치를 곱하여 선호지수를 결정한다. 이후 Eq. (2)의 선호유출량(ϕ+) 및 선호유입량(ϕ-) 그리고 이들의 차인 순흐름량(ϕ)을 통해 우선순위를 선정하는 방식이다.

(2) ϕ+(a)=1n-1πbA(a,b)ϕ-(a)=1n-1πbA(b,a)ϕ(a)=ϕ+(a)-ϕ-(b)

순흐름량의 결과는 Table 5에 나타내었다. PROMETHEE에 의한 수해복구사업의 우선순위는 순흐름량의 크기가 큰 순서대로 정관읍-온천동-구포동-장안읍-기장읍-화명동-철마면-장전동-일광면-선두구동의 순서로 결정된다.

Leaving Flow, Entering Flow and Net Flow for PROMETHEE

3.3 ELECTRE Ⅳ에 의한 우선순위 도출

ELECTRE 방법의 적용을 위해 T-score 방식으로 표준화된 평가기준 및 대안별 항목에 가중치를 곱하여 표준화 행렬을 구성하였다. 이후 대안쌍끼리의 쌍대비교를 통해 우열표를 작성하고 각 쌍의 기준별 항목의 값이 큰 평가기준을 우등집합에, 작은 기준을 열등집합에 표기한다. 대안쌍(p, q)에서 우등지수 cpq와 열등지수 dpqEq. (3)을 이용하여 계산한다. 쌍대비교에서 예를 들어 비교쌍(p, q) 간의 우선순위는 우등지수가 전체 우등지수의 평균보다 크고, 열등지수는 전체 열등지수의 평균보다 작은 경우 대안 p가 대안 q보다 우월한 대안으로 평가할 수 있다.

(3) cpq=j0rj0rjjdpq=j0vpj0-vqj0jvpj-vqj

여기서, j0는 열등집합에 포함된 평가기준

v는 표준화 행렬의 값

ELECTRE Ⅳ방법을 적용했을 때 Eq. (3)의 우등지수(cpq)와 열등지수(dpq)는 Table 6과 같다. Table 6에서 음영은 CI의 경우 평균보다 우등지수가 큼을, DI는 평균보다 열등지수가 작음을 의미한다. Table 6을 분석하여 얻을 수 있는 대안 간의 우월관계는 Table 7과 같이 정리할 수 있다.

Concordance Index(CI) and Discordance Index(DI) for ELECTRE Ⅳ

The Relationship Between Alternatives

Table 7을 종합하면 각 대안간의 우선순위는 정관읍-온천동-철마면-장안읍≒구포동-화명동-기장읍≒장전동-일광면-선두구동의 순이다. 장안읍과 구포동, 기장읍과 장전동의 수해복구사업은 서로 우열관계가 드러나지 않아 직접비교가 불가하나, 우등지수가 우등지수의 평균과 떨어진 양의 거리, 열등지수가 열등지수의 평균과 떨어진 음의 거리만으로 간접 비교하면 장안읍이 구포동보다, 기장읍이 장전동보다 우선순위가 높다고 할 수 있다. 이를 그림으로 표출하면 Figs. 34와 같이 나타낼 수 있다.

Fig. 3.

Priorities by PROMETHEE

Fig. 4.

Priorities by ELECTRE Ⅳ

정관읍의 경우 일광면과 장안읍에 비해 피해액과 복구액은 적으나 B/C가 상대적으로 큰 편이며, 특히 가중치가 높은 제방복구사업의 개소수에서 타 지역과 큰 차이를 보여 1순위로 선정되었다. 우선순위가 가장 낮은 선두구동의 경우 B/C면에서는 우세하나 가중치가 높은 복구비, 인구밀도가 낮았고 특히 제방복구사업 개소수가 전혀 없는 것이 가장 후순위로 평가된 것으로 판단된다.

4. 결 론

PROMETHEE와 ELECTRE 방법을 적용한 결과 전체적으로 유사한 결과를 얻었다. 단, 앞과 뒤의 순위는 일치하고 있으나 중간부분의 순위는 차이가 있었다. 이는 대안쌍 간의 우열비교시 PROMETHEE의 경우 열등한 대안을 모두 0으로 처리하는 반면 ELECTRE는 열등함수를 통해 동일한 비중으로 비교를 진행하게 되므로 우열관계가 근소한 중간 범위에서 차이가 발생하게 되는 것에서 기인한다.

이 연구의 결과는 가정사항과 실제 발생한 집중호우의 결과라는 특성상 고려할 수 없었던 자료로 인해 절대적인 결과라 할 수 없다. 인명피해가 특정한 지역에서만 발생하였으며, 복구사업의 결과로 도시화율이나, 인구밀도, 영향범위 등이 집중호우 전후로 달라지는 것은 아니기 때문이다. 또한 본 연구의 방법론은 계획의 측면에서 더 유효할 수 있는데 계획은 검증할 수 있는 자료가 없기에 실제 현상을 최대한 반영하는 검증 연구라는 측면의 성격이 짙다.

실제 다양한 종류의 도시계획, 풍수해저감종합계획 및 하천기본계획 등의 수립 시 계층화 분석과정의 조건이 변경되는 경우 본 연구의 방법론은 매우 유용하다. 계획의 측면에서는 홍수방어에 직접 영향을 줄 수 있는 요인인 도시화율, 제방정비율, 빈도별 침수면적 및 침수심 등의 인자를 평가기준으로 추가하고, 다양한 방법으로 연구되고 있는 홍수피해액 추정방법을 이용하는 비용편익비 등이 유용한 자료로 이용될 수 있다.

Acknowledgements

본 연구는 국토교통부 국토교통기술사업화지원사업(17TBIP-C111520-02)의 연구비 지원에 의해 수행되었습니다.

References

Kang S.K., Choi S.J., Lee D.R.. 2017;Selection of Flood Protection Alternatives Using Multi-Criteria Decision Making. J. Korean Soc. Hazard Mitig. 17(1):279–285.
Lee G.S., Park J.H.. 2011;Flood Damage Assessment According to the Scenarios Coupled with GIS Data. Journal of the Korean Society for Geo-spatial Information Science 19(4):71–80.
Lee K.H., Choi S.A., Kim H.S., Shim M.P.. 2006;Application of Multi-Dimensional Flood Damage Analysis for Urban Flood Damage. Journal of the Korean Society of Civil Engineers 26(4B):363–369.
McCall W.A.. 1923;Science of Education. The Journal of Educational Research 7(5):384–396.
Ministry of Construction and Transportation. 2004. A Study on the Economic Analysis in Flood Control Projects
Ministry of Land, Transport and Maritime Affairs. 2008. Improving Measures of Feasibility Study for Water Resources Projects
Ministry of Public Safety and Security. 2014. Annual Report of Natural Disaster
Shin S.Y., Lee C.H., Lee Y.J., Yeo C.G.. 2007;Determining Flood Protection Elevation of Urban Structure Using Cost-Benefit Analysis. Journal of the Korean Society of Civil Engineers 27(6B):651–659.
KOSIS. from http://kosis.kr/index/index.jsp (Retrieved October 23, 2017).

Article information Continued

Fig. 1.

Inundation Area of Study Districts

Fig. 2.

Flow of MADM

Fig. 3.

Priorities by PROMETHEE

Fig. 4.

Priorities by ELECTRE Ⅳ

Table 1.

The Flood Damage Cost by Causes (Unit: 1,000 KRW)

District Landslide Retaining wall Levee Embankment Inundation Rapids torrent Overflow Others Sum
Gijang 289,723 736 582,595 26,051 341,060 235,163 163,006 108,334 1,746,668

Jangjeon - - - - 709,359 1,100,689 97,053 114,194 2,021,295

Gupo 65,978 30,000 57,713 156,019 601,078 31,890 - 1,167,452 2,110,130

Oncheon 157,366 - - - 1,065,437 456,722 275,132 230,000 2,184,657

Seondugu 1,083,702 - - - - 150,241 1,578,663 215,279 3,027,885

Hwamyeng 154,728 122,496 109,701 3,653 58,029 692,167 1,187,419 1,244,386 3,572,579

Jeonggwan 694,007 10,549 622,788 126,389 1,454,865 533,375 10,000 884,855 4,336,828

Cheolma 89,429 - 14,437,935 - 443,350 638,512 477,519 235,886 16,322,631

Ilgwang 37,079 92,262 16,281,931 451,640 560,688 1,223,311 206,343 389,528 19,242,782

Jangan 509,244 28,297 13,379,247 1,242,864 378,516 812,774 1,054,588 1,989,574 19,395,104

Table 2.

Damage Cost by Victims, Casualties and Necessary Material (Cost unit: 1,000 KRW)

District District area (㎡) Inundation area (㎡) Victims Damage cost of Victims Damage cost of Casualties
Gijang 39,342,937 128,623 272 219,141 -

Jangjeon 6,058,960 290,594 220 176,890 -

Gupo 5,584,382 158,816 126 101,017 -

Oncheon 6,266,907 586,388 784 631,089 1,178,087

Seondugu 6,263,884 63,626 36 29,169 -

Hwamyeng 12,548,391 322,238 214 172,330 -

Jeonggwan 38,201,759 719,831 438 352,654 -

Cheolma 54,237,290 1,634,074 271 218,103 -

Ilgwang 35,695,373 1,334,886 232 186,796 -

Jangan 51,015,367 1,100,494 200 161,362 -

Table 3.

Alternatives and Correspondences

Alternatives Damage cost (C1) Restoration cost (C2) B/C (C3) Population density (C4) Vulnerable population (C5) Victims (C6) Inundation area (C7) Projects (Levee) (C8) Projects (Inundation) (C9) Projects (Landslide) (C10)
Gijang (A1) 1,965,809 4,537,520 0.43 1,329.77 15,480 272 128,623 3 12 9

Jangjeon (A2) 2,198,185 2,753,373 0.80 7,372.72 10,715 220 290,594 - 6 -

Gupo (A3) 2,211,147 12,734,239 0.17 12,008.49 14,668 126 158,816 2 13 2

Oncheon (A4) 3,993,833 5,981,801 0.67 11,749.34 19,098 784 586,388 - 6 3

Seondugu (A5) 3,057,054 3,362,346 0.91 389.53 754 36 63,626 - 1 2

Hwamyeng (A6) 3,744,909 6,705,440 0.56 7,364.29 22,416 214 322,238 1 2 1

Jeonggwan (A7) 4,689,482 9,515,192 0.49 1,806.02 22,979 438 719,831 16 32 11

Cheolma (A8) 16,540,734 53,506,991 0.31 137.10 2,398 271 1,634,074 8 25 2

Ilgwang (A9) 19,429,578 84,944,264 0.23 232.07 2,786 232 1,334,886 5 6 2

Jangan (A10) 19,556,466 75,352,835 0.26 170.85 2,633 200 1,100,494 8 19 7

Table 4.

Weights from Entropy

Category C1 C2 C3 C4 C5 C6 C7 C8 C9 C10
Degree of diversification 0.1672458 0.2719970 0.0528474 0.2730051 0.1349081 0.0928678 0.1491951 0.2791742 0.1386388 0.1730070

Entropy 0.0965129 0.1569619 0.0304967 0.1575436 0.0778516 0.0535914 0.0860963 0.1611036 0.0800046 0.0998375

Table 5.

Leaving Flow, Entering Flow and Net Flow for PROMETHEE

Category Leaving flow Entering flow Net flow Priorities
A1 0.162 0.177 -0.014 5

A2 0.145 0.193 -0.048 8

A3 0.198 0.161 0.037 3

A4 0.266 0.202 0.064 2

A5 0.073 0.214 -0.141 10

A6 0.166 0.185 -0.019 6

A7 0.398 0.221 0.178 1

A8 0.228 0.262 -0.034 7

A9 0.151 0.234 -0.083 9

A10 0.223 0.190 0.033 4

Table 6.

Concordance Index(CI) and Discordance Index(DI) for ELECTRE Ⅳ

Comparison CI DI Comparison CI DI Comparison CI DI
(1, 2) 0.47 0.39 (4, 5) 0.65 0.05 (7, 8) 0.82 0.22

(1, 3) 0.58 0.52 (4, 6) 0.76 0.12 (7, 9) 0.82 0.16

(1, 4) 0.50 0.67 (4, 7) 0.40 0.69 (710) 0.82 0.18

(1, 5) 0.72 0.11 (4, 8) 0.58 0.43 (8, 1) 0.42 0.47

(1, 6) 0.55 0.46 (4, 9) 0.58 0.30 (8, 2) 0.58 0.42

(1, 7) 0.16 0.97 (410) 0.48 0.41 (8, 3) 0.51 0.48

(1, 8) 0.58 0.53 (5, 1) 0.28 0.89 (8, 4) 0.42 0.57

(1, 9) 0.66 0.37 (5, 2) 0.23 0.85 (8, 5) 0.56 0.26

(110) 0.58 0.50 (5, 3) 0.28 0.83 (8, 6) 0.58 0.45

(2, 1) 0.53 0.61 (5, 4) 0.19 0.57 (8, 7) 0.18 0.78

(2, 3) 0.33 0.68 (5, 6) 0.29 0.87 (8, 9) 0.57 0.09

(2, 4) 0.19 0.94 (5, 7) 0.19 0.95 (810) 0.41 0.40

(2, 5) 0.61 0.15 (5, 8) 0.35 0.74 (9, 1) 0.34 0.63

(2, 6) 0.48 0.70 (5, 9) 0.35 0.58 (9, 2) 0.50 0.56

(2, 7) 0.35 0.84 (510) 0.35 0.69 (9, 3) 0.43 0.63

(2, 8) 0.42 0.58 (6, 1) 0.45 0.54 (9, 4) 0.34 0.70

(2, 9) 0.42 0.44 (6, 2) 0.52 0.30 (9, 5) 0.56 0.42

(210) 0.48 0.55 (6, 3) 0.50 0.58 (9, 6) 0.58 0.60

(3, 1) 0.42 0.44 (6, 4) 0.24 0.88 (9, 7) 0.18 0.84

(3, 2) 0.67 0.32 (6, 5) 0.71 0.13 (9, 8) 0.33 0.91

(3, 4) 0.40 0.77 (6, 7) 0.35 0.85 (910) 0.38 0.89

(3, 5) 0.62 0.14 (6, 8) 0.42 0.55 (101) 0.42 0.50

(3, 6) 0.50 0.42 (6, 9) 0.42 0.40 (102) 0.52 0.45

(3, 7) 0.16 0.78 (610) 0.48 0.52 (103) 0.61 0.51

(3, 8) 0.39 0.52 (7, 1) 0.84 0.03 (104) 0.52 0.59

(3, 9) 0.47 0.37 (7, 2) 0.65 0.16 (105) 0.65 0.31

(310) 0.39 0.49 (7, 3) 0.84 0.22 (106) 0.52 0.48

(4, 1) 0.50 0.33 (7, 4) 0.60 0.31 (107) 0.18 0.82

(4, 2) 0.57 0.06 (7, 5) 0.81 0.05 (108) 0.43 0.60

(4, 3) 0.60 0.23 (7, 6) 0.65 0.15 (109) 0.62 0.11

Mean 0.48 0.49

Table 7.

The Relationship Between Alternatives

• Alternative 1 is superior to alternative 5
• Alternative 1 is superior to Alternative 6
• Alternative 1 is superior to alternative 9
• Alternative 2 is superior to alternative 5
• Alternative 3 is superior to alternative 2
• Alternative 3 is superior to alternative 5
• Alternative 3 is superior to Alternative 6
• Alternative 4 is superior to Alternative 1
• Alternative 4 is superior to Alternative 2
• Alternative 4 is superior to alternative 3
• Alternative 4 is superior to alternative 5
• Alternative 4 is superior to Alternative 6
• Alternative 4 is superior to alternative 8
• Alternative 4 is superior to alternative 9
• Alternative 6 is superior to alternative 2
• Alternative 6 is superior to alternative 5
• Alternative 7 is superior to all alternatives
• Alternative 8 is superior to alternative 2
• Alternative 8 is superior to alternative 3
• Alternative 8 is superior to alternative 5
• Alternative 8 is superior to alternative 6
• Alternative 8 is superior to alternative 9
• Alternative 9 is superior to alternative 5
• Alternative 10 is superior to alternative 2
• Alternative 10 is superior to alternative 5
• Alternative 10 is superior to alternative 6
• Alternative 10 is superior to alternative 9