국문초록
1. 연구배경 및 필요성
□ 보다 효율적인 ODA사업 운영을 위해 ODA사업 ‘평가 및 모니터링 시스템’ 구축이필요
○ 우리나라는 선진국과 달리 수원국과 공여국의 지위를 함께 가지고 ODA사업을 시작 했다는 독특한 맥락(context)을 지니는 것이 특징(이하 원문 확인)
□ 본 연구는 우리나라 개별 ODA사업 평가 및 모니터링체계의 문제점을 분석하고,이를 통해 개선방안을 제안하는 것이 목적
○ 이를 위해 우리나라의 개별 ODA사업 평가 및 모니터링 실태를 분석하고 개선방안을 도출하여, 효과적이고 표준화된 ODA사업 ‘평가 및 모니터링 시스템’을 구축하는것이 목표
- 첫째, 우리나라 ODA사업 평가 및 모니터링 시스템 현황 및 선행연구 분석을 통해 문제점을 진단하고 분석틀 개발
- 둘째, 주요국의 ODA사업 평가 및 모니터링 시스템과 지표에 대한 다중사례비교분석을 실시해, 우리나라 ODA사업 평가 및 모니터링 시스템 개발을 위한 함의도출
- 셋째, 내용분석 및 인식조사방법을 사용해 개별 ODA사업 평가 및 모니터링 시스템과 지표에 대한 실태분석을 실시
- 넷째, ODA사업 평가 및 모니터링시스템 개선방안을 법·제도 측면, 제도·운영측면,인식측면의 3가지로 분류해 제언
2. 이론적 배경
□ 일반적으로 평가와 모니터링은 불가분의 관계이지만, 성격 및 목적에 명확한 차이가 존재
○ 광의의 평가는 정부개입이 좋은지 나쁜지를 비판적으로 검토하는 활동으로 정의하고, 협의의 평가는 결과에 대한 평가와 과정에 대한 평가를 결합한 것으로 정의
○ 모니터링은 비교적 최근에 정의되었으며, 과정평가 또는 형성평가와 비교했을 때,지속적·일상적인 점검과 분석, 보고의 개념을 내포
□ ODA사업 평가에 대한 개념은 법적으로 개념화되어 평가지침 등이 마련되어 있지만, 모니터링에 대한 법제도적 근거, 정의, 구체적 가이드라인의 마련은 미흡한 실정
○ ODA사업 통합평가체계는 ODA사업의 메타평가 역할을 하며, 성과관리를 중심으로정립되어 있지만, 모니터링에 대해서는 명확하게 명시되지 않은 상태
○ 이에 비해 개별 ODA사업에 대한 평가 및 모니터링 체계는 명백하게 구축되지 않은것이 현실
(이하 원문 확인)
□ 국내외의 ODA사업 평가 및 모니터링 평가에 관한 연구는 경제지표를 활용한 사업의 효과성 평가에 집중
○ 국내에서 개별 ODA사업 모니터링에 대한 별도의 연구는 아직 진행되지 않았고, 평가 및 모니터링 시스템 구축에 관한 연구도 드물게 진행
○ 해외에서 ODA사업 평가 및 모니터링 연구는 ODA사업 투자규모와 그 영향에 대한실증연구, 그리고 ODA사업의 지향점에 대한 질적 연구로 구분
3. 정책 및 사례분석
□ 해외사례 분석결과
○ 4개국의 공통적 특징은 첫째, 사업의 전 과정에 대한 평가 및 모니터링계획이 사전에 수립된다는 점, 둘째, 적극적인 평가 및 모니터링이 수행된다는 점, 셋째, 증거에기반 한 기술을 한다는 점, 넷째, VfM(재정운용효율성)을 고려한 평가를 수행한다는점으로 요약
○ 4개국의 독특한 특징으로 국내 제도개선을 위한 시사점이 있는 것이 특성
- 일본은 일반 성과관리시스템 근거법을 ODA사업 평가에 적용하도록 하며, 사업종료 후 평가 및 모니터링 시스템을 체계적으로 구축
- 호주는 사업별로 QAI를 개발해, 계획-집행-평가-모니터링 모두 동일한 기준을 적용함으로써 일관성을 개선했고, 평가 및 모니터링의 시기와 주기를 법정화
- 캐나다는 사업별 평가 및 모니터링 계획을 따로 수립하는 대신 품질의 일관성확보를 위해 지표개발용 TOR(준거기준)을 제시하며, 수원국별 평가를 통해 사회전반에 대한 영향을 평가
- 영국은 부처 성과계획의 일부로 ODA사업 목표를 수립하고, 수원국별 ODA평가전략계획을 수립하며, 축적된 모니터링 자료를 활용해 시계열적 분석을 수행함으로써 심층평가와 분석을 실시
□ 국내실태 분석결과
○ 2012년 9개 사후평가보고서와 1개 중간평가보고서를 대상으로 OECD DAC의 기준별(적절성, 효율성, 효과성, 영향력, 지속가능성)로 본 연구를 통해 개발된 분석지표를 적용해 분석
○ 국내의 개별 ODA사업 평가의 궁극적인 문제는 3가지로 요약
- 첫째, 중간평가의 실시가 시스템화 되지 않았으며, 2012년의 경우 단 1건의 중간평가보고서만이 발견
- 둘째, 사후평가가 종료평가 수준으로 실시되어 심층적인 분석이 부족한 경우가다수 발견
- 셋째, 모니터링과의 긴밀한 관계가 구축되어 있지 못한 실정
○ 중간평가의 경우 ‘적절성, 효율성, 효과성, 지속가능성’에 대해 분석한 결과, 대체적으로 미흡하거나 보통 수준으로 평가
(이하 원문 확인)
○ 종료평가의 경우 ‘적절성, 효율성, 효과성, 영향력, 지속가능성’에 대해 분석한 결과,대체적으로 미흡하거나 보통 수준으로 평가
(이하 원문 확인)
○ 사업종료 후 모니터링은 실시되지 않고 있으며, 사업수행 중 모니터링 역시 평가시스템에 비해 체계적이지 못한 실정
(이하 원문 확인)
□ 공무원 및 전문가 인식조사결과
○ 외부전문가(교수 및 연구원 103명)와 ODA사업 평가담당공무원(61명)을 대상으로 구조화된 설문지를 사용해 설문분석을 실시
- 공무원과 외부전문가의 인식차이를 독립표본 검정을 활용해 분석
(이하 원문 확인)
- 평가 및 모니터링 지표와 전반적 평가 및 모니터링 수준의 관계를 구조방정식모형을 활용해 분석
(이하 원문 확인)
4. 결론 및 정책대안
□ 법적·제도적 개선방안
○ ODA사업 평가시스템과 ·정부업무평가기본법·이 연계되도록 법 개정
○ ·국제개발협력법·개정을 통한 ODA사업 평가시스템 개선을 위해 국제개발협력기본계획 수립시 평가 및 모니터링 계획을 포함하도록 법규개정 필요
○ ·국제개발협력법시행령·개정을 통한 ODA사업 평가 및 모니터링 시스템을 체계화하는 가이드라인을 명문화
(이하 원문 확인)
□ 제도·운영적 개선방안
○ 평가지표 개선을 통한 개별 ODA사업 평가시스템 개선
○ 모니터링지표 개발을 통한 개별 ODA사업 모니터링시스템 개선
○ 사업종료 후 모니터링제도의 구축
○ 중간평가의 시기, 주체, 방법 등을 명문화하고 제도적 시스템 구축
○ 사업수행 중 모니터링 시스템을 현재 수준보다 개선 필요
○ 사업시행초기부터 평가 및 모니터링에 대한 설계를 하는 제도 구축
○ ODA사업 모니터링 차원에서 수원국-공여국-파트너기관간 목표, 환경변화여부에 대해 비교분석시스템을 체계적으로 구축할 필요
○ 사업효과가 순수 ODA사업의 효과인지 여부에 대한 심층분석시스템 구축 필요
○ 집행프로세스 및 조직에 대한 수시모니터링시스템 구축 및 모니터링을 바탕으로 한피드백 체계 확립 필요
○ 수원국의 주인의식에 대한 모니터링제도 구축 필요
○ 성평등 및 환경에 대한 평가 및 모니터링 시스템 개발 필요
○ 모니터링 및 중간평가를 통한 지적사항의 개선여부에 대한 환류시스템 집중평가체계구축 필요
(이하 원문 확인)
□ 인식론적 개선방안
○ 개별 ODA사업에 대한 평가 및 모니터링 시스템 강화 필요성 인식 개선을 위한 교육 및 훈련 필요
○ 다양한 ODA사업별 평가 및 모니터링 시스템 일관성 개선 필요성 인식을 위한 교육 및 훈련 필요
○ 모니터링 및 중간평가의 개념에 대한 인식 전환이 필요
○ ODA사업의 다차원적 목표에 대한 인식 개선 필요
○ 평가와 모니터링 지표 사이에는 그 역할 차이로 인해 지표 자체를 차별화할 필요가있다는 점을 교육하는 것이 필요
○ 적극적 모니터링 및 평가 필요성을 인식시키기 위한 교육훈련 강화
(이하 원문 확인)
5. 기대효과
□ ODA사업 평가제도의 개선을 위한 기대효과
○ 개별 ODA사업에 대한 표준화된 평가 및 모니터링 시스템 구축을 위한 모델로 활용
○ ODA사업 모니터링 제도 마련을 위해 개별 ODA사업 평가시스템과 연계된 체계적인 모니터링 제도 구축의 가이드라인으로 활용
○ 사업초기부터 ODA사업 평가 및 모니터링 계획을 수립하고, 맞춤형 지표를 개발해 계획-모니터링-평가와의 연계를 위한 이론적·정책적 토대로 활용
○ ODA사업 평가 및 모니터링 근간인 ·국제개발협력기본법(법률 제 10919호)·및 그시행령에 대한 체계화를 위해 필요한 제·개정의 근거 제공
○ 개별 ODA사업에 대한 평가 및 모니터링을 위한 매뉴얼 개발 및 세부 지침의 개발-변경에 활용
○ ODA사업 평가 및 모니터링의 실효성 제고를 위해 적정한 ODA 평가 및 모니터링지표 제시를 통한 ODA사업의 내실화 도모
○ ODA사업 성과관리 취지에 부합하는 ODA사업 평가·모니터링 방법론의 개발 등을통해 ODA사업 평가 및 모니터링 시스템의 고도화 달성에 기여
목차
제1장 서 론
제1절 연구의 필요성 및 목적
1. 연구의 필요성
2. 연구의 목적
제2절 연구의 범위와 방법 및 연구흐름도
1. 연구의 범위
2. 연구의 방법
3. 연구 흐름도
제3절 연구의 기대효과
제2장 이론적 논의: ODA사업 평가 및 모니터링
제1절 ODA사업
1. ODA사업 개념 및 역사
2. 우리나라의 ODA사업 구조 및 현황
제2절 ODA사업에 대한 평가 및 모니터링
1. 평가 및 모니터링의 개념
2. ODA사업 평가 및 모니터링
3. ODA사업 평가 및 모니터링 지표
제3절 ODA사업 평가 및 모니터링에 대한 선행연구 검토
1. 국내 ODA사업 평가 및 모니터링 연구
2. 해외 ODA사업 평가 및 모니터링 연구
제4절 연구의 분석틀
제3장 해외 ODA사업 평가 및 모니터링 시스템 분석
제1절 일본의 ODA사업 평가 및 모니터링 시스템
1. 일본의 ODA사업 평가 및 모니터링 기본틀
2. 일본의 개별 ODA사업 평가 및 모니터링 실태
3. 종합: 일본 ODA사업 평가 및 모니터링의 특징
제2절 호주의 ODA사업 평가 및 모니터링 시스템
1. 호주의 ODA사업 평가 및 모니터링 기본틀
2. 호주의 개별 ODA사업 평가 및 모니터링 실태
3. 종합: 호주 ODA사업 평가 및 모니터링의 특징
제3절 캐나다의 ODA사업 평가 및 모니터링 시스템
1. 캐나다의 ODA사업 평가 및 모니터링 기본틀
2. 캐나다의 개별 ODA사업 평가 및 모니터링 실태
3. 종합: 캐나다 ODA사업 평가 및 모니터링의 특징
제4절 영국의 ODA사업 평가 및 모니터링 시스템
1. 영국의 ODA사업 평가 및 모니터링 기본틀
2. 영국의 개별 ODA사업 평가 및 모니터링 실태
3. 종합: 영국 ODA사업 평가 및 모니터링의 특징
제5절 소결: 국가별 ODA사업 평가 및 모니터링 비교
1. 국가별 ODA사업 평가 및 모니터링 제도특징 비교
2. 평가 및 모니터링 지표 비교분석: 분석지표 도출
3. 본 연구를 위한 지표 개발
제4장 국내 ODA사업 평가 및 모니터링 실태분석
제1절 국내 ODA사업 모니터링 실태분석
1. 적절성
2. 효과성
3. 효율성
4. 지속가능성
5. 국내 ODA사업 모니터링 실태에 대한 종합적 분석
제2절 국내 ODA사업 평가 실태분석
1. 적절성
2. 효과성
3. 효율성
4. 영향력
5. 지속가능성
6. 국내 ODA사업 평가실태에 대한 종합적 분석
제3절 소결: 국내 ODA사업 평가 및 모니터링 실태 분석결과 종합
1. 국내 ODA사업 모니터링 실태 분석결과 종합
2. 국내 ODA사업 평가 실태 분석결과 종합
3. 실태 분석결과 종합
제5장 ODA사업 평가 및 모니터링 시스템 인식분석: 설문분석
제1절 조사설계
1. 연구설계
2. 조사방법
제2절 설문조사결과 분석: 외부전문가와 공무원의 인식차이
1. 평가 및 모니터링 제도에 대한 인식
2. 평가 지표에 대한 인식
3. 모니터링 지표에 대한 인식
4. ODA사업 성과에 대한 인식
5. ODA 평가 및 모니터링 시스템 개선 필요성에 대한 인식
6. 공무원과 외부전문가의 인식차이 비교분석 결과
제3절 설문조사결과 분석: E&M지표와 전반적 E&M수준의 관계
1. 설문의 신뢰도.타당도 분석결과
2. 적절성 차원
3. 효과성 차원
4. 효율성 차원
5. 영향력 차원
6. 지속가능성 차원
7. 제3절의 결과 종합
제4절 소결: 인식분석(설문분석) 결과 종합
1. 공무원과 외부전문가 인식차이
2. 평가 및 모니터링 지표와 전반적 평가 및 모니터링 수준의 관계
제6장 ODA사업 평가 및 모니터링 시스템 개선방안
제1절 법제도적 측면의 개선방안
1. 개별 ODA사업 평가시스템과 「정부업무평가기본법」 연계를 위한 법 개정
2. .국제개발협력법. 개정을 통한 ODA사업 평가시스템 개선
3. 법규상에 모니터링 명문화 및 모니터링시스템 법제화
4. 개별 ODA사업 평가지침 개선 및 모니터링 지침 개발·적용
5. 효율성 측정을 위한 VfM 분석 적용에 대한 지침 강화
제2절 제도.운영적 측면의 개선방안
1. 평가지표 개선을 통한 개별 ODA사업 평가시스템 개선
2. 모니터링 지표개발을 통한 개별 ODA사업 모니터링 시스템 개선
3. 사업종료 후 모니터링 제도 구축
4. 구체적인 중간평가 시스템 구축
5. 사업수행 중 모니터링 시스템 개선방안 모색
6. 사업시행초기부터 평가 및 모니터링에 대한 설계를 하는 제도 도입
7. ODA사업 모니터링 차원에서 수원국-공여국-파트너기관간 목표·환경 변화 여부에 대한 비교분석 시스
템 구축
8. 순수 ODA사업으로 인한 효과분석을 위한 심층분석 시스템 구축
9. 집행프로세스 및 조직에 대한 수시모니터링 및 피드백 체계 구축
10. 수원국의 주인의식에 대한 모니터링제도 구축
11. 성평등 및 환경에 대한 평가 및 모니터링 시스템 개발
12. 모니터링 및 중간평가를 통한 지적사항의 개선여부에 대한 환류시스템 집중평가체계 구축
13. 중간평가에서 효율성(VfM)에 대한 측정을 강화하는 시스템 개선
14. 종합적인 사업의 영향력 평가 시스템 구축
15. 평가를 위한 현장점검제도 운영방식 개선
16. 평가 및 모니터링 인력 확충 및 전문성 개선
17. 평가 및 모니터링 시스템 유형화를 통한 맞춤형 시스템 구축
18. 개별 ODA사업에 대한 평가 및 모니터링 성과정보 활용 강화
제3절 인식론적 측면의 개선방안
1. 개별 ODA사업에 대한 평가 및 모니터링 시스템 강화 필요성 인식
2. 다양한 ODA사업에 대한 평가 및 모니터링 시스템의 일관성 개선필요성 인식
3. 모니터링의 개념에 대한 인식 전환
4. 중간평가의 개념에 대한 인식 전환
5. ODA사업의 다차원적 목표에 대한 인식 개선
6. 평가와 모니터링 지표 사이의 차별화 필요성 인식
7. 적극적 평가 및 모니터링 필요성 인식
8. 예산과 성과를 상호 연계하여 인식할 필요성 강조
9. 다양한 행위자가 존재하는 ODA사업의 특성을 고려한 사업수행 필요성 인식
제7장 결론 및 정책제언
제1절 연구의 개요
제2절 분석결과의 종합
1. 문헌연구 결과
2. 해외사례 분석결과
3. 국내 실태분석 결과
4. 인식조사 결과
제3절 분석결과를 통한 제언
참고문헌
부 록
<부록 1> 전문가용 설문지
<부록 2> 공무원용 설문지
