1. 왜 연수 프로그램을 평가해야 하는가?
기업이나 조직에서 상품이나 서비스에 대한 고객의 만족도를 조사하는 목적은 상품의 강약점을 정확하게 파악하여 품질을 향상시키는 데 있다. 연수교육 프로그램을 기획하고 운영하는 HRD 담당자들도 연수과정을 운영한 직후에 설문지를 활용하여 연수 프로그램과 강사 만족도를 조사한다. 최근에 연수과정 만족도가 연수기관평가에서 평가지표의 하나로 포함됨에 따라 연수담당자들은 연수프로그램에 대한 연수생의 전반적 만족도를 높이는데 심혈을 기울이고 있다.
과연 연수담당자로서 자신의 연수과정을 제대로 평가하고 있는가? 이러한 질문에 대하여 깊은 자기성찰이 필요하다. 실제로 연수과정 만족도에서 높은 반응을 보인 연수생들이 현업에 복귀해서 학습한 지식과 기술을 잘 실천할까? 이에 대한 연수담당자들의 관심이 부족할 뿐만 아니라 본인의 책무라고 생각하지 않고 있다.
교육청이나 일선 학교에 근무하다가 처음으로 교육연수원에 전입하게 되면 학교 현장과 생소한 평가 용어를 만난다. 바로 연수 프로그램 평가 모형이라는 생소한 용어를 접하게 된다. 연수 프로그램 평가 모형 가운데 Kirkpatrick 4단계(수준) 모형과 Phillips 5단계 모형을 학습해야 한다.
최근에는 Brinkerhoff의 성과향상도 평가(Success Case Method: SCM)라는 새로운 연수 평가기법도 배워야 한다. 대표적인 두 가지 연수 프로그램 평가 모형을 비교하면 다음 <표 1>과 같다.
| 수준 | Kirkpatrick | Phillips |
|---|---|---|
| 1단계 | 반응 | 반응과 계획된 행동 |
| 2단계 | 학습 | 학습 |
| 3단계 | 행동 | 현업적용도 |
| 4단계 | 결과 | 경영성과 |
| 5단계 | - | 투자회수효과(ROI) |
대부분 교육연수원에서 활용하고 있는 연수생의 과정 만족도 평가는 제1단계 수준의 반응 평가에 해당된다. 보통 연수담당자는 연수과정 만족도에 관한 자료를 수집한 후에 연수생 반응을 분석하여 연수과정 결과보고서를 작성하는 것으로 모든 연수과정 운영이 종료되었다고 간주한다. 연수과정 만족도에 관한 자료는 연수생들이 연수과정에서 느낀 감정과 표면적인 의견을 개진한 결과에 불과하다(김진규, 2002).
2. 연수 만족도 평가 얼마나 잘 활용하고 있나요?
실제로 연수과정 만족도 평가는 대부분 연수과정에서 가장 많이 활용되고 있다. 만족도 평가는 평가에 소요되는 비용이 저렴하고, 누구나 쉽게 사용하며, 평가 결과도 단시간 내에 분석할 수 있어서 매우 인기 있는 프로그램 평가 방법이다. 미국의 ASTD에서는 HRD 전문가 704명을 대상으로 연수과정 평가 현황을 조사한 결과, 응답자의 91.6%가 만족도 평가를 실시하고 있는 것으로 나타났다(Patel, 2010).
먼저 연수과정에 대한 다수의 연수생들의 의견을 실증적으로 확인할 수 있다. 연수과정에 참여하는 많은 연수생들이 연수 프로그램에 대한 자신의 느낌과 의견을 솔직하게 반영할 수 있다.연수과정 운영자는 연수생들의 입장에서 연수과정에 대한 전반적인 경향성을 비교적 정확하게 파악할 수 있다.
다음으로 비교적 간단한 평가도구를 활용하여 손쉽게 프로그램에 관한 객관적인 자료를 수집할 수 있다. 연수과정에 참여한 연수생들에게 설문지를 제공하여 연수과정에 대한 다양한 의견을 직접 수집할 수 있다. 연수과정을 이수한 직후에 만족도 평가를 실시하기 때문에 모든 연수생들로부터 연수과정에 대한 반응을 한꺼번에 수집할 수 있는 장점이 있다.
그리고 만족도 평가는 연수과정에 대한 정보를 비교적 적은 비용으로 수집할 수 있다. 만족도 평가는 학습 평가, 현업적용도 평가, 그리고 투자회수효과(ROI) 평가 등과 비교할 때 상대적으로 저렴한 비용이 소요된다. 비용 부담이 적고 시행하기 수월하므로 모든 연수과정에서 만족도 평가를 널리 활용하는 이유이다.
마지막으로 연수생들이 연수과정의 개선에 적극적으로 참여할 수 있는 기회를 제공한다. 연수과정에 참여한 연수생들이 자신의 느낀 점을 솔직하게 응답하므로 다음 연수과정이나 다음 해의 연수과정을 개선하는 데 중요한 역할을 담당하게 된다.
3. 연수 만족도 평가 어느 정도 믿을 수 있나요?
연수과정 만족도 평가는 여러 가지 장점을 지니고 있지만, 몇 가지 주의해야 할 약점과 한계를 지니고 있다. HRD 전문가들의 91.6%가 만족도 평가를 사용하고 있음에도 불구하고, 35.9%만이 가치있는 방법으로 인식하고 있다. 이에 비하여 응답자의 54.6%가 현업적용도 평가를 사용하고 있음에도 불구하고, 75.0%가 가치있는 방법으로 평가하고 있다(Patel, 2010). 이 결과는 연수과정 만족도 평가의 장점에 비하여 제한점이나 약점이 더 크다는 점을 인식하고 신중히 사용해야 함을 시사한다.
연수과정 만족도 평가의 제한점은 ① 프로그램의 내용과 참가자의 직무관련성을 평가 불가, ② 지식 획득이나 행동 변화 측정 불가, ③ 교육훈련 프로그램의 효과성에 관한 지표 산출 불가, ④ 교육훈련 프로그램 내용의 전이와 관련된 제한된 정보 제공, ⑤ 평가결과 자료는 주관적이며, 개인적 편견이 측정을 과대 포장할 가능성, ⑥ 교육훈련 프로그램의 종료에서 좋은 평가가 참가자의 프로그램에서 학습한 내용을 실무에서 사용가능성에 대한 미보장 등 6가지로 요약된다(이성흠, 2005).
이러한 만족도 평가를 부정적으로 인식하게 되는 주된 원인은 크게 연수생, 강사, 그리고 연수운영자 측면에서 분석될 수 있다. 첫째, 연수생은 만족도 설문조사에서 자신의 개인적인 반응에 대한 가치를 크게 중요시하지 않고 있다. 특히 익명성으로 인하여 연수생의 개인적인 감정에 따라 좌우되는 경향이 있다. 연수과정의 목표에 얼마나 부합되는 강의 내용에 초점을 맞추기보다는 개별 강사의 인기에 영향을 받기 쉽다. 또한 연수과정 종료 시에 연수과정 설문지를 조사하기 때문에 신중하게 판단하지 않고 무성의하게 처리하는 경우가 많다.
둘째, 강사는 연수과정의 목표에 충실한 강의보다도 만족도 점수에 지나친 관심을 보이는 경향이 있다. 높은 강의 만족도에 집착하는 강사는 연수생의 흥미에 안주하는 강의를 실시하는 경우가 있다. 그래서 소신 있는 강의 보다는 인기에 영합하는 수업을 하는 경향이 농후하다.
셋째, 연수운영자는 만족도 평가 결과를 과신하는 오류를 범하고 있다. 만족도 평가의 장점을 과신한 나머지 더 큰 제한점이나 한계를 간과하고 있다. 더욱이 만족도 평가 결과가 기관평가의 지표로 활용되므로 만족도 평가의 함정을 벗어나지 못하는 경향이 있다.
4. 연수 만족도 평가의 대안을 찾아서
만족도 조사만으로 연수과정의 질을 충분히 평가할 수 없다. 연수과정을 이수하고 과정 목표를 어느 정도 달성했는지, 어떤 행동 변화가 이루어졌는지, 현업에서 학습한 내용을 적용했는지, 조직에 어떤 영향을 미치도록 노력했는지, 결국 학생들의 행동 변화에 어느 정도 영향을 미쳤는지 등에 대한 구체적인 정보는 전혀 파악할 수 없다.
따라서 만족도 평가의 활용가능성과 한계를 인식하고 건설적인 대안을 찾아야 할 것이다. 먼저 연수생들에게 만족도 평가 결과를 어떻게 활용할 것인지에 대하여 사전에 공지를 하고, 강사에 대한 평가의 경우 과정 종료 시에 획일적으로 조사할 것이 아니라 강의 직후에 실시해야 할 것이다. 강사에게도 인기위주나 흥미위주 강의보다는 연수과정 목표에 충실한 강의 내용이 될 수 있도록 주문해야 한다. 강사에게도 만족도 점수만을 알려주기보다도 의미 있는 서술적 피드백을 제공해야 한다.
끝으로 연수담당자로서 만족도 평가의 결과를 과신하는 것은 금물이다. 특히 평가 결과 자료를 가공할 경우에 신중하게 처리해야 한다. 또한 연수과정 만족도 평가에 머물지 말고 가능하면 더 높은 수준의 연수평가를 적극 시행함으로써 평가의 타당도를 제고해야 한다. 우선 학습 평가와 현업적용도 평가를 적극 활용해야 하며, 기여도 평가와 성과향상도 평가(SCM)도 점진적으로 도입하여 시행해야 할 것이다.
참고문헌
김진규(2002). 프로그램 평가방법. 서울: 학지사.
이성흠(2005). 학습자 만족도 확인을 위한 교육․훈련 프로그램 반응평가. 서울: 교육과학사.
Patel, L.(2010). Overcoming barriers and valuing evaluation. The Best of Training & Development, 60-61.
