시작하며

뉴스레터 구독자 여러분 안녕하세요 :) 데이터Hub팀 데이터사이언티스트 문기범입니다. 어느덧 벌써 6월이 되었습니다. 코로나 19로 인해 전례가 없었던 20년 1학기도 기말고사를 치르고 성적을 확인하면 끝이 나겠네요. 하지만 성적을 확인하기 위해 필요한 절차가 한 가지 더 있습니다. 바로 한 학기 동안 들었던 수업들에 대한 “수강소감평가”를 작성하는 것입니다. 현재 우리학교에서는 수강소감평가를 끝내야 성적을 확인할 수 있기 때문입니다.

수강소감평가 분석

수강소감평가를 통해 평가자(학생)는 한 학기 동안 자신의 성과를 돌아보고 새롭게 배운 것들을 평가하는 시간을 가질 수 있습니다. 교수자(교수님)는 학생들의 피드백을 바탕으로 더욱 알찬 수업을 꾸려나가실 수 있습니다. 그리고 저희 디지털정보처에서는 수강소감평가를 개인 맞춤형 교양과목 추천 인공지능 모델을 개발하는 데 활용하고자 합니다.

하지만 수강소감평가 데이터를 활용하기 위해서는 다음과 같은 질문에 대한 답을 확인할 필요가 있습니다. 평가자는 수강소감평가를 얼마나 성실하게 응답할까요? 수강소감평가를 통해 학생별 특성을 찾아낼 수 있을까요? 수강소감평가를 통해 강의별 특성을 찾아낼 수 있을까요? 이번 뉴스레터에서는 이러한 질문에 대한 답을 찾기 위해 실시한 분석들에 대해 소개해 드리겠습니다.

분석 데이터

• 2013년부터 2019년까지 4,856개 교양과목에 대한 수강소감평가 1,051,248건

• 평가인원: 56,972명

• 수강소감평가는 크게 두 부분으로 이루어져 있습니다. 해당 수업을 수강하는 동안 자기 자신에 대한 평가 영역(자기평가)과 수업 내용 및 교수님에 대한 평가 영역(강의평가)입니다. 각 평가 영역은 여러 개의 문항으로 구성되어 있습니다. 이번 뉴스레터에서는 분석의 편의를 위해 각 영역의 평균점수를 사용하였습니다 :)

수강소감평가 응답 패턴

• ‘평가자는 수강소감평가를 얼마나 성실하게 응답할까요?’라는 질문에 대한 답을 확인하기 위해 수강소감평가의 분포를 확인해보았습니다.

• 만약 수강소감평가의 분포가 가운데가 높은 종 모양(정규분포)를 그리고 있다면 평가자 여러분이 수강소감평가에 성실하게 응답하고 있다는 최소한의 증거가 될 것입니다. 하지만 특정한 점수에 평가가 몰려있다면, 수강소감평가가 불성실하게 이루어지고 있따는 증거가 될 것입니다.

• 분석 결과는 아래 있습니다.

• 아래 3d 플롯은 마우스를 사용해 자유롭게 탐색하실 수 있습니다.

• 플롯에 마우스 커서를 올리면 해당 데이터 포인트의 정보가 나타나고, 플롯을 클릭한 상태로 커서를 움직이면 플롯을 회전시켜 다양한 각도에서 살펴보실 수 있습니다. 마우스 휠을 사용하시면 줌-인과 줌-아웃을 하실 수 있습니다^^

• 분석 결과, 앞도적으로 많은 평가가 개인평가 6점, 강의평가 6점에 몰려있는 것을 확인할 수 있습니다. 즉, 수강소감평가에서 6점을 쭉 선택하는 패턴이 존재한다는 것입니다. 이러한 결과는 평가자 여러분의 수강소감평가에 성실하게 응답하고 계시다고 가정할 수 없다는 것을 보여줍니다.

학생별 강의평가 평균 및 분산

• 평가자 여러분의 응답 패턴에 대해 조금 더 살펴보겠습니다.

• ‘수강소감평가를 통해 학생별 특성을 찾아낼 수 있을까요?’라는 질문에 대한 답을 찾아가는 분석입니다.

• 지금까지 4과목 이상 평가한 평가자를 대상으로 평가자별로 수강소감평가 결과를 모아 수강소감평가의 평균점수와 분산을 계산했습니다.

교과목별 수강소감평가 평균 및 분산

• 이제 마지막으로 수강소감평가를 통해 강의별 특성을 찾아낼 수 있을까요?라는 질문에 대한 답을 찾아볼 차례입니다.

• 많은 평가자가 수강소감평가에 성실하지 않게 응답했어도 성실하게 응답한 평가자가 충분히 많다면 수강소감평가 결과를 바탕으로 교과목별 특성을 알아낼 수 있습니다.

• 분석결과 교과목별 수강소감평가는 가운데가 높고 양 옆으로 점차 낮아지는 종 모양의 정규분포 형태를 띄는 것으로 나타났습니다.

• 이러한 결과가 나올 수 있는 이유는 수강생의 수가 충분히 많을 때 성실하게 응답하는 사람, 불성실하게 응답하는 사람 또한 고르게 분포할 수 있기 때문입니다. 그래서 한 사람, 한 사람의 평가에 대한 신뢰도는 낮더라도 여러 사람의 응답을 종합하면 각 교과목에 대해 더 신뢰할 수 있는 평가를 얻을 수 있습니다.

마치며

• 이번 호에서는 수강소감평가에 대한 분석을 진행했습니다. 수강소감평가에 존재할 수 있는 한계와 가능성 모두를 확인할 수 있었습니다. 저희 디지털정보처에서는 이번 분석에서 발견된 한계를 극복하기 위해 추가적인 분석 및 다양한 머신러닝 기법 등을 활용할 계획입니다. 그리고 기존에 평가한 과목을 재평가하는 방법 등에 대해서도 고려하고 있습니다.

• 앞서 말씀드린대로, 저희 디지털정보처에서는 개인 맞춤형 교양과목 추천 인공지능 서비스를 준비하고 있습니다 ^^ 수강소감평가는 더 정확한 추천을 하기 위한 기본 데이터입니다! 수강소감평가가 실제와 가까울수록 더 정확하고 도움되는 교양과목 추천 서비스를 만들어 낼 수 있습니다 :) 평가자 여러분이 이번 수강소감평가에 더 성실하게 참여해주신다면 더 유용한 추천 서비스로 보답하기 위해 노력하겠습니다. 데이터 분석과 관련해 궁금하신 점이나 건의사항이 있으시면 언제든지 메일 주세요! (문기범: a072826@korea.ac.kr) 그럼 다음 뉴스레터에서 뵙겠습니다. 감사합니다.