안녕하세요, 선생님들! 더 풍성해진 초록빛 나무들과 함께 조금은 더위가 느껴지는 5월 말입니다. 1학기 종강도 다가오고 있는데요! 지난 5월 26일 오픈세미나 소식을 전해드립니다~
이번 세미나에서는 유영진 선생님께서 곧 있을 박사학위논문 심사를 앞두고 '자기평가역량 향상을 위한 멀티모달 AI 시스템 개발 연구'를 주제로 연구를 소개해 주셨습니다.
연구의 배경에는 자기평가가 지닌 구조적 어려움이 있습니다. 기존의 자기평가 지원 방식, 즉 정확성 중심의 접근, 루브릭과 모범사례 제공, 동료·교수자 피드백은 각각 초보자의 과대평가 편향, 기준의 암묵성, 반복 기회의 부족 등 여러 한계를 안고 있었습니다. 외부 준거는 학습자의 판단을 대체하는 정답이 아니라, 학습자 스스로 판단 근거를 점검하고 교정하도록 돕는 비교 자원이어야 한다는 것이 연구의 출발 지점이었습니다.
선생님께서 개발하신 시스템인 SelfSight Pro는 예비특수교사들이 수업 실연 영상을 스스로 평가하고 성찰할 수 있도록 설계된 멀티모달 AI 시스템으로, 세 개의 AI 에이전트와 다섯 단계의 화면 전환으로 구성됩니다.
학습자는 먼저 수업 실연 영상과 지도안을 업로드한 뒤 루브릭에 따라 자기평가를 직접 수행합니다. 이후 두 명의 전문가 역할을 하는 이중 평가자 에이전트가 동일한 루브릭 기준으로 평가를 제공하고, 학습자는 자신의 평가와 AI 평가를 나란히 비교합니다. 그 다음 조정 대화 에이전트와의 대화를 통해 차이의 원인을 탐색하고, 마지막으로 결과 확인이 아닌 개선 계획형 성찰을 작성하는 구조입니다.
연구는 예비특수교사 39명을 대상으로 약 10주, 2차례의 설계–실행–분석–개선 사이클로 진행되었습니다. 1사이클에서는 AI가 맥락을 충분히 반영하지 못하거나 점수를 후하게 부여하는 한계가 있었고, 학습자들도 주로 점수의 이유를 따지는 방식으로 대화하는 경향을 보였습니다.
2사이클에서 이중 전문가 평가와 지도안 통합 등의 개선을 거치자 대화 양상이 바뀌었습니다. 자기평가 정확도도 통계적으로 유의미하게 향상되었고, 질문 기능에서는 메타인지형이 증가하였습니다 .
흥미롭게도 자기보고식 척도에서는 유의미한 변화가 나타나지 않았는데, 이는 자기지각의 변화와 행동의 변화를 서로 다른 층위로 구분해 해석해야 한다는 방법론적 통찰을 남겨주었습니다.
발표를 들으며 가장 인상 깊었던 것은, AI의 역할을 재정의하는 방식이었습니다. 이 연구에서 AI는 평가의 권위자가 아니라 모델링의 역할을 하며, 학습자가 자신의 판단을 비교·성찰할 수 있는 준거로 작동합니다. AI가 답을 주는 것이 아니라, 학습자 스스로 더 풍부한 비교 위에서 자기 판단을 점검하도록 만드는 구조. 이것이 이 연구가 제안하는 교육적 AI의 위치입니다.
곧 있을 박사학위논문 심사를 앞두고 정말 완성도 높은 발표를 보여주신 유영진 선생님께 진심으로 응원과 박수를 보냅니다! 👏 앞으로의 심사도 지금까지 연구해오신 것처럼 멋지게 마무리하시길 TELD 모두 함께 응원하겠습니다. 화이팅입니다! 💙
