10월 24일 오픈세미나 인간-AI 협력 2차년도 연구 공유

인간과 AI의 상호작용은 점점 더 많은 분야에서 중요한 역할을 하고 있습니다. AI는 인간의 작업을 보조하면서 학습과 업무의 효율성을 높이고, 의사결정 과정을 개선하는 데 기여합니다. 이러한 인간과 AI의 관계는 단순히 기술적 관점에서만 중요한 것이 아니라, 상호작용과 같은 행동적인 관점에서 보는 것도 중요한데요. 

오늘은 김혜은 선생님께서 TELD 연구실의 주 관심사 중 하나인 인간과 AI의 협력과 관련된 2차년도 프로젝트가 어떻게 진행되었는지 공유해주셨습니다. 인간 AI 협력 2차년도 프로젝트의 목적은 인간-AI 협력 역량을 측정하는 수행평가 도구 개발이 주 목적이었습니다. 인공지능 사용 경험이 있는 대학생 또는 대학원생 32명을 모집하여 설문, 과제 수행, 면담을 진행하였습니다. 과제 같은 경우 ChatGPT와 협력하여 논증적 글쓰기를 작성하는 것이었는데 글쓰기 주제에 따라 단순한 주제와 복잡한 주제로 구분되었습니다. 아래 화면이 실험 참여자들이 보는 과제 화면이었습니다.

인간-AI 협력 역량 수행평가 도구 개발을 위해 다음과 같이 두가지 프로세스가 진행되었습니다. 첫째, 글쓰기 과제 수행 장면을 화면 녹화하여 인간이 비디오 분석을 진행하며 코딩하는 것과 서버에 수집되는 로그 데이터를 python 코드 전처리를 통해 코딩하는 것의 차이점을 비교하였습니다. 둘째, 어떤 행동이 과연 인간-AI 협력을 나타내는 행동인지 선행 이론들과 참여자들의 행동 관찰을 통해 범주화하고 타당화 작업을 거쳐 행동지표를 도출하였습니다.

또한 참여자들의 ChatGPT와의 글쓰기를 관찰하며 상호작용 행동 군집 분석을 추가적으로 실시하였습니다. 가설이 미리 정해지지 않은 탐색 연구였기 때문에 유의미한 패턴과 시사점을 도출하기 위해 다양한 변수들을 대입해가며 고민이 필요했습니다.

분석에 참여하신 박사 과정, 석사 과정 선생님들께서 SPSS, JAMOVI, R, AMOS 등 다양한 통계 도구를 써가며 각 도구의 장단점을 공유해주셨는데 앞으로의 연구 진행에 현실적인 도움이 되었습니다. SPSS 같은 경우 사용이 직관적이지만 프로그램이 무겁고 학교망을 벗어나면 무료 사용이 불가능하다는 단점이 있었습니다. JAMOVI도 직관적인 사용이 장점이었지만 SPSS에서는 가능한 엑셀에 표로 내보내기 기능이 없어서 불편하다는 단점이 있었습니다. R은 사용자에 따라 다양한 분석, 시각화가 가능하지만 코드를 짜야한다는 이유 때문에 ChatGPT나 Claude의 도움을 받아야 한다고 전해주셨습니다.

밝은 표정으로 위 내용들을 공유해주셨지만 선생님들께서 연구를 위해 얼마나 고생하셨는지 알게 되어 존경심이 절로 우러러 나오는 순간이었습니다. 

종합적으로 이번 인간-AI 협력 2차년도 연구를 진행하며 아쉬웠던 점도 공유를 해주셨습니다. 더 좋은 연구 결과를 위해서 실험 참여자 수가 더 50명 이상으로 더 많았으면 좋았겠다라는 점, 연구 시작 전에 충분한 양과 질의 문헌 검토가 선행되어야 한다는 점, 코딩스킴과 관련해서 전문가 타당화를 받아야 한다는 점 등이 있었습니다. 

인간-AI 협력 연구는 3차년도 연구로 이어서 진행이 됩니다. 3차년도 연구는 2차년도에 개발된 수행평가 도구에 기반하여 인간 협력 역량을 위한 맞춤형 수업모형을 개발하는 것입니다. 수업모형 개발과 효과 검증을 위해 설계기반연구 방법(DBR, Design based research)을 적용할 계획입니다. 실험실에서만 진행되었던 연구가 실제 교육 현장에서 실질적으로 적용된다는 점에서 큰 의미가 있는 것 같습니다. 3차년도 연구도 많이 기대해주시기 바라겠습니다 :)