TELD Lab
Saturday, November 30, 2024
디지털 학습과정에서의 심리 상태 이해를 위한 빅데이터 활용
Wednesday, November 20, 2024
2024년 제4회 학습과학연구소 세미나 - 이진경 연구교수님 디지털페노타이핑 강연
다음에도 스누코 샌드위치.. 해주세용...👍👍⭐ |
Saturday, November 16, 2024
10월 24일 오픈세미나 인간-AI 협력 2차년도 연구 공유
인간과 AI의 상호작용은 점점 더 많은 분야에서 중요한 역할을 하고 있습니다. AI는 인간의 작업을 보조하면서 학습과 업무의 효율성을 높이고, 의사결정 과정을 개선하는 데 기여합니다. 이러한 인간과 AI의 관계는 단순히 기술적 관점에서만 중요한 것이 아니라, 상호작용과 같은 행동적인 관점에서 보는 것도 중요한데요.
오늘은 김혜은 선생님께서 TELD 연구실의 주 관심사 중 하나인 인간과 AI의 협력과 관련된 2차년도 프로젝트가 어떻게 진행되었는지 공유해주셨습니다. 인간 AI 협력 2차년도 프로젝트의 목적은 인간-AI 협력 역량을 측정하는 수행평가 도구 개발이 주 목적이었습니다. 인공지능 사용 경험이 있는 대학생 또는 대학원생 32명을 모집하여 설문, 과제 수행, 면담을 진행하였습니다. 과제 같은 경우 ChatGPT와 협력하여 논증적 글쓰기를 작성하는 것이었는데 글쓰기 주제에 따라 단순한 주제와 복잡한 주제로 구분되었습니다. 아래 화면이 실험 참여자들이 보는 과제 화면이었습니다.
인간-AI 협력 역량 수행평가 도구 개발을 위해 다음과 같이 두가지 프로세스가 진행되었습니다. 첫째, 글쓰기 과제 수행 장면을 화면 녹화하여 인간이 비디오 분석을 진행하며 코딩하는 것과 서버에 수집되는 로그 데이터를 python 코드 전처리를 통해 코딩하는 것의 차이점을 비교하였습니다. 둘째, 어떤 행동이 과연 인간-AI 협력을 나타내는 행동인지 선행 이론들과 참여자들의 행동 관찰을 통해 범주화하고 타당화 작업을 거쳐 행동지표를 도출하였습니다.
또한 참여자들의 ChatGPT와의 글쓰기를 관찰하며 상호작용 행동 군집 분석을 추가적으로 실시하였습니다. 가설이 미리 정해지지 않은 탐색 연구였기 때문에 유의미한 패턴과 시사점을 도출하기 위해 다양한 변수들을 대입해가며 고민이 필요했습니다.
분석에 참여하신 박사 과정, 석사 과정 선생님들께서 SPSS, JAMOVI, R, AMOS 등 다양한 통계 도구를 써가며 각 도구의 장단점을 공유해주셨는데 앞으로의 연구 진행에 현실적인 도움이 되었습니다. SPSS 같은 경우 사용이 직관적이지만 프로그램이 무겁고 학교망을 벗어나면 무료 사용이 불가능하다는 단점이 있었습니다. JAMOVI도 직관적인 사용이 장점이었지만 SPSS에서는 가능한 엑셀에 표로 내보내기 기능이 없어서 불편하다는 단점이 있었습니다. R은 사용자에 따라 다양한 분석, 시각화가 가능하지만 코드를 짜야한다는 이유 때문에 ChatGPT나 Claude의 도움을 받아야 한다고 전해주셨습니다.
밝은 표정으로 위 내용들을 공유해주셨지만 선생님들께서 연구를 위해 얼마나 고생하셨는지 알게 되어 존경심이 절로 우러러 나오는 순간이었습니다.
종합적으로 이번 인간-AI 협력 2차년도 연구를 진행하며 아쉬웠던 점도 공유를 해주셨습니다. 더 좋은 연구 결과를 위해서 실험 참여자 수가 더 50명 이상으로 더 많았으면 좋았겠다라는 점, 연구 시작 전에 충분한 양과 질의 문헌 검토가 선행되어야 한다는 점, 코딩스킴과 관련해서 전문가 타당화를 받아야 한다는 점 등이 있었습니다.
인간-AI 협력 연구는 3차년도 연구로 이어서 진행이 됩니다. 3차년도 연구는 2차년도에 개발된 수행평가 도구에 기반하여 인간 협력 역량을 위한 맞춤형 수업모형을 개발하는 것입니다. 수업모형 개발과 효과 검증을 위해 설계기반연구 방법(DBR, Design based research)을 적용할 계획입니다. 실험실에서만 진행되었던 연구가 실제 교육 현장에서 실질적으로 적용된다는 점에서 큰 의미가 있는 것 같습니다. 3차년도 연구도 많이 기대해주시기 바라겠습니다 :)
Sunday, November 3, 2024
10월 30일 TELD 디자인 세미나: EEG 전처리 및 분석
인간의 학습 과정을 깊이 이해하려면 무엇을 들여다봐야 할까요? 바로 ‘뇌’입니다.
EEG(Electroencephalogram)는 뇌전도(뇌에 흐르는 전류)를 측정하는 방법으로, 간단한 착용만으로 비침습적으로 뇌 신호를 수집할 수 있다는 장점 덕분에 학습과 관련된 연구에서 자주 활용되고 있는데요. 학습과학연구소 뇌기반학습센터에서는 지난 9월 BrainProducts사의 EEG 장비를 새로 도입하여 최대 64채널의 정밀한 뇌파 데이터를 수집하고 분석할 준비를 마쳤습니다. 하지만 EEG의 원리나 분석 과정은 아직 생소하게 느껴지실 텐데요. 지난 10월 30일 TELD 세미나에서는 신부경 선생님께서 EEG에 대한 전반적인 설명과 함께 데이터 전처리 및 기초 분석 방법을 소개해 주셨습니다.
EEG는 전극을 통해 뉴런의 활성화를 포착하는 방법입니다. ms 단위로 측정하여 시간 해상도가 높다는 장점이 있지만, 공간 해상도는 낮은 편이라고 해요.
EEG 분석은 크게 두 종류로 나눌 수 있다고 하는데요. 첫 번째는 ERP(event-related potential, 사건관련전위) 분석입니다. ERP 분석은 특정 시점에서의 전위 차이를 확인하는 방식으로, 통제 조건이 매우 중요합니다. 통제 조건의 뇌파로 실험 조건의 뇌파를 뺀 다음, 두 개 실험 조건 간 대조를 하기 때문인데요. 파형이 positive인지 negative인지, 파형의 peak가 어디에(어느 시점에) 나타났는지에 따라 이름을 붙인다고 합니다(e.g. P300, N400). 한편 Time-frequency analysis(시간-주파수 분석)은 특정 시점에 주목하는 게 아니라 일정 시간 동안 주파수의 강도 또는 synchronization이 어떻게 변하는지를 분석하는 방법입니다.
뇌파 중 학습과 연결지어 볼 수 있는 것들에는 어떤 것들이 있을까요? 이 또한 EEG 분석 방법에 따라 나누어 살펴볼 수 있는데요. 먼저 ERP(사건관련전위) 방식으로 수행된 연구 결과들에 따르면, 주의집중과 관련하여 나타나는 뇌파 파형은 P3a, P3b, P300, 언어적 불일치와 관련해서는 P600(문법), N400(의미) 등이 있습니다. 이밖에도 오류나 피드백, 정서와 관련해서도 특정한 파형이 발견된다고 하네요. 시간-주파수 분석 연구에 따르면, 주파수가 30-60Hz인 Gamma wave가 학습·기억과의 관련성이 높다고 합니다.
EEG 연구에서 가장 중요하면서도 고단한 과정이 있다면 무엇일까요? 바로 EEG 전처리 단계라고 하는데요. 신부경 선생님께서는 BrainVision Analyzer를 활용한 전처리 과정과 MATLAB과 EEGLAB을 활용한 전처리 과정을 각각 시연해 주셨습니다. 블로그에 자세한 과정을 모두 글로 옮기기는 어렵지만, 인터페이스가 생각보다 직관적이라 한 단계씩 차근차근 공부하면 따라갈 수 있겠다는 생각이 들었습니다. 이렇게 전처리 시연이 끝난 뒤에는 구체적인 코드 예시와 함께 MATLAB의 Fieldtrip으로 Time-frequency 데이터를 분석하는 방법에 대해서도 설명해주셨습니다.
조영환 교수님께서는 EEG 장비가 연구실 차원에서 구비되어 있다는 점이 연구자로서 큰 기회이자 메리트라는 점을 강조하셨습니다. 다가올 겨울방학에 추가적인 EEG 워크숍이 예정돼 있다고 하니, 뇌기반학습 연구에 매력을 느끼는 분들의 많은 관심 부탁드려요!
Tuesday, October 15, 2024
10월 10일 TELD 세미나: 에듀테크 페어 견학 후기
빠르게 성장하고 있는 국내 에듀테크 시장의 다양한 서비스들을 한눈에 살펴볼 수 있다면 얼마나 좋을까요? 그런데 이런 바람을 이뤄준 행사가 지난 9월 코엑스에서 열렸습니다. 바로 2024 에듀테크 코리아 페어였는데요! 에듀테크 코리아 페어는 교육부와 산업통상자원부가 주최하는 국내 최대의 에듀테크 박람회로, 국내외 300개가 넘는 기업이 참가해 다양한 주제로 부스를 구성했습니다.
지난 10월 10일 진행된 TELD 세미나에서는 은선민 선생님과 김혜은 선생님께서 2024에듀테크 코리아 페어 견학 내용을 공유해주셨습니다.
1. AI in Education
먼저 은선민 선생님께서는 에듀테크에서 AI가 어떻게 활용되고 있는지 전반적인 동향을 소개해 주셨습니다.
가장 많이 눈에 띄었던 서비스는 학습자마다 개별화된 학습경로를 추천하여 제공해주는 AI 코스웨어였습니다. 코딩, 영어, 수학 등 다양한 교과 주제에 적용되고 있었는데요. 획일적 교육 방식에서 벗어나 학생 개개인의 학습 스타일과 수준에 맞는 맞춤형 교육의 가능성을 엿볼 수 있었다는 점에서 인상적이었습니다.
AI를 활용해 학습자의 문해력을 향상하려는 시도도 있었습니다. 학습자의 문해력 수준을 빠르고 정확하게 진단하고, 컴퓨터 적응형 테스트(CAT)를 통해 개별 맞춤형 학습 콘텐츠를 제공하는 방식이 매우 효율적으로 보였는데요. 여기에 아이트래커 기술까지 활용되어 학생의 시선 데이터를 분석함으로써 문해력뿐 아니라 주의집중과 학습 행동까지 모니터링할 수 있었다고 합니다.
글쓰기를 지원하는 AI 도구들도 많았습니다. 실시간으로 문법 오류 등을 수정해주거나, 학생이 작성한 글의 논리적 흐름을 분석하여 개선점을 제시하는 피드백 기능이 제공되었습니다. 이러한 도구를 잘 활용한다면 글쓰기를 지도하는 선생님들의 부담을 크게 줄여줄 수 있을 것으로 기대됩니다.
학습자의 신체적 건강과 정신적 건강과 관련해서도 AI를 활용하려는 시도가 활발했는데요. 기존에 챗봇과의 대화 기록을 바탕으로 우울증 등에 대한 상담을 진행했던 것과 달리, 뇌파 등 생체신호 측정을 통해 학습자의 스트레스 수준이나 뇌기능 노화도를 분석하는 서비스가 눈에 띄었습니다. 다양한 멀티모달 데이터를 활용하여 학습자의 정신 건강을 모니터링하고 맞춤형 교육 콘텐츠를 제공하는 단계까지 나아갔다고 하네요. 신체 건강과 관련해서는 학습자의 자세와 행동을 인식하여 맞춤형 운동 처방을 제공해 주거나 3차원 공간 분석 기술을 활용하여 AR 기반 실내 운동을 할 수 있도록 플랫폼을 제공하는 서비스가 있었습니다.
2. AI for Teaching
다음으로 김혜은 선생님께서는 교수 설계 과정에서 활용될 수 있는 다양한 AI 서비스들을 소개해 주셨습니다. 특히 교사의 업무 부담을 경감해 주는 자동화 서비스들이 눈에 띄었는데요.
학생 평가 설계부터 채점, 역량 평가, 피드백 기록 생성까지 모든 과목의 수행평가를 AI로 지원하는 솔루션을 제공하는 ‘클리포’, 맞춤형 학습과 이를 지원하는 관리 시스템을 제공하는 ‘사스다’, 영어 교육의 전 단계를 IT 기술로 쉽고 빠르게 지원해주는 ‘원아워’ 등의 서비스들이 있었습니다.
그밖에 ‘QUIZRIX’나 ‘COURSEMOS’ 교사의 출제 및 채점 부담을 줄여주는 맞춤형 평가 지원 도구나, 사용자 맞춤형 대화를 통한 교육을 지원하는 ‘금쪽이 스피커’ 등의 서비스들도 눈을 사로잡았다고 하네요.
에듀테크 코리아 페어는 2025년에도 예정돼 있는데요. AI를 비롯한 디지털 기술이 하루가 다르게 빠른 속도로 발전하는 만큼, 내년 에듀테크 페어에서는 또 어떤 새롭고 혁신적인 서비스들을 살펴볼 수 있을지 벌써부터 기대가 되는데요! 앞으로도 꾸준히 관심을 가질 필요가 있을 것 같습니다.
Sunday, September 22, 2024
2024년 하계 스터디 결산
안녕하세요, 선생님들!
다들 2학기 개강 잘하셨나요~?
9월인데도 35도를 웃도는 무더운 날씨였다가 급격히 추워진 쌀쌀함에 정신이 혼미해지기도 하네요ㅎㅎ 다들 늘 건강이 최우선입니다~
오늘은 지난 여름(7~8월)에 이루어진 TELD 하계 스터디를 결산해보려고 합니다😊
이번 스터디는 우리 TELD 연구실의 주요 연구방법인 설계기반연구(DBR, Design Based Research)와 다중양식학습분석(MMLA, Multimodal Learning Analytics)에 대해 이해를 높이는 것을 목적으로 하여 7월 2일부터 8월 20일까지 총 6번, 매주 화요일에 약 1시간 30분 가량 진행되었습니다!
두 주제에 대해 각 2회 논문 리뷰의 시간을 가지며 이론적 기반을 탄탄히 다진 후, 예시 발표 및 실습 1회를 통해 실제 DBR 연구/MMLA 연구에 대한 예습을 해볼 수 있었습니다.
주차별로 주제와 논문은 다음과 같았습니다~
1주차. 설계기반연구의 이해 - 추영선, 김혜은 선생님
- Hoadley, C., & Campos, F. C. (2022). Design-based research: What it is and why it matters to studying online learning. Educational Psychologist, 57(3), 207-220.
- Lyons, K. M., Lobczowski, N. G., Greene, J. A., Whitley, J., & McLaughlin, J. E. (2021). Using a design-based research approach to develop and study a web-based tool to support collaborative learning. Computers & Education, 161, 104064.
2주차. 설계기반연구의 실제 - 김수연, 강민주 선생님
- Wang, Y. H. (2020). Design-based research on integrating learning technology tools into higher education classes to achieve active learning. Computers & Education, 156, 103935.
- Wang, F., & Hannafin, M. J. (2005). Design-based research and technology-enhanced learning environments. Educational technology research and development, 53(4), 5-23.
3주차. 설계기반연구 사례 및 실습 - 사운서, 김혜준, 최지원 선생님
- TELD의 DBR 연구 사례 소개
4주차. 다중양식 학습분석의 이해 - 은선민, 손연오 선생님
- Schneider, B. (2024). Three challenges in Implementing multimodal learning analytics in real-world learning environments. Learning: Research and Practice, 10(1), 103-112.
- Schneider, B., & Blikstein, P. (2015). Unraveling Students' Interaction around a Tangible Interface Using Multimodal Learning Analytics. Journal of Educational Data Mining, 7(3), 89-116.
5주차. 다중양식 학습분석과 협력학습 - 한예원, 이현웅 선생님
- Schneider, B., Sharma, K., Cuendet, S., Zufferey, G., Dillenbourg, P., & Pea, R. (2018). Leveraging mobile eye-trackers to capture joint visual attention in co-located collaborative learning groups. International Journal of Computer-Supported Collaborative Learning, 13, 241-261.
- Martinez-Maldonado, R., Gašević, D., Echeverria, V., Fernandez Nieto, G., Swiecki, Z., & Buckingham Shum, S. (2021). What do you mean by collaboration analytics? A conceptual model. Journal of Learning Analytics.
6주차. 다중양식 데이터&EDM(Educational Data Mining - 이재용, 신부경, 김안나 선생님
- 하버드 오픈소스 데이터를 활용한 EDM 등 통계 기법 실습
그럼 하나씩 간략하게 소개드리겠습니다.
(1) 설계기반연구의 이해
추영선선생님께서는 Hodaley et al., (2022)의 논문을 통해 온라인 학습 맥락에서 설계기반연구가 필요해진 맥락을 설명해주시면서 설계기반연구의 필요성과 특성을 살펴보았습니다. 그리고 문제 발견부터 정의 과정을 모두 포함한 문제를 해결하는 과정인 ‘Design’과 이를 통해 형성된 디자인 지식은 특수성과 일반화 간의 간극을 매우는 중요한 특성을 가지는데, 이러한 디자인적 특징을 가진 대표적인 예시가 설계기반연구임을 설명해주셨습니다.
이를 통해 DBR은 설계와 연구 결과 외에도 시스템, 조직, 연구자 및 참가자 자체를 변화시킬 수 있는 가능성이 있고, 맥락에 맞춘 grounding, conjecture, iteration, reflection을 지원하기 때문에 연구자들이 심리학 이론과 설계 중심의 지식을 조정하는 데 적합함을 배울 수 있었습니다!
논의 주제로 연구가 연구방법을 선택할 때 자신의 철학적 가정과 연구 주제에 적절한 접근 방식을 고려해야함을 말씀하시면서 각자의 철학적 세계관을 탐색해보는 시간을 가졌는데요, 각 선생님들마디 다양한 철학적 세계관을 가지고 계셔서 흥미로웠던 논의였습니다ㅎㅎ
김혜은 선생님께서는 Lyons et al., (2021)의 협력 학습 지원 웹기반 도구 ‘Collabucate’를 개발하는 연구 사례에서 진행한 설계기반연구를 토대로 DBR의 각 단계를 설명해주셨습니다.
설계기반연구(DBR)의 한 주기는 6개의 반복적 단계로 구성되는데, 이와 같은 과정을 한번 더 반복하여 총 2회에 걸쳐 DBR을 진행하는 것이 일반적이라고 하셨습니다.
한주기의 단계는 문제 정의부터 문제이해, 목표 정의, 솔루션 개요 구상, 솔루션 구축, 테스트까지 굉장히 큰 단계였는데도 불구하고 이를 두번 반복진행하고, 필요시 여러번 더 반복하며 완성도와 효과성을 높여가는 굉장히 많은 노력과 인내가 필요한 과정임을 알 수 있었습니다.
(2) 설계기반연구의 실제
2주차에는 설계기반연구 실제 사례를 통해 그 세부적인 요소들을 더 깊게 살펴볼 수 있었습니다.
김수연 선생님께서는 Computers and Education에 실린 Wang(2020) 논문을 통해 능동적 학습 촉진을 위한 학습기술도구(learning technlogt tools)를 대학교육에 적용하는 DBR 연구 사례를 설명해주셨습니다. 해당 연구에서는 4학기에 걸쳐 대화형 반응 시스템(IRS)과 Google 교육 도구를 활용하여 학생들의 참여와 학습 효과를 높이는 DBR 연구를 진행하였습니다. 개별 및 협력적 IRS 활동, 익명 동료 평가 등의 방법이 학습에 미치는 영향에 대한 연구 결과들을 통해 설계기반연구의 진행 과정과 가치를 이해할 수 있었습니다.
- 연구 결과 중 개별적인 IRS 도구 사용은 학생들의 학습 유지력을 향상시키는 데 도움이 되는 반면, 협력적인 IRS 활동을 한 학생들은 코스 상호작용을 통해 의미 있는 학습 결론을 도출하고 도달할 수 있다는 점에서 도구 사용의 형태도 중요한 역할을 함을 확인할 수 있었습니다!
- 또한 Google 교육 도구에서 진행한 평가 설명과 평가 루브릭을 안내하는 동료 평가는 대부분의 학생에게 긍정적으로 평가를 받았었는데요, 이는 고급 수준의 인지적 지식 습득을 촉진하고 학생들이 건설적인 동료 피드백을 생성할 수 있을 것으로 보였습니다!
교육 현장에서 기술을 효과적으로 통합하고 연구하는 방법에 대한 실질적인 통찰을 얻을 수 있었습니다~
강민주 선생님께서는 교육Wang & Hannafin(2005)의 논문은 통해 Technology-Enhanced Learning Environment(TELE)환경과 DBR의 관계에 대해 설명해주셨습니다.
저희 연구실 이름인 TELD(Technology-Enhanced Learning Design)와 밀접하게 연결된 TELE란 학습지원 도구와 교수자(촉진자), 테크놀로지를 통해 학습자가 지식과 기능을 습득할 수 있도록 지원하는 환경을 의미하는데요, 연구차원에서는 활발하지만 실제 맥락에서 적용하기 위해서는 ‘DBR’이 TELE 설계에 활용되어야합니다. (그렇기 때문에서 TELD에서도 DBR 연구를 주요 연구방법으로 많이 활용합니다~)
DBR의 5가지 특성인 ‘Pragmatic, Grounded, Interactive&Iterative&Flexible, intergrative, Contextual’ 들에 TELE 연구 사례들과 함께 설명해주시면서 반복적, 실제적, 참여적인 DBR은 복잡한 교육 환경에서 기술의 역할을 탐구하고, 실제적인 해결책을 개발하는 데 효과적임을 강조하셨습니다~
민주쌤의 발제를 통해서 TELD연구실이 DBR 연구방법을 지향해야하는 주요 이유와 다양한 사례들을 접할 수 있어서 굉장히 유익한 시간이었습니다!
(3) 설계기반연구 사례 및 실습
대망의 첫 사례 및 실습은 TELD 공식 DBR 삼총사 (1) 다문화 학생 공감 VR 개발 담당 사운서 선생님 (2) 주의집중 담당 김혜준 선생님 (3) 수학게임 담당 최지원 선생님께서 준비해주셨습니다!
TELD 연구실이 DBR 사례 즉, 삼총사 선생님들께서 진행하셨던 연구들을 직접 소개해주시면서 어떻게 연구들을 준비하고 이루어지는지 실제적으로 접해볼 수 있는 귀중한 시간이었는데요.
앞서서 이론과 논문을 통해 배운 DBR을 직접 적용해보려고 할 때 생기는 현실적인 궁금증들을 아주 속시원하게 알려주셨습니다.
“어떤 특성이 지녀야 DBR인지, 연구자 혼자해도 DBR인지, 한번만 순환하면 안되는 건지, 다양한 데이터를 어떻게 처리해야하는건지, 그래서 각 DBR 단계에서 어떤 활동을 해야하는건지, DBR 결과를 어떻게 일반화할 수 있는지”
사운서 박사과정 선생님께서는 '다문화 학생에 대한 공감 역량 향상을 위한 가상현실 시뮬레이션 기반 학습 설계’ 연구 진행과정을 설명해주시면서 복잡한 절차, 여러 관계자와의 협력 등의 어려웠던 점과 분석방법 연습의 필요, 혼란을 대비하기 위한 준비, 라포 형성 등의 꿀팁들을 알려주셨습니다!
김혜준 석사과정 선생님께서는 ‘데이터 기반 메타주의 향상을 위한 수업 지원전략 개발’ 연구 진행과정을 자세히 알려주셨고, 특히 많이 어려움을 겪는 협의 과정에서의 실제적인 아쉬웠던 점과 극복 방안들에 대해서 알려주셨습니다.
최지원 석사과정 선생님께서는 ‘수학 내재적 동기 향상을 위한 게임 기반 학습에 대한 설계기반연구’ 연구 진행과정을 알려주셨는데요, 협의 과정에서 특히 유의해야하고 설계자 및 전체 연구를 이끄는 연구자로서 필요한 일정 및 역할의 시각화, 각 관계자들의 피드백 반영 기준 등의 꿀팁들을 알려주셨습니다~
이후에는 3주동안 배운 DBR을 정리해보며 종합하는 시간을 가졌습니다!
(4) 다중양식 학습분석의 이해
4주차부터는 다중양식학습분석(MMLA, Multimodal Learning Analytics)에 대해 탐색하는 시간을 가졌습니다! 먼저 은선민, 손연오 선생님께서 Schneider 교수님의 두 논문을 바탕으로 MMLA에 대해 설명해주셨습니다~
먼저 은선민 선생님께서 실제 학습 환경에서 MMLA를 구현하는데 발생하는 주요 3가지 Challenges에 대해 논의한 Schneider(2024) 논문을 바탕으로 MMAL에 대한 발제를 진행하셨습니다.
- Schneider, B. (2024). Three challenges in Implementing multimodal learning analytics in real-world learning environments. Learning: Research and Practice, 10(1), 103-112.
3가지 Challenges는 1) 방대한 다중모달 데이터에서 유의미한 측정값을 선택하는 문제, 2) 복잡하고 비용이 많이 드는 MMLA 기술을 실제 교육 현장에 구현하는 어려움, 3) 수집된 데이터를 학습자와 교사에게 의미 있게 해석하여 제공하는 과제였습니다. 각 도전 과제에 대해 기술적으로 해결하려고 하는 여러 시도들에 대해 설명해주셨습니다. MMLA의 실제적 적용을 위해 필요한 도구 개발, 종합적 분석, 신뢰할 수 있는 측정값 구축, 그리고 더 큰 규모의 연구 커뮤니티의 참여 필요성을 제시하며 발제를 마무리하였습니다~ 이후 논의 시간에는 논문에서 제시하는 도전 과제에도 불구하고 멀티모달 학습분석이 정말 유의미한 연구 방법인가를 생각해보는 시간을 가졌습니다. 일반화의 어려움과 해석에 대한 시기상조라는 의견도 있었고, 추상적인 학습의 과정을 평가할 수 있는 잠재력있는 분야임을 논하기도 하였습니다!
다음으로 손연오 선생님께서 MMLA을 활용하여 학생들의 상호작용을 분석한 Schneider & Blikstein (2015) 논문을 통해 MMLA의 특징들을 설명해주셨습니다.
- Schneider, B., & Blikstein, P. (2015). Unraveling Students' Interaction around a Tangible Interface Using Multimodal Learning Analytics. Journal of Educational Data Mining, 7(3), 89-116.
이 연구는 테이블탑 유형 인터페이스(TUI)와 Kinect 센서를 활용하여 학생들의 협력 학습 과정을 분석하였고, 학생들의 신체 움직임과 자세를 통해 학습 과정과 성과를 이해하고자 하였습니다. 연구 방법으로는 TUI 로그와 Kinect 데이터를 수집하여 다양한 가설을 검증했습니다. 주요 결과로는:
- 정보 상자 접근 횟수와 학습 성과 간의 유의미한 상관관계 발견
- 학생들의 자세를 '활발한', '중간', '수동적' 세 가지로 분류하여 학습 성과와의 관계 분석
- 리더십 행동과 학습 성과 간의 관계 분석 (높은 GPA 학생이 있는 그룹의 학습 성과가 더 높음)
- 학생들 간의 신체 거리와 사전 지식 간의 상관관계 발견
연구자들은 이러한 데이터를 바탕으로 지도 기계학습 모델을 구축하여 학생들의 학습 성과를 100% 정확도로 예측할 수 있었습니다.
이 연구는 MMLA가 실제 학습 환경에서 학생들의 행동을 분석하고 학습 과정을 이해하는 데 유용한 도구가 될 수 있음을 보여주었습니다. 또한 개방형 과제에서도 의미 있는 데이터를 추출할 수 있다는 점에서 MMLA의 잠재력을 확인했습니다.
발표 후 토론에서는 MMLA 연구 결과를 실제 교육 현장에 어떻게 적용할 수 있을지, 그리고 AI 디지털 교과서 도입에 따른 학습 데이터 수집과 분석의 효과성 및 문제점에 대해 논의하는 시간을 가졌습니다.
(5) 다중양식 학습분석과 협력학습
5주차에는 협력학습을 분석하는 다중양식 학습분석(MMLA, Multimodal Learning Analytics) 에 대해 탐구하는 시간을 가졌습니다.
한예원 선생님께서는모바일 아이트래커를 활용한 공동 시각적 주의 연구에 대해 Schneider et al.(2018) 논문을 바탕으로 MMLA의 실제 적용 사례를 소개해주셨습니다.
- Schneider, B., Sharma, K., Cuendet, S., Zufferey, G., Dillenbourg, P., & Pea, R. (2018). Leveraging mobile eye-trackers to capture joint visual attention in co-located collaborative learning groups. International Journal of Computer-Supported Collaborative Learning, 13, 241-261.
이 연구는 협력 학습 상황에서 모바일 아이트래커를 사용하여 협력 학습상황에서 joint visual attention을 포착하고 분석하는 새로운 방법을 제시했습니다. 주요 내용으로는 1) 모바일 아이트래커를 통한 자연스러운 학습 환경에서의 데이터 수집, 2) joint visual attention를 정량화하기 위한 새로운 측정 방법 개발, 3)joint visual attention와 협력 학습 성과 간의 관계 분석 등이 있었습니다.
연구 결과, 높은 수준의 joint visual attention가 더 나은 협력과 학습 결과와 관련이 있음을 발견했으며, 학습자의 역할과 과제 유형, 교사의 개입이 시선 패턴에 영향을 미친다는 점을 확인했습니다. 이 연구가 MMLA 분야에 기여한 점으로 실제 교육 환경에서의 데이터 수집 및 분석 방법 개선, 협력 학습에서의 visual attention의 중요성 강조, 그리고 새로운 데이터 처리 알고리즘과 소프트웨어 도구 개발 등을 언급하셨습니다.
발표 후 토론에서는 이러한 MMLA 기술이 실제 교육 현장에 어떻게 적용될 수 있을지, 그리고 이를 통해 얻을 수 있는 교육적 이점과 가능한 한계점에 대해 논의하는 시간을 가졌습니다. 특히, 프라이버시 문제와 데이터 해석의 복잡성 등 MMLA 기술 도입 시 고려해야 할 윤리적, 실용적 측면에 대해서도 활발한 토론이 이루어졌습니다.
다음으로 이현웅 선생님께서 "What do you mean by collaboration analytics? A conceptual model" 논문을 바탕으로 협력 분석(Collaboration Analytics)에 대해 발제해 주셨습니다.
- Martinez-Maldonado, R., Gašević, D., Echeverria, V., Fernandez Nieto, G., Swiecki, Z., & Buckingham Shum, S. (2021). What do you mean by collaboration analytics? A conceptual model. Journal of Learning Analytics.
먼저 협력 분석의 개념을 "협력자들의 상호작용 데이터를 자동 또는 반자동으로 수집, 분석, 마이닝하여 이를 의미 있는 데이터로 정제하는 기술과 접근법"으로 소개하셨습니다. 이어서 협력 분석의 개념적 모델을 구성하는 네 가지 주요 요소에 대해 설명해 주셨습니다:
- 이론: 분석의 기초가 되는 교육적 이론
- 과제 설계: 학습 디자인과의 일관성을 유지하여 데이터를 해석하는 과정
- 인간 중심 설계: 사용자(교사, 학습자 등)의 필요에 맞춘 시스템 설계
- 실행 가능한 그룹 통찰력: 분석 결과를 실질적인 피드백으로 변환하여 학습과 협력을 개선하는 방법
발제 후반부에는 협력 분석의 기회와 도전 과제에 대해 논의했습니다. 주요 시사점으로는 교사와 학생에게 의미 있는 그룹 정보 제공, 실제 요구에 맞춘 협력 분석 시스템 개발, 새로운 이론 개발 가능성 등이 제시되었습니다. 반면 도전 과제로는 그룹 모델의 불완전성과 복잡성 사이의 균형, 교사와 학생의 참여 부족, 도구의 타당도와 신뢰도 검증 등이 언급되었습니다.
이후 토론 시간에는 협업 분석의 한계와 비동기적, 내성적 학습자의 고려 필요성에 대해 논의했습니다. 발제를 통해 협력 분석의 잠재력과 함께 다양한 학습 스타일을 고려한 더욱 포괄적인 분석 방법의 필요성에 대해 생각해보는 유익한 시간을 가졌습니다.
(6) 다중양식 데이터&EDM(Educational Data Mining)
마지막으로는 이재용, 신부경, 김안나 선생님께서 실습을 준비해주셔서 하버드 오픈소스 데이터EZ-MMLA를 활용항 멀티모달 데이터 수집 및 분석하는 과정을 실습해보았습니다!
활동은 총 두 파트로 나누어, 멀티모달 학습분석의 전체 과정을 경험해볼 수 있었습니다.
- EZ-MMLA 활용: 토론 영상으로부터 자세·표정·심박 분석 및 해석
- MMLA 리포트 제작: 분석 결과를 토대로 토론 과정을 이해하고 설명하는 문서 작성
팀으로 나누어 MMLA 리포트를 제작해보았는데요, 토론 영상과 이를 통해 받은 자세, 표정, 심박 분석 데이터를 통해 각 팀별로 가설을 세우고, 데이터들을 분석, 비교, 종합하며 가설을 검증해나가보았습니다ㅎㅎ
예시로 주어진 가설은 ‘두 사람이 서로의 행동을 얼마나 따라하는가?’이었는데,
- Who is SM?
- 밸런스 게임의 몇번째 문항이 그들에게 카오스였을까?
- MBTI(N/S)에 따른 발화자 상태 비교
등의 다양한 가설과 분석 결과들이 나와ㅎㅎ 즐겁게 실습한 시간이었습니다!
선생님들께서도 멀티모달 학습분석 연구를 너무 어렵게 생각하지 않고, 경험해보고 여러 분석 기법들을 사용해보고 어려운 점들을 미리 파악할 수 있는 시간이었습니다~
Sunday, September 1, 2024
8월 13일 교육공학연구 아카데미(ETRA) & 학습과학 연구방법 워크샵
'교육공학 연구방법의 새로운 발견: 학습분석과 ENA'를 주제로 교육공학연구 아카데미(ETRA) & 학습과학 연구방법 워크샵이 개최되었습니다. 이번 행사는 서울대학교 12동 401호에서 대면뿐만 아니라 줌을 이용한 비대면 방식으로도 강연과 워크샵에 참여할 수 있도록 하이브리드로 진행되었습니다.
행사 진행을 위해 열심히 준비하고 애써주신 교육공학연구 편집위원 교수님들과 편집간사님들, 학습과학연구소 직원분들에게 감사드립니다!