안녕하세요, 선생님들!
다들 2학기 개강 잘하셨나요~?
9월인데도 35도를 웃도는 무더운 날씨였다가 급격히 추워진 쌀쌀함에 정신이 혼미해지기도 하네요ㅎㅎ 다들 늘 건강이 최우선입니다~
오늘은 지난 여름(7~8월)에 이루어진 TELD 하계 스터디를 결산해보려고 합니다😊
이번 스터디는 우리 TELD 연구실의 주요 연구방법인 설계기반연구(DBR, Design Based Research)와 다중양식학습분석(MMLA, Multimodal Learning Analytics)에 대해 이해를 높이는 것을 목적으로 하여 7월 2일부터 8월 20일까지 총 6번, 매주 화요일에 약 1시간 30분 가량 진행되었습니다!
두 주제에 대해 각 2회 논문 리뷰의 시간을 가지며 이론적 기반을 탄탄히 다진 후, 예시 발표 및 실습 1회를 통해 실제 DBR 연구/MMLA 연구에 대한 예습을 해볼 수 있었습니다.
주차별로 주제와 논문은 다음과 같았습니다~
1주차. 설계기반연구의 이해 - 추영선, 김혜은 선생님
- Hoadley, C., & Campos, F. C. (2022). Design-based research: What it is and why it matters to studying online learning. Educational Psychologist, 57(3), 207-220.
- Lyons, K. M., Lobczowski, N. G., Greene, J. A., Whitley, J., & McLaughlin, J. E. (2021). Using a design-based research approach to develop and study a web-based tool to support collaborative learning. Computers & Education, 161, 104064.
2주차. 설계기반연구의 실제 - 김수연, 강민주 선생님
- Wang, Y. H. (2020). Design-based research on integrating learning technology tools into higher education classes to achieve active learning. Computers & Education, 156, 103935.
- Wang, F., & Hannafin, M. J. (2005). Design-based research and technology-enhanced learning environments. Educational technology research and development, 53(4), 5-23.
3주차. 설계기반연구 사례 및 실습 - 사운서, 김혜준, 최지원 선생님
4주차. 다중양식 학습분석의 이해 - 은선민, 손연오 선생님
- Schneider, B. (2024). Three challenges in Implementing multimodal learning analytics in real-world learning environments. Learning: Research and Practice, 10(1), 103-112.
- Schneider, B., & Blikstein, P. (2015). Unraveling Students' Interaction around a Tangible Interface Using Multimodal Learning Analytics. Journal of Educational Data Mining, 7(3), 89-116.
5주차. 다중양식 학습분석과 협력학습 - 한예원, 이현웅 선생님
- Schneider, B., Sharma, K., Cuendet, S., Zufferey, G., Dillenbourg, P., & Pea, R. (2018). Leveraging mobile eye-trackers to capture joint visual attention in co-located collaborative learning groups. International Journal of Computer-Supported Collaborative Learning, 13, 241-261.
- Martinez-Maldonado, R., Gašević, D., Echeverria, V., Fernandez Nieto, G., Swiecki, Z., & Buckingham Shum, S. (2021). What do you mean by collaboration analytics? A conceptual model. Journal of Learning Analytics.
6주차. 다중양식 데이터&EDM(Educational Data Mining - 이재용, 신부경, 김안나 선생님
- 하버드 오픈소스 데이터를 활용한 EDM 등 통계 기법 실습
그럼 하나씩 간략하게 소개드리겠습니다.
(1) 설계기반연구의 이해
추영선선생님께서는 Hodaley et al., (2022)의 논문을 통해 온라인 학습 맥락에서 설계기반연구가 필요해진 맥락을 설명해주시면서 설계기반연구의 필요성과 특성을 살펴보았습니다. 그리고 문제 발견부터 정의 과정을 모두 포함한 문제를 해결하는 과정인 ‘Design’과 이를 통해 형성된 디자인 지식은 특수성과 일반화 간의 간극을 매우는 중요한 특성을 가지는데, 이러한 디자인적 특징을 가진 대표적인 예시가 설계기반연구임을 설명해주셨습니다.
이를 통해 DBR은 설계와 연구 결과 외에도 시스템, 조직, 연구자 및 참가자 자체를 변화시킬 수 있는 가능성이 있고, 맥락에 맞춘 grounding, conjecture, iteration, reflection을 지원하기 때문에 연구자들이 심리학 이론과 설계 중심의 지식을 조정하는 데 적합함을 배울 수 있었습니다!
논의 주제로 연구가 연구방법을 선택할 때 자신의 철학적 가정과 연구 주제에 적절한 접근 방식을 고려해야함을 말씀하시면서 각자의 철학적 세계관을 탐색해보는 시간을 가졌는데요, 각 선생님들마디 다양한 철학적 세계관을 가지고 계셔서 흥미로웠던 논의였습니다ㅎㅎ
김혜은 선생님께서는 Lyons et al., (2021)의 협력 학습 지원 웹기반 도구 ‘Collabucate’를 개발하는 연구 사례에서 진행한 설계기반연구를 토대로 DBR의 각 단계를 설명해주셨습니다.
설계기반연구(DBR)의 한 주기는 6개의 반복적 단계로 구성되는데, 이와 같은 과정을 한번 더 반복하여 총 2회에 걸쳐 DBR을 진행하는 것이 일반적이라고 하셨습니다.
한주기의 단계는 문제 정의부터 문제이해, 목표 정의, 솔루션 개요 구상, 솔루션 구축, 테스트까지 굉장히 큰 단계였는데도 불구하고 이를 두번 반복진행하고, 필요시 여러번 더 반복하며 완성도와 효과성을 높여가는 굉장히 많은 노력과 인내가 필요한 과정임을 알 수 있었습니다.
(2) 설계기반연구의 실제
2주차에는 설계기반연구 실제 사례를 통해 그 세부적인 요소들을 더 깊게 살펴볼 수 있었습니다.
김수연 선생님께서는 Computers and Education에 실린 Wang(2020) 논문을 통해 능동적 학습 촉진을 위한 학습기술도구(learning technlogt tools)를 대학교육에 적용하는 DBR 연구 사례를 설명해주셨습니다. 해당 연구에서는 4학기에 걸쳐 대화형 반응 시스템(IRS)과 Google 교육 도구를 활용하여 학생들의 참여와 학습 효과를 높이는 DBR 연구를 진행하였습니다. 개별 및 협력적 IRS 활동, 익명 동료 평가 등의 방법이 학습에 미치는 영향에 대한 연구 결과들을 통해 설계기반연구의 진행 과정과 가치를 이해할 수 있었습니다.
- 연구 결과 중 개별적인 IRS 도구 사용은 학생들의 학습 유지력을 향상시키는 데 도움이 되는 반면, 협력적인 IRS 활동을 한 학생들은 코스 상호작용을 통해 의미 있는 학습 결론을 도출하고 도달할 수 있다는 점에서 도구 사용의 형태도 중요한 역할을 함을 확인할 수 있었습니다!
- 또한 Google 교육 도구에서 진행한 평가 설명과 평가 루브릭을 안내하는 동료 평가는 대부분의 학생에게 긍정적으로 평가를 받았었는데요, 이는 고급 수준의 인지적 지식 습득을 촉진하고 학생들이 건설적인 동료 피드백을 생성할 수 있을 것으로 보였습니다!
교육 현장에서 기술을 효과적으로 통합하고 연구하는 방법에 대한 실질적인 통찰을 얻을 수 있었습니다~
강민주 선생님께서는 교육Wang & Hannafin(2005)의 논문은 통해 Technology-Enhanced Learning Environment(TELE)환경과 DBR의 관계에 대해 설명해주셨습니다.
저희 연구실 이름인 TELD(Technology-Enhanced Learning Design)와 밀접하게 연결된 TELE란 학습지원 도구와 교수자(촉진자), 테크놀로지를 통해 학습자가 지식과 기능을 습득할 수 있도록 지원하는 환경을 의미하는데요, 연구차원에서는 활발하지만 실제 맥락에서 적용하기 위해서는 ‘DBR’이 TELE 설계에 활용되어야합니다. (그렇기 때문에서 TELD에서도 DBR 연구를 주요 연구방법으로 많이 활용합니다~)
DBR의 5가지 특성인 ‘Pragmatic, Grounded, Interactive&Iterative&Flexible, intergrative, Contextual’ 들에 TELE 연구 사례들과 함께 설명해주시면서 반복적, 실제적, 참여적인 DBR은 복잡한 교육 환경에서 기술의 역할을 탐구하고, 실제적인 해결책을 개발하는 데 효과적임을 강조하셨습니다~
민주쌤의 발제를 통해서 TELD연구실이 DBR 연구방법을 지향해야하는 주요 이유와 다양한 사례들을 접할 수 있어서 굉장히 유익한 시간이었습니다!
(3) 설계기반연구 사례 및 실습
대망의 첫 사례 및 실습은 TELD 공식 DBR 삼총사 (1) 다문화 학생 공감 VR 개발 담당 사운서 선생님 (2) 주의집중 담당 김혜준 선생님 (3) 수학게임 담당 최지원 선생님께서 준비해주셨습니다!
TELD 연구실이 DBR 사례 즉, 삼총사 선생님들께서 진행하셨던 연구들을 직접 소개해주시면서 어떻게 연구들을 준비하고 이루어지는지 실제적으로 접해볼 수 있는 귀중한 시간이었는데요.
앞서서 이론과 논문을 통해 배운 DBR을 직접 적용해보려고 할 때 생기는 현실적인 궁금증들을 아주 속시원하게 알려주셨습니다.
“어떤 특성이 지녀야 DBR인지, 연구자 혼자해도 DBR인지, 한번만 순환하면 안되는 건지, 다양한 데이터를 어떻게 처리해야하는건지, 그래서 각 DBR 단계에서 어떤 활동을 해야하는건지, DBR 결과를 어떻게 일반화할 수 있는지”
사운서 박사과정 선생님께서는 '다문화 학생에 대한 공감 역량 향상을 위한 가상현실 시뮬레이션 기반 학습 설계’ 연구 진행과정을 설명해주시면서 복잡한 절차, 여러 관계자와의 협력 등의 어려웠던 점과 분석방법 연습의 필요, 혼란을 대비하기 위한 준비, 라포 형성 등의 꿀팁들을 알려주셨습니다!
김혜준 석사과정 선생님께서는 ‘데이터 기반 메타주의 향상을 위한 수업 지원전략 개발’ 연구 진행과정을 자세히 알려주셨고, 특히 많이 어려움을 겪는 협의 과정에서의 실제적인 아쉬웠던 점과 극복 방안들에 대해서 알려주셨습니다.
최지원 석사과정 선생님께서는 ‘수학 내재적 동기 향상을 위한 게임 기반 학습에 대한 설계기반연구’ 연구 진행과정을 알려주셨는데요, 협의 과정에서 특히 유의해야하고 설계자 및 전체 연구를 이끄는 연구자로서 필요한 일정 및 역할의 시각화, 각 관계자들의 피드백 반영 기준 등의 꿀팁들을 알려주셨습니다~
이후에는 3주동안 배운 DBR을 정리해보며 종합하는 시간을 가졌습니다!
(4) 다중양식 학습분석의 이해
4주차부터는 다중양식학습분석(MMLA, Multimodal Learning Analytics)에 대해 탐색하는 시간을 가졌습니다! 먼저 은선민, 손연오 선생님께서 Schneider 교수님의 두 논문을 바탕으로 MMLA에 대해 설명해주셨습니다~
먼저 은선민 선생님께서 실제 학습 환경에서 MMLA를 구현하는데 발생하는 주요 3가지 Challenges에 대해 논의한 Schneider(2024) 논문을 바탕으로 MMAL에 대한 발제를 진행하셨습니다.
- Schneider, B. (2024). Three challenges in Implementing multimodal learning analytics in real-world learning environments. Learning: Research and Practice, 10(1), 103-112.
3가지 Challenges는 1) 방대한 다중모달 데이터에서 유의미한 측정값을 선택하는 문제, 2) 복잡하고 비용이 많이 드는 MMLA 기술을 실제 교육 현장에 구현하는 어려움, 3) 수집된 데이터를 학습자와 교사에게 의미 있게 해석하여 제공하는 과제였습니다. 각 도전 과제에 대해 기술적으로 해결하려고 하는 여러 시도들에 대해 설명해주셨습니다. MMLA의 실제적 적용을 위해 필요한 도구 개발, 종합적 분석, 신뢰할 수 있는 측정값 구축, 그리고 더 큰 규모의 연구 커뮤니티의 참여 필요성을 제시하며 발제를 마무리하였습니다~ 이후 논의 시간에는 논문에서 제시하는 도전 과제에도 불구하고 멀티모달 학습분석이 정말 유의미한 연구 방법인가를 생각해보는 시간을 가졌습니다. 일반화의 어려움과 해석에 대한 시기상조라는 의견도 있었고, 추상적인 학습의 과정을 평가할 수 있는 잠재력있는 분야임을 논하기도 하였습니다!
다음으로 손연오 선생님께서 MMLA을 활용하여 학생들의 상호작용을 분석한 Schneider & Blikstein (2015) 논문을 통해 MMLA의 특징들을 설명해주셨습니다.
- Schneider, B., & Blikstein, P. (2015). Unraveling Students' Interaction around a Tangible Interface Using Multimodal Learning Analytics. Journal of Educational Data Mining, 7(3), 89-116.
이 연구는 테이블탑 유형 인터페이스(TUI)와 Kinect 센서를 활용하여 학생들의 협력 학습 과정을 분석하였고, 학생들의 신체 움직임과 자세를 통해 학습 과정과 성과를 이해하고자 하였습니다. 연구 방법으로는 TUI 로그와 Kinect 데이터를 수집하여 다양한 가설을 검증했습니다. 주요 결과로는:
- 정보 상자 접근 횟수와 학습 성과 간의 유의미한 상관관계 발견
- 학생들의 자세를 '활발한', '중간', '수동적' 세 가지로 분류하여 학습 성과와의 관계 분석
- 리더십 행동과 학습 성과 간의 관계 분석 (높은 GPA 학생이 있는 그룹의 학습 성과가 더 높음)
- 학생들 간의 신체 거리와 사전 지식 간의 상관관계 발견
연구자들은 이러한 데이터를 바탕으로 지도 기계학습 모델을 구축하여 학생들의 학습 성과를 100% 정확도로 예측할 수 있었습니다.
이 연구는 MMLA가 실제 학습 환경에서 학생들의 행동을 분석하고 학습 과정을 이해하는 데 유용한 도구가 될 수 있음을 보여주었습니다. 또한 개방형 과제에서도 의미 있는 데이터를 추출할 수 있다는 점에서 MMLA의 잠재력을 확인했습니다.
발표 후 토론에서는 MMLA 연구 결과를 실제 교육 현장에 어떻게 적용할 수 있을지, 그리고 AI 디지털 교과서 도입에 따른 학습 데이터 수집과 분석의 효과성 및 문제점에 대해 논의하는 시간을 가졌습니다.
(5) 다중양식 학습분석과 협력학습
5주차에는 협력학습을 분석하는 다중양식 학습분석(MMLA, Multimodal Learning Analytics) 에 대해 탐구하는 시간을 가졌습니다.
한예원 선생님께서는모바일 아이트래커를 활용한 공동 시각적 주의 연구에 대해 Schneider et al.(2018) 논문을 바탕으로 MMLA의 실제 적용 사례를 소개해주셨습니다.
- Schneider, B., Sharma, K., Cuendet, S., Zufferey, G., Dillenbourg, P., & Pea, R. (2018). Leveraging mobile eye-trackers to capture joint visual attention in co-located collaborative learning groups. International Journal of Computer-Supported Collaborative Learning, 13, 241-261.
이 연구는 협력 학습 상황에서 모바일 아이트래커를 사용하여 협력 학습상황에서 joint visual attention을 포착하고 분석하는 새로운 방법을 제시했습니다. 주요 내용으로는 1) 모바일 아이트래커를 통한 자연스러운 학습 환경에서의 데이터 수집, 2) joint visual attention를 정량화하기 위한 새로운 측정 방법 개발, 3)joint visual attention와 협력 학습 성과 간의 관계 분석 등이 있었습니다.
연구 결과, 높은 수준의 joint visual attention가 더 나은 협력과 학습 결과와 관련이 있음을 발견했으며, 학습자의 역할과 과제 유형, 교사의 개입이 시선 패턴에 영향을 미친다는 점을 확인했습니다. 이 연구가 MMLA 분야에 기여한 점으로 실제 교육 환경에서의 데이터 수집 및 분석 방법 개선, 협력 학습에서의 visual attention의 중요성 강조, 그리고 새로운 데이터 처리 알고리즘과 소프트웨어 도구 개발 등을 언급하셨습니다.
발표 후 토론에서는 이러한 MMLA 기술이 실제 교육 현장에 어떻게 적용될 수 있을지, 그리고 이를 통해 얻을 수 있는 교육적 이점과 가능한 한계점에 대해 논의하는 시간을 가졌습니다. 특히, 프라이버시 문제와 데이터 해석의 복잡성 등 MMLA 기술 도입 시 고려해야 할 윤리적, 실용적 측면에 대해서도 활발한 토론이 이루어졌습니다.
다음으로 이현웅 선생님께서 "What do you mean by collaboration analytics? A conceptual model" 논문을 바탕으로 협력 분석(Collaboration Analytics)에 대해 발제해 주셨습니다.
- Martinez-Maldonado, R., Gašević, D., Echeverria, V., Fernandez Nieto, G., Swiecki, Z., & Buckingham Shum, S. (2021). What do you mean by collaboration analytics? A conceptual model. Journal of Learning Analytics.
먼저 협력 분석의 개념을 "협력자들의 상호작용 데이터를 자동 또는 반자동으로 수집, 분석, 마이닝하여 이를 의미 있는 데이터로 정제하는 기술과 접근법"으로 소개하셨습니다. 이어서 협력 분석의 개념적 모델을 구성하는 네 가지 주요 요소에 대해 설명해 주셨습니다:
- 이론: 분석의 기초가 되는 교육적 이론
- 과제 설계: 학습 디자인과의 일관성을 유지하여 데이터를 해석하는 과정
- 인간 중심 설계: 사용자(교사, 학습자 등)의 필요에 맞춘 시스템 설계
- 실행 가능한 그룹 통찰력: 분석 결과를 실질적인 피드백으로 변환하여 학습과 협력을 개선하는 방법
발제 후반부에는 협력 분석의 기회와 도전 과제에 대해 논의했습니다. 주요 시사점으로는 교사와 학생에게 의미 있는 그룹 정보 제공, 실제 요구에 맞춘 협력 분석 시스템 개발, 새로운 이론 개발 가능성 등이 제시되었습니다. 반면 도전 과제로는 그룹 모델의 불완전성과 복잡성 사이의 균형, 교사와 학생의 참여 부족, 도구의 타당도와 신뢰도 검증 등이 언급되었습니다.
이후 토론 시간에는 협업 분석의 한계와 비동기적, 내성적 학습자의 고려 필요성에 대해 논의했습니다. 발제를 통해 협력 분석의 잠재력과 함께 다양한 학습 스타일을 고려한 더욱 포괄적인 분석 방법의 필요성에 대해 생각해보는 유익한 시간을 가졌습니다.
(6) 다중양식 데이터&EDM(Educational Data Mining)
마지막으로는 이재용, 신부경, 김안나 선생님께서 실습을 준비해주셔서 하버드 오픈소스 데이터EZ-MMLA를 활용항 멀티모달 데이터 수집 및 분석하는 과정을 실습해보았습니다!
활동은 총 두 파트로 나누어, 멀티모달 학습분석의 전체 과정을 경험해볼 수 있었습니다.
- EZ-MMLA 활용: 토론 영상으로부터 자세·표정·심박 분석 및 해석
- MMLA 리포트 제작: 분석 결과를 토대로 토론 과정을 이해하고 설명하는 문서 작성
팀으로 나누어 MMLA 리포트를 제작해보았는데요, 토론 영상과 이를 통해 받은 자세, 표정, 심박 분석 데이터를 통해 각 팀별로 가설을 세우고, 데이터들을 분석, 비교, 종합하며 가설을 검증해나가보았습니다ㅎㅎ
예시로 주어진 가설은 ‘두 사람이 서로의 행동을 얼마나 따라하는가?’이었는데,
- Who is SM?
- 밸런스 게임의 몇번째 문항이 그들에게 카오스였을까?
- MBTI(N/S)에 따른 발화자 상태 비교
등의 다양한 가설과 분석 결과들이 나와ㅎㅎ 즐겁게 실습한 시간이었습니다!
선생님들께서도 멀티모달 학습분석 연구를 너무 어렵게 생각하지 않고, 경험해보고 여러 분석 기법들을 사용해보고 어려운 점들을 미리 파악할 수 있는 시간이었습니다~
