추영선 선생님께서는 감정이 학습과 기억에 미치는 영향에 대해 리뷰한 연구를 소개하시며 인공지능 기반 정서조절 스터디의 첫 문을 열어주셨습니다. 감정은 학습과 기억에 필수적인 역할을 수행하며, 그에 따라 교육환경을 설계할 때 고려해야 하는 중요한 요소라고 합니다. 감정적 요소를 강조하는 학습 전략은 장기적인 지식 유지에 더욱 효과적이고, 감정 상태를 모니터링하여 그에 따른 교육적 자극을 선택하면 학습 성과를 향상할 수 있다고 하니 TELD 연구에서도 정서에 대해 더욱 깊이 탐구해볼 필요가 있을 것 같습니다 🤓📚

Tyng, C. M., Amin, H. U., Saad, M. N., & Malik, A. S. (2017). The influences of emotion on learning and memory. Frontiers in psychology, 8, 235933.
다음으로 김혜은 선생님께서는 얼굴 표정과 신체 움직임 데이터를 활용하여 학교 컴퓨터실 환경에서 학습자의 정서 상태를 자동으로 감지하는 시스템을 개발한 Shen과 동료들(2009)의 연구를 공유해주셨습니다! 학생들이 게임을 하는 동안 웹캠으로 얼굴을 녹화하고 BROMP 관찰 프로토콜을 활용하여 정서 상태를 기록한 뒤 이러한 데이터를 FACET 소프트웨어 및 머신러닝 알고리즘을 활용하여 분석한 연구였는데요, 결과적으로는 지루함, 혼란, 기쁨, 집중, 좌절감 및 과제 이탈 행동 등이 측정되었습니다. 예를 들어 신체 움직임의 증가, 턱 올림, 화면에서 멀어짐, 좌우 시선 이동은 지루함이라는 정서로 해석됨을 확인할 수 있었습니다.

김혜은 선생님께서는 연구에 드러난 실험 세팅과 데이터 분석 방법에 대해 비판적인 시각에서 논의를 이어나가 주셨습니다. 특히 실제 학습 상황에서는 복잡하고 미묘한 감정들이 혼재되어 있는데 분류의 정확도를 높이고자 학습자의 감정을 4가지로 제한한 점을 연구의 한계점으로 제시해 주셨습니다. 이에 스터디에서는 본 연구의 설계와 처치를 보완하기 위한 방법에 대해 논의해볼 수 있었는데요, 연구를 단순히 읽는 것을 넘어서 개선할 점을 찾아본 유익한 시간이었습니다 🤔💭!
Shen, L., Wang, M., & Shen, R. (2009). Affective e-learning: Using “emotional” data to improve learning in pervasive learning environment. Journal of Educational Technology & Society, 12(2), 176-189.
2. 멀티모달 데이터로 정서를 측정하는 방법(영상)
2주차에는 정서를 측정하기 위한 멀티모달 데이터 분석에 관한 스터디가 본격적으로 진행되었습니다. 저희가 집중한 첫번째 데이터는 영상 데이터였습니다! 🎥 추영선 선생님께서는 학습 상황에서 수집된 비디오에서 학생들의 감정을 시각적으로 요약하고 분석하는 시스템을 개발한 Zeng과 동료들(2020)의 연구를 공유해주셨습니다. 연구에서는 얼굴 크기와 가림 현상 등 감정 분석에 영향을 미치는 요소를 탐색하고 얼굴 및 감정 인식 알고리즘을 활용하여 전체 감정과 동적이 변화를 보여주는 섹션, 개인의 감정 상태를 보여주는 섹션, 세부 분석 내용을 제시하는 섹션으로 이루어진 시각화 시스템이 설계되었습니다.

이후 스터디 토론 시간에는 학습과학과 교육공학적 관점에서 교실 내 비디오 기반 감정 인식 도구에 대한 가상의 요구조사를 진행해보았는데요, 영상 데이터에서 감정과 관련해 어떤 유형의 데이터를 얻을 수 있는지, 그리고 그것이 교육적으로 유용할지를 고민하며 감정 측정을 위한 멀티모달 데이터 활용에 대한 생각을 확장해볼 수 있었습니다! 📖
Zeng, H., Shu, X., Wang, Y., Wang, Y., Zhang, L., Pong, T. C., & Qu, H. (2020). Emotion cues: Emotion-oriented visual summarization of classroom videos. IEEE transactions on visualization and computer graphics, 27(7), 3168-3181.
김혜은 선생님께서는 이전 연구와 비슷하게 실제 교실 환경(noisy classroom)에서 비디오를 통해 학습자의 감정 상태를 자동으로 감지하는 방법을 탐색한 Bosch와 동료들(2016)의 연구를 공유해주셨습니다. BROMP 활용 감정 코딩, FACET 얼굴 표정 추출, Bayes Net 등 머신러닝 알고리즘을 활용한 연구 결과, 모든 감정 상태에 대해 우연 수준 이상의 감지 정확도를 보이며 실제 교육 현장에서 학습자의 감정을 자동으로 분석하는 것이 실현 가능한 과제임을 입증하였습니다. 🎥📊
이처럼 멀티모달 데이터를 활용하여 감정을 분류하거나 예측하는 연구가 활발히 이루어지고 있는데요, 스터디 토론에서는 이와 같은 시도가 교육적으로 유의미한지에 대한 논의가 진행되었습니다. 특히 교육공학적 관점에서 학습 정서를 탐지한 이후 어떤 처치가 이루어져야 할지에 대해 고민해볼 수 있는 뜻깊은 시간이었던 것 같습니다:) 😃📝
Bosch, N., D'mello, S. K., Ocumpaugh, J., Baker, R. S., & Shute, V. (2016). Using video to automatically detect learner affect in computer-enabled classrooms. ACM Transactions on Interactive Intelligent Systems, 6(2), 1-26.
3. 멀티모달 데이터로 정서를 측정하는 방법(뇌파)
3주차에는 멀티모달 데이터 중 뇌파에 집중하여 정서를 측정하는 방법에 대한 스터디 세션이 진행되었습니다!
먼저 TELD의 뇌파 관련 연구를 담당하고 계시는 브레인 🧠⚡신부경 선생님께서는 학습자의 뇌파를 분석하여 감정 상태를 예측하는 다중 에이전트 시스템(NORA)를 개발한 Heraz와 Frasson의 연구를 공유해주셨습니다. IBK, 다중 회귀 분석, 머신러닝 알고리즘 등 다양한 분석 방법을 활용하여 Pleasure, Arousal, Dominance라는 3가지 감정 차원에서 학습 중 발생하는 감정과 뇌파의 관계를 탐색하고 뇌파를 통해 학습자의 감정 상태를 예측하고자 한 흥미로운 연구였습니다! 이러한 뇌파 기반 감정 분석은 감정 표현이 제한된 학습자에게 효과적일 수 있으며 AI 기술과 통합되어 더욱 개인화된 교육 전략을 수립하는 데 활용될 수 있다고 합니다.

Heraz, A., & Frasson, C. (2011). Towards a Brain‐Sensitive Intelligent Tutoring System: Detecting Emotions from Brainwaves. Advances in Artificial Intelligence, 2011(1), 384169.
다음으로 손연오 선생님께서는 가상 학부모 상담 시뮬레이션 경험 중 학습자의 인지와 정서 경험을 표정 분석과 뇌전도로 분석한 연구를 공유해 주셨습니다. 학부모 상담 시뮬레이션 시나리오에 따라 학습자가 경험하는 인지 부하를 표정 데이터(눈 깜빡임 횟수)을 활용하여 분석하고, EEG를 활용하여 수집된 뇌파 데이터를 통해 정서를 측정하는 연구였습니다.

또한 교육학에서 뇌파 연구가 가져야 할 차별점에 대해 논의해보았는데요, 선생님들의 다양한 의견을 들어볼 수 있는 뜻깊은 스터디 시간이 된 것 같습니다!
김국현, 양은별, 류지헌, & 임태형. (2023). 가상 시뮬레이션 학습자의 인지부하와 정서를 분석하기 위한 표정 분석 및 뇌전도의 활용. 교육방법연구, 35(2), 197-222.
4. 멀티모달 데이터로 정서를 측정하는 방법(침과 생리데이터)
정서 측정 방법과 관련된 마지막 세션인 네 번째 세션에서는 웨어러블 디바이스와 생체신호(예: 침, 심박, 피부전도 등)를 활용한 멀티모달 데이터 기반 정서 측정 방법에 대한 문헌을 중심으로 다루었습니다! 자가보고(self-report) 방식의 한계를 넘는 객관적 정서 측정의 가능성과 과제를 조망해보는 유익한 시간이었습니다:)
먼저 은선민 선생님께서 Ba & Hu (2023)의 체계적 문헌고찰 논문을 통해 지난 15년간 발표된 웨어러블 기기 기반 정서 측정 연구📚들을 정리해 주셨습니다.
피부전도도(EDA), 심박수(HR), 뇌파(EEG) 등의 생리 신호를 중심으로, 몰입(engagement), 불안(anxiety), 긍정 감정 등 교육적 정서를 측정한 사례들을 분석하고 있습니다. 특히 기계학습 기반 감정 분류 모델(SVM, Random Forest 등)의 활용과 윤리적 고려사항(개인정보 보호, 알고리즘 편향성 등)에 대한 논의는 AI 기술의 교육적 활용에 있어 정서 데이터의 민감성을 다시 한번 상기시켰습니다! Empatica, NeuroSky 등 실제 사용된 기기들과 측정 감정의 신호 조합도 구체적으로 확인할 수 있어, 웨어러블 기반 정서 측정 연구의 최신 동향을 실감할 수 있는 발표였습니다😄

Ba, S., & Hu, X. (2023). Measuring emotions in education using wearable devices: A systematic review. Computers & Education, 200, 104797.
다음으로는 제가 발제를 했었는데요. Špiljak et al. (2022)의 리뷰 논문을 중심으로, 타액을 활용한 스트레스 바이오마커 측정 방법💧에 대해 소개했습니다.
저희 연구실의 '멀티모달 데이터를 활용한 학습과 발달 연구'에서도 타액을 활용해서 스트레스를 측정하는 실험을 진행했었는데요! 이렇게 비침습적이며 실용적인 측정 수단으로 주목받고 있으며, 특히 학업 스트레스 상황에서의 학생 면역 반응 변화를 설명하는 다양한 연구 결과를 통해 학습자 웰빙과 정서 모니터링의 필요성을 잘 보여주었습니다. 또한 스트레스 반응이 면역, 염증, 호르몬 시스템과 어떻게 연결되는지를 이해하기 위해 생리학적 매커니즘도 배울 수 있었는데요, 타액의 경우 고강도 운동이나 음식 섭취로 인해 오염되거나 왜곡될 수 있기 때문에 정서 데이터를 다룰 때 신체적 맥락을 함께 고려해야 한다는 점을 알 수 있었습니다!
(스트레스가 발생하는 생리학적 매커니즘을 설명하기 위해 생명과학 책을 폈는데요..오랜만에 고등학생이 된 느낌이었답니다;;)

Špiljak, B., Vilibić, M., Glavina, A., Crnković, M., Šešerko, A., & Lugović-Mihić, L. (2022). A review of psychological stress among students and its assessment using salivary biomarkers. Behavioral sciences, 12(10), 400.
5. AI로 정서를 지원하는 방법(챗봇)
5주차 세션에서는 AI 챗봇을 활용하여 학습자의 정서를 지원하는 방법🌿을 중심으로 두 편의 논문을 살펴보았습니다!
먼저 김찬희 선생님께서는 Liu et al. (2022)의 RCT 기반 연구를 통해, 우울증을 겪는 대학생에게 AI 챗봇이 효과적인 자기 도움형(Self-help) 개입 도구가 될 수 있는지를 분석한 사례를 소개해주셨습니다. 해당 연구는 16주간의 장기 개입을 통해, 챗봇 사용군이 독서치료군보다 우울증(PHQ-9), 불안(GAD-7) 감소에서 유의미한 개선 효과를 보였다는 점에서 주목받는 연구입니다!
또한 사용자의 감정 기록 기능, 자유 대화 기능 등 CBT 기반의 챗봇 설계 요소들이 치료적 유대감(therapeutic alliance) 형성에 도움을 주었다는 결과도 인상 깊었습니다. 단, 지속 사용률은 두 집단 간 유의한 차이가 없었으며🙅♀️, 챗봇의 콘텐츠 제한과 기술적 한계는 향후 개선 과제로 남아 있었습니다!
발제 후에는 논의도 진행되었는데요!
챗봇이 인간과 유사한 방식으로 치료적 관계를 형성할 수 있는지, 그 한계는 무엇인지, 그리고 교육 현장에서 AI 챗봇을 어떤 맥락에서 활용할 수 있을지를 다각도로 고민해보았습니다~
특히 교사의 역할과 챗봇의 역할이 서로 어떻게 보완적으로 설계될 수 있을지에 대한 논의가 깊이 있게 이루어졌던 것 같습니다!

Liu, H., Peng, H., Song, X., Xu, C., & Zhang, M. (2022). Using AI chatbots to provide self-help depression interventions for university students: A randomized trial of effectiveness. Internet Interventions, 27, 100495.
다음으로는 강민주 선생님께서 Assayed et al. (2023) 논문을 바탕으로, 기계학습 기반 감정 인식 기능을 갖춘 AI 챗봇의 개발 사례를 소개해주셨습니다. 해당 연구에서는 학습자의 텍스트 데이터를 기반으로 감정을 자동으로 분류하고, 정서적 개입을 제공하는 챗봇 시스템을 설계하고 평가하였습니다. 이 챗봇은 단순히 사용자의 입력을 받아 응답하는 수준을 넘어, 자연어 처리(NLP)와 감정 인식 모델을 바탕으로 심리적 상태를 추정하고, 그에 맞는 공감적 피드백을 제공하는 점이 특징이었습니다.
그리고 마지막에는 민주쌤께서 보너스로 준비해주신✨ 직접 GPT 기반 챗봇을 제작해보는 실습 활동도 진행되었습니다☺️ 프롬프트 설계와 역할 구성, 대화 흐름 제어 등을 중심으로, 각자가 구상한 정서 지원 챗봇을 구현해보는 시간이었는데요! 챗봇이 정서적 상황에 어떻게 반응하고, 어떤 방식으로 사용자와 소통할 수 있을지를 직접 설계해보며, 이론적 논의를 실제 개발자, 학습자 경험 관점에서 구체화해볼 수 있는 흥미로운 경험이었습니다!!
Assayed, S., Shaalan, K., Al-Sayed, S., & Alkhatib, M. (2023). Psychological emotion recognition of students using machine learning based chatbot. International Journal of Artificial Intelligence and Applications (IJAIA), 14(2).
6. AI로 정서를 지원하는 방법(로봇)
6주차 세션에서는 감정 인식 기술을 로봇과 결합하여 학습 장면에 적용한 두 편의 연구를 살펴보았습니다!
먼저 김혜은 선생님께서는 Ez-Zaouia et al. (2020)의 EMODASH 연구를 소개해 주셨습니다!
이 연구는 원격 화상 학습 환경에서 튜터가 학습자의 정서를 회고적으로 인식할 수 있도록 지원하는 대시보드 기반 감정 인식 시스템에 대한 실제 적용 사례입니다.
EMODASH는 얼굴 표정 인식 데이터를 기반으로 학습자의 정서를 시각화하여 제공함으로써, 튜터가 학습자의 감정 상태를 보다 잘 이해하고 형성적이며 정서적인 피드백을 증가시키도록 유도하는 대시보드인데요.
튜터들은 EMODASH 사용 후 피드백에서 정서적 언어 사용 빈도(10% → 19%)와 형성적 피드백 비율(38% → 44%)이 유의미하게 증가했다고 보고하였습니다! 이를 통해 이 연구의 대시보드는 단지 정서 데이터를 보여주는 것에서 그치지 않고, 튜터의 교수 성찰과 자기 인식을 자극하며, 교수-학습 과정에서 감정의 중요성을 재조명하였습니다!

Ez-Zaouia, M., Tabard, A., & Lavoué, E. (2020). EMODASH: A dashboard supporting retrospective awareness of emotions in online learning. International Journal of Human-Computer Studies, 139, 102411.
마지막으로 박지용 선생님께서는 Alonso-Martin et al. (2013)의 멀티모달 감정 인식 시스템을 탑재한 사회적 로봇 연구🤖를 소개해 주셨습니다.
해당 연구에서는 표정(시각 정보)과 목소리(청각 정보)를 기반으로 사용자의 감정을 인식하고, 이를 바탕으로 보다 자연스럽고 상황에 맞는 인간-로봇 상호작용(HRI)을 구현하는 시스템을 개발하였습니다!

(생각보다.. 로봇이 귀여웠습니다..ㅎㅎ)
시각/청각을 통합하여 정서를 분석한 결과, 하나를 사용할 때보다 종합 시스템의 감정 인식 정확도가 유의미하게 향상되었으며, 로봇이 단순한 응답을 넘어 사용자 감정에 반응하고 개입하는 적극적인 정서적 파트너로 작동할 수 있음을 보여주었습니다~
이날 세션에서는 정서 데이터를 기반으로 한 로봇 시스템이 학습자의 상태를 파악하고 상호작용할 수 있는 방향에 대해 활발한 토론이 이루어졌으며, 교실에서의 활용 가능성, 로봇의 역할, 그리고 로봇이 갖추어야 할 정서적 조건에 대한 논의도 함께 이어졌던 시간이었습니다~
Alonso-Martin, F., Malfaz, M., Sequeira, J., Gorostiza, J. F., & Salichs, M. A. (2013). A multimodal emotion detection system during human–robot interaction. Sensors, 13(11), 15549-15581.
이렇게 약 한달 반동안 TELD 동계 스터디가 진행되었는데요! 저희 TELD 선생님들 뿐만 아니라 신입생 선생님들, 교육공학, 학습과학, 학습분석에 관심 있는 분들과 즐겁게 논의할 수 있는 장이어서 더 뜻깊었던 시간이었습니다✨✨
- 마무으리 기념 찰칵📷✨ (햄볶한 텔드) -

이상 강민주, 김안나였습니다!