Saturday, November 30, 2024

디지털 학습과정에서의 심리 상태 이해를 위한 빅데이터 활용

 



강원대학교 AI융합학과 임정욱 교수님께서 디지털 학습 과정에서의 심리 상태 이해를 위한 빅데이터 활용을 주제로 세미나 특강을 해주시러 춘천에서 서울까지 와주셨습니다! 임정욱 교수님도 서울대에서 대학원을 다니면서 공부를 하셔서 그런지 굉장히 기쁜 마음으로 이번 강연을 하러 왔다고 말씀해주셨습니다. 

교수님께서 설명해주신 심리 상태에 대한 연구는 최근 학습과학에서도 핫한 키워드입니다. 정서와 같은 심리 상태는 맥락에 따라 변화하며 학생들의 학업에 큰 영향을 미치기 때문입니다. 학생들이 학습 상황에서 느끼는 심리 상태를 정확하게 파악하고 적절한 처방을 제공할 수 있다면 학습에 어려움을 느끼는 학생들을 더 잘 도울 수 있겠죠? 


심리 상태 분석을 위해 '궤적 데이터'를 활용한 연구를 소개해주셨는데 새롭게 접해본 데이터 형식이어서 흥미롭게 들을 수 있었습니다. 궤적데이터란 아래 사진처럼 사용자가 터치스크린 장치에서 터치 제스처를 사용하거나 컴퓨터에서 마우스를 사용하여 인터페이스를 조작할 때 생성되는 이동 경로를 뜻합니다. 심리학, 경영학 등 다양한 분야에서는 이 궤적데이터를 통해 의사결정 상황에서 느끼는 심리적 어려움 정도를 이해할 수 있다고 합니다. 

교수님께서 진행하신 연구는 교육용 앱에서 수집한 터치 인터렉션의 궤적 데이터를 활용하여 학습 과정 중 학생들의 문제 풀이 상황에서 느끼는 심리적 어려움을 이해하는 것이었습니다. 더 자세히는, 의사결정 상황을 이해하기 위해 학생이 교육용 앱에서 정답 입력 시 발생하는 궤적 데이터를 분석한 것입니다. 또한 궤적 데이터를 여러 유형으로 나누고 선행 연구를 바탕으로 각각이 어떤 심리 상태를 나타내는지 구분하고자 하였습니다. 예를 들어 PSD1 유형의 궤적데이터는 학생이 문제풀이 결과에 대해 걱정할 때 발생하는 의사결정 어려움을 나타내고, PSD2 유형은 정답이 무엇인지 혼동할 때 발생하는 의사결정의 어려움을 나타냄을 연구 결과로 밝혀내셨습니다. 

이 연구는 여기서 더 나아가 PSD를 이용하여 학습 과정과 관련된 추측 행동(guessing behavior) 및 학습 결과와 관련된 학업 성취와의 관련성을 살펴보았습니다. 상관 분석 결과, 두 가지 PSD는 모두 추측 행동과 부정적인 상관관계를 보인 반면,학업 성취와는 긍정적인 상관관계를 보였습니다. 

PSD를 예측에 사용한 기계학습 모델 분석의 경우, baseline 모델에 비해 통계적으로 유의한 예측 성능 향상이 나타남을 확인하였습니다. 이는 궤적 데이터를 분석하여 PSD를 파악하는 것은 학생의 의사결정 어려움에 대한 이해를 도울 수 있다는 점에서 맞춤형 진단 및 개입이 가능해졌다는 것을 의미합니다. 

새로운 데이터로부터 PSD를 계산하는 것이 디지털 환경에서의 학습을 이해하는 데 도움이 된다는 것을 통해 학습과학 연구에서 접목할 점이 많다는 것을 느꼈습니다. 특히 내년에 단계적으로 도입될 인공지능 디지털 교과서(AIDT)에서 이러한 궤적데이터를 사용한 연구가 가능해진다면 집중력 분산, 정서 고려 미흡 등 AIDT 사용에서 우려되는 점들을 효과적으로 완화시킬 수 있을 것으로 기대됩니다. 

세미나를 듣고 연구실에 와보니 연구실 선생님께서 귤 한 박스를 가져다 주셨더라구요! 맛도 맛이지만 챙겨주시려는 마음에 추운 연말 날씨가 훈훈해지는 느낌이었습니다 :)

Wednesday, November 20, 2024

2024년 제4회 학습과학연구소 세미나 - 이진경 연구교수님 디지털페노타이핑 강연

안녕하세요 선생님들!

날씨가 갑자기 훅 추워져네요🥶🥶

오늘 포스팅은 학습과학연구소에서 개최한 제4회 세미나 현장에 대해 나눠보고자 합니다! 
10월 30일 오후 12시에 진행된 제4회 세미나는 '스마트 기기와 디지털 페노타이핑'이라는 주제
이번 9월에 저희 연구소에 새롭게 오신 '이진경 연구교수님'께서 직접 강연을 해주셨답니다~



# 스마트 기기와 디지털 페노타이핑

여러분은 자동차 핸들만으로도 운전자의 건강 상태를 진단할 수 있다는 사실을 알고 계셨나요? 
 자동차 시트에서 호흡과 체온을, 핸들에서는 스트레스와 심박수를 측정할 수 있다고 합니다. 이러한 센서 기술의 발전은 '디지털 페노타이핑'이라는 새로운 연구 분야를 탄생시켰습니다.

예를 들면 애플워치, 갤럭시 워치도 우리의 심박수를 측정해주죠. 
이외에도 다양항 일상 스마트 웨어러블 기기들을 통해 심박수와 같은 전통적인 바이오마커들을 일상생활 속에서 지속적으로 수집하고 모니터링할 수 있게 되었습니다. 이것이 바로 디지털 바이오마커의 시작입니다. 예를 들어, 계속 성장 추세를 보이고 있는 '디지털 헬스' 분야가 대표적입니다.

## 디지털 페노타이핑의 개념과 등장 배경

디지털 페노타이핑이란 디지털 기술을 활용하여 일상에서 실시간으로 수집되는 인간 행동에 대한 데이터를 분석하는 것을 말합니다.

이 분야의 대가인 토마스 인셀(Tom Insel)은 중요한 관찰을 했습니다. 지난 20-30년 동안 인간 수명에 큰 변화가 없었는데, 이는 정신 건강에 대한 lack of engagement(제때 케어를 받지 않는 것)가 주요 원인 중 하나라고 지적했습니다. 사람들이 정신적으로 심각한 상황일 때만 잠깐 케어를 받고, 주관적인 자기보고에 의존하는 것이 문제라고 보았죠.

이에 대한 해결책으로, 인셀은 당시 급속도로 발전하고 있던 스마트폰 기술을 활용한 "스마트폰 데이터 페노타이핑"을 제안했습니다. De Boer et al.(2023)는 이를 더 확장하여, 스마트폰뿐만 아니라 다양한 디지털 기술을 활용하고 더 보편적으로 적용할 수 있다고 주장했습니다.

## 최신 연구 동향

이진경 교수님께서는 디지털 페노타이핑을 활용한 최근 연구 동향을 설명해주셨습니다!

1. Tom Insel은 2019년 강연에서 새로운 바이오마커로 "HCI - Keyboard"를 제시했습니다. 키보드 사용 패턴을 통해 다음을 측정할 수 있다고 봅니다:
   - Reaction time
   - Attention
   - Memory
   - Executive function

2. 인지기능 관련 디지털 바이오마커 연구 사례:
   - Dagum(2018): 전통적인 방법으로 측정한 cognitive function이 디지털 바이오마커로 측정한 결과와 유사함을 보여줌
   - Choo et al.(2024): 아동의 정신건강 스크리닝을 위해 태블릿을 통한 HRV, Eye-tracking, Voice 데이터를 활용

## 데이터 수집과 분석
그렇다면 어떤 데이터를 수집해야하는 것일까요? 아직 무엇을 측정하기 위해 무엇을 수집해야 하는지 완벽한 합의가 이루어진 상태는  아니라고 하셨습니다. 
또한 데이터가 수집된 모든 일상생활에서의 맥락은 알 수 없으며, 데이터 수집 알고리즘도 확인할 수 없죠. 그래서 추정의 어려움이 여전히 존재하긴한다고 하셨습니다.

### 데이터 유형
그럼에도 현재까지의 연구의 동향을 살펴보았을 때 디지털 페노타이핑을 위해 수집되는 데이터는 다음과 같습니다.

- Passive data collection: voice, skin temperature, text message 등
- Active data collection: 설문조사 응답, 챗봇과의 상호작용 등

### 분석 방법
다음으로 어떻게 이런 데이터를 분석할 수 있을까요? 그 과정에 대해서도 세세하게 설명해주셨는데요, 
데이터는 Raw features → Digital biomarkers → Digital phenotyping의 과정을 거칩니다. 빅데이터의 특성상 머신러닝 기술(pattern identification, feature extraction)을 주로 활용하며, 데이터 전처리가 매우 중요하다고 강조하셨습니다!

## 디지털 페노타이핑의 적용
디지털 페노타이핑이 적용되는 주요 맥락은 다음과 같다고 하셨습니다.
1. Care management
   - 치료의 효과성 파악
   - 맞춤형 처방 활용

2. Mobile intervention
   - 예: 국내 보건소 모바일 헬스케어 사업

3. Diagnosis
   - 예: 일상생활 데이터를 통한 치매 위험군 조기 발견 및 지원

## 연구시 유의점
마지막으로 강연을 마무리하시면서 교수님께서는 여러 연구들을 직접 수행하시면서 깨닫게된 여러 유의점들과 사례를 설명해주시면서 강연이 마무리 되었습니다.
1. 데이터 수집의 한계. 
   - 일상생활 맥락 파악의 어려움
   - 예: 스마트폰을 두고 러닝머신에서 운동하는 경우 활동량 미측정

2. 기타 고려사항
   - Bias 발생 가능성
   - 데이터 수집 대상의 에이전시, 자기인식 보장 문제
   - 개인정보 보호 관련 이슈

점심 시간이었음에도 학부생부터 타 대학 대학원생, 교직원분들, 교수님들 등 다양한 분야에서 많은 분들이 참석하여 주셨습니다!

그리고 맛있는 샌드위치도 먹고 귀중한 강연도 들을 수 있는 일석이조의 시간이었습니다!
다음에도 스누코 샌드위치.. 해주세용...👍👍⭐

Saturday, November 16, 2024

10월 24일 오픈세미나 인간-AI 협력 2차년도 연구 공유


인간과 AI의 상호작용은 점점 더 많은 분야에서 중요한 역할을 하고 있습니다. AI는 인간의 작업을 보조하면서 학습과 업무의 효율성을 높이고, 의사결정 과정을 개선하는 데 기여합니다. 이러한 인간과 AI의 관계는 단순히 기술적 관점에서만 중요한 것이 아니라, 상호작용과 같은 행동적인 관점에서 보는 것도 중요한데요. 

오늘은 김혜은 선생님께서 TELD 연구실의 주 관심사 중 하나인 인간과 AI의 협력과 관련된 2차년도 프로젝트가 어떻게 진행되었는지 공유해주셨습니다. 인간 AI 협력 2차년도 프로젝트의 목적은 인간-AI 협력 역량을 측정하는 수행평가 도구 개발이 주 목적이었습니다. 인공지능 사용 경험이 있는 대학생 또는 대학원생 32명을 모집하여 설문, 과제 수행, 면담을 진행하였습니다. 과제 같은 경우 ChatGPT와 협력하여 논증적 글쓰기를 작성하는 것이었는데 글쓰기 주제에 따라 단순한 주제와 복잡한 주제로 구분되었습니다. 아래 화면이 실험 참여자들이 보는 과제 화면이었습니다.



인간-AI 협력 역량 수행평가 도구 개발을 위해 다음과 같이 두가지 프로세스가 진행되었습니다. 첫째, 글쓰기 과제 수행 장면을 화면 녹화하여 인간이 비디오 분석을 진행하며 코딩하는 것과 서버에 수집되는 로그 데이터를 python 코드 전처리를 통해 코딩하는 것의 차이점을 비교하였습니다. 둘째, 어떤 행동이 과연 인간-AI 협력을 나타내는 행동인지 선행 이론들과 참여자들의 행동 관찰을 통해 범주화하고 타당화 작업을 거쳐 행동지표를 도출하였습니다.

또한 참여자들의 ChatGPT와의 글쓰기를 관찰하며 상호작용 행동 군집 분석을 추가적으로 실시하였습니다. 가설이 미리 정해지지 않은 탐색 연구였기 때문에 유의미한 패턴과 시사점을 도출하기 위해 다양한 변수들을 대입해가며 고민이 필요했습니다.

분석에 참여하신 박사 과정, 석사 과정 선생님들께서 SPSS, JAMOVI, R, AMOS 등 다양한 통계 도구를 써가며 각 도구의 장단점을 공유해주셨는데 앞으로의 연구 진행에 현실적인 도움이 되었습니다. SPSS 같은 경우 사용이 직관적이지만 프로그램이 무겁고 학교망을 벗어나면 무료 사용이 불가능하다는 단점이 있었습니다. JAMOVI도 직관적인 사용이 장점이었지만 SPSS에서는 가능한 엑셀에 표로 내보내기 기능이 없어서 불편하다는 단점이 있었습니다. R은 사용자에 따라 다양한 분석, 시각화가 가능하지만 코드를 짜야한다는 이유 때문에 ChatGPT나 Claude의 도움을 받아야 한다고 전해주셨습니다.

밝은 표정으로 위 내용들을 공유해주셨지만 선생님들께서 연구를 위해 얼마나 고생하셨는지 알게 되어 존경심이 절로 우러러 나오는 순간이었습니다. 

종합적으로 이번 인간-AI 협력 2차년도 연구를 진행하며 아쉬웠던 점도 공유를 해주셨습니다. 더 좋은 연구 결과를 위해서 실험 참여자 수가 더 50명 이상으로 더 많았으면 좋았겠다라는 점, 연구 시작 전에 충분한 양과 질의 문헌 검토가 선행되어야 한다는 점, 코딩스킴과 관련해서 전문가 타당화를 받아야 한다는 점 등이 있었습니다. 

인간-AI 협력 연구는 3차년도 연구로 이어서 진행이 됩니다. 3차년도 연구는 2차년도에 개발된 수행평가 도구에 기반하여 인간 협력 역량을 위한 맞춤형 수업모형을 개발하는 것입니다. 수업모형 개발과 효과 검증을 위해 설계기반연구 방법(DBR, Design based research)을 적용할 계획입니다. 실험실에서만 진행되었던 연구가 실제 교육 현장에서 실질적으로 적용된다는 점에서 큰 의미가 있는 것 같습니다. 3차년도 연구도 많이 기대해주시기 바라겠습니다 :)



Saturday, November 9, 2024

2024 한국교육정보미디어학회 X 한국교육공학회 추계 공동학술대회

안녕하세요 선생님들!

지난 11월, 한국교육정보미디어학회와 한국교육공학회는 'AI 교육혁신의 과제와 전망'을 주제로 추계 공동학술대회를 개최하였습니다. 




최근 교육 현장에 AI가 다양한 형태로 도입되기 시작하면서 그와 관련된 연구 역시 활발히 진행되고 있는 것 같습니다. 저희 TELD에서도 AI라는 키워드를 중심으로 한 다양한 연구들이 이루워지고 있는데요, 이번 학회 또한 다함께 참여하여 더욱 의미있는 시간을 보낼 수 있었던 것 같습니다. 


저희 연구실의 추영선 선생님께서는 중학생의 웰빙을 예측하기 위한 소셜 네트워크 분석 연구라는 주제의 세션 발표와 대학생 핵심 역량과 주관적 안녕감 간의 관계 탐색이라는 주제의 포스터 발표를 진행해주셨습니다. 전자의 경우 선생님의 데이터 분석 과정을 쉐도잉한 기억이 있는데 이렇게 학술대회에서 발표되니 더욱 흥미로웠던 것 같습니다. 손연오 선생님께서는 국내 초등교육에서 AI 활용과 AI 융합의 교육적 실천 연구동향 분석: 주제범위 문헌고찰이라는 주제로 발표를 진행해주셨는데요, 스피커로서는 첫 학술대회 발표 축하드립니다:)



또한 조영환 교수님과 사운서 선생님, 김혜은 선생님께서는 학습자와 AI간 협력적 상호작용 연구를 발표해주셨습니다. 이 주제는 저희 연구실의 핵심적인 연구 갈래이기도 한데요, 앞으로도 관련된 연구들이 예정되어 있으니 많은 관심 부탁드립니다:)


그리고 사운서 선생님께서는 오랫동안 진행하신 다문화 학생에 대한 공감 역량 향상을 위한 가상현실 시뮬레이션 개발 연구를 미디어전에서 발표하고 금상을 수상하셨습니다! 너무 고생 많으셨고 축하드립니다 운서쌤!


이번 2024 한국교육정보미디어학회 X 한국교육공학회 공동 추계 학술대회를 통해 저희 TELD 연구실에서 이루어지고 있는 여러 연구 주제들의 중요성을 다시 한번 살펴볼 수 있었던 것 같습니다. 앞으로 이런 의미있는 연구 결과를 위해 더욱 노력해야 할 것 같습니다😊😊

그럼 다음 포스트로 찾아오겠습니다:) 

Thursday, November 7, 2024

[오픈 세미나] 라코(LACO)를 소개합니다!

안녕하세요 선생님들,

저희 TELD에서 진행중인 3차년도 인간-AI 협력 연구에서는 학습자와 인공지능이 협력적인 관계를 구축하고 공동의 교육적 목표에 도달할 수 있도록 지원하는 수업을 설계하고 있습니다. 

이때 학습자와 인공지능 사이의 상호작용 패턴, 즉 협력의 과정을 분석하고자 디테일한 로그 수집이 가능한 학습자-AI 글쓰기 도구인 라코(LACO, Learner-AI Collaboration)를 개발하였는데요, 이번 블로그 포스트를 통해 간단히 소개해드리고자 합니다.




위 스크린샷 화면에 보이는 바와 같이 본 과제 창은 왼쪽의 글쓰기 과제 섹션, 오른쪽의 AI 챗봇 섹션으로 구성되어 있습니다. 학습자별 채팅 데이터, 글쓰기 로그, 클릭 스트림 모두 실시간으로 DB에 저장되기 때문에 실제 학교 현장에서 수업이 이루어지는 동안 학습 데이터를 수집할 수 있답니다.

본 연구는 DBR(Design based research) 방법론으로 진행되고 있습니다. DBR은 현장 교사 등 다양한 교육 주체들과 연구자의 협력을 중요시하는데요, 저희 또한 두 분의 선생님들과 글쓰기 과제와 학습자-AI 협력에 대해 논의하고 플랫폼 요구사항을 확인하여 지속적으로 라코를 개선해나가고 있습니다:)

지금의 초기버전 라코는 앞으로 V2, V3로 발전해 나갈 예정입니다! 라코와 함께 이루어질 앞으로의 연구들에 많은 관심 부탁드립니다👏🏻

Sunday, November 3, 2024

10월 30일 TELD 디자인 세미나: EEG 전처리 및 분석


인간의 학습 과정을 깊이 이해하려면 무엇을 들여다봐야 할까요? 바로 ‘뇌’입니다.

 EEG(Electroencephalogram)는 뇌전도(뇌에 흐르는 전류)를 측정하는 방법으로, 간단한 착용만으로 비침습적으로 뇌 신호를 수집할 수 있다는 장점 덕분에 학습과 관련된 연구에서 자주 활용되고 있는데요. 학습과학연구소 뇌기반학습센터에서는 지난 9월 BrainProducts사의 EEG 장비를 새로 도입하여 최대 64채널의 정밀한 뇌파 데이터를 수집하고 분석할 준비를 마쳤습니다. 하지만 EEG의 원리나 분석 과정은 아직 생소하게 느껴지실 텐데요. 지난 10월 30일 TELD 세미나에서는 신부경 선생님께서 EEG에 대한 전반적인 설명과 함께 데이터 전처리 및 기초 분석 방법을 소개해 주셨습니다.

EEG는 전극을 통해 뉴런의 활성화를 포착하는 방법입니다. ms 단위로 측정하여 시간 해상도가 높다는 장점이 있지만, 공간 해상도는 낮은 편이라고 해요.


EEG 분석은 크게 두 종류로 나눌 수 있다고 하는데요. 첫 번째는 ERP(event-related potential, 사건관련전위) 분석입니다. ERP 분석은 특정 시점에서의 전위 차이를 확인하는 방식으로, 통제 조건이 매우 중요합니다. 통제 조건의 뇌파로 실험 조건의 뇌파를 뺀 다음, 두 개 실험 조건 간 대조를 하기 때문인데요. 파형이 positive인지 negative인지, 파형의 peak가 어디에(어느 시점에) 나타났는지에 따라 이름을 붙인다고 합니다(e.g. P300, N400). 한편 Time-frequency analysis(시간-주파수 분석)은 특정 시점에 주목하는 게 아니라 일정 시간 동안 주파수의 강도 또는 synchronization이 어떻게 변하는지를 분석하는 방법입니다.

뇌파 중 학습과 연결지어 볼 수 있는 것들에는 어떤 것들이 있을까요? 이 또한 EEG 분석 방법에 따라 나누어 살펴볼 수 있는데요. 먼저 ERP(사건관련전위) 방식으로 수행된 연구 결과들에 따르면, 주의집중과 관련하여 나타나는 뇌파 파형은 P3a, P3b, P300, 언어적 불일치와 관련해서는 P600(문법), N400(의미) 등이 있습니다. 이밖에도 오류나 피드백, 정서와 관련해서도 특정한 파형이 발견된다고 하네요. 시간-주파수 분석 연구에 따르면, 주파수가 30-60Hz인 Gamma wave가 학습·기억과의 관련성이 높다고 합니다.


EEG 연구에서 가장 중요하면서도 고단한 과정이 있다면 무엇일까요? 바로 EEG 전처리 단계라고 하는데요. 신부경 선생님께서는 BrainVision Analyzer를 활용한 전처리 과정과 MATLAB과 EEGLAB을 활용한 전처리 과정을 각각 시연해 주셨습니다. 블로그에 자세한 과정을 모두 글로 옮기기는 어렵지만, 인터페이스가 생각보다 직관적이라 한 단계씩 차근차근 공부하면 따라갈 수 있겠다는 생각이 들었습니다. 이렇게 전처리 시연이 끝난 뒤에는 구체적인 코드 예시와 함께 MATLAB의 Fieldtrip으로 Time-frequency 데이터를 분석하는 방법에 대해서도 설명해주셨습니다.

조영환 교수님께서는 EEG 장비가 연구실 차원에서 구비되어 있다는 점이 연구자로서 큰 기회이자 메리트라는 점을 강조하셨습니다. 다가올 겨울방학에 추가적인 EEG 워크숍이 예정돼 있다고 하니, 뇌기반학습 연구에 매력을 느끼는 분들의 많은 관심 부탁드려요!