Saturday, November 30, 2024

디지털 학습과정에서의 심리 상태 이해를 위한 빅데이터 활용

 



강원대학교 AI융합학과 임정욱 교수님께서 디지털 학습 과정에서의 심리 상태 이해를 위한 빅데이터 활용을 주제로 세미나 특강을 해주시러 춘천에서 서울까지 와주셨습니다! 임정욱 교수님도 서울대에서 대학원을 다니면서 공부를 하셔서 그런지 굉장히 기쁜 마음으로 이번 강연을 하러 왔다고 말씀해주셨습니다. 

교수님께서 설명해주신 심리 상태에 대한 연구는 최근 학습과학에서도 핫한 키워드입니다. 정서와 같은 심리 상태는 맥락에 따라 변화하며 학생들의 학업에 큰 영향을 미치기 때문입니다. 학생들이 학습 상황에서 느끼는 심리 상태를 정확하게 파악하고 적절한 처방을 제공할 수 있다면 학습에 어려움을 느끼는 학생들을 더 잘 도울 수 있겠죠? 


심리 상태 분석을 위해 '궤적 데이터'를 활용한 연구를 소개해주셨는데 새롭게 접해본 데이터 형식이어서 흥미롭게 들을 수 있었습니다. 궤적데이터란 아래 사진처럼 사용자가 터치스크린 장치에서 터치 제스처를 사용하거나 컴퓨터에서 마우스를 사용하여 인터페이스를 조작할 때 생성되는 이동 경로를 뜻합니다. 심리학, 경영학 등 다양한 분야에서는 이 궤적데이터를 통해 의사결정 상황에서 느끼는 심리적 어려움 정도를 이해할 수 있다고 합니다. 

교수님께서 진행하신 연구는 교육용 앱에서 수집한 터치 인터렉션의 궤적 데이터를 활용하여 학습 과정 중 학생들의 문제 풀이 상황에서 느끼는 심리적 어려움을 이해하는 것이었습니다. 더 자세히는, 의사결정 상황을 이해하기 위해 학생이 교육용 앱에서 정답 입력 시 발생하는 궤적 데이터를 분석한 것입니다. 또한 궤적 데이터를 여러 유형으로 나누고 선행 연구를 바탕으로 각각이 어떤 심리 상태를 나타내는지 구분하고자 하였습니다. 예를 들어 PSD1 유형의 궤적데이터는 학생이 문제풀이 결과에 대해 걱정할 때 발생하는 의사결정 어려움을 나타내고, PSD2 유형은 정답이 무엇인지 혼동할 때 발생하는 의사결정의 어려움을 나타냄을 연구 결과로 밝혀내셨습니다. 

이 연구는 여기서 더 나아가 PSD를 이용하여 학습 과정과 관련된 추측 행동(guessing behavior) 및 학습 결과와 관련된 학업 성취와의 관련성을 살펴보았습니다. 상관 분석 결과, 두 가지 PSD는 모두 추측 행동과 부정적인 상관관계를 보인 반면,학업 성취와는 긍정적인 상관관계를 보였습니다. 

PSD를 예측에 사용한 기계학습 모델 분석의 경우, baseline 모델에 비해 통계적으로 유의한 예측 성능 향상이 나타남을 확인하였습니다. 이는 궤적 데이터를 분석하여 PSD를 파악하는 것은 학생의 의사결정 어려움에 대한 이해를 도울 수 있다는 점에서 맞춤형 진단 및 개입이 가능해졌다는 것을 의미합니다. 

새로운 데이터로부터 PSD를 계산하는 것이 디지털 환경에서의 학습을 이해하는 데 도움이 된다는 것을 통해 학습과학 연구에서 접목할 점이 많다는 것을 느꼈습니다. 특히 내년에 단계적으로 도입될 인공지능 디지털 교과서(AIDT)에서 이러한 궤적데이터를 사용한 연구가 가능해진다면 집중력 분산, 정서 고려 미흡 등 AIDT 사용에서 우려되는 점들을 효과적으로 완화시킬 수 있을 것으로 기대됩니다. 

세미나를 듣고 연구실에 와보니 연구실 선생님께서 귤 한 박스를 가져다 주셨더라구요! 맛도 맛이지만 챙겨주시려는 마음에 추운 연말 날씨가 훈훈해지는 느낌이었습니다 :)

Wednesday, November 20, 2024

2024년 제4회 학습과학연구소 세미나 - 이진경 연구교수님 디지털페노타이핑 강연

안녕하세요 선생님들!

날씨가 갑자기 훅 추워져네요🥶🥶

오늘 포스팅은 학습과학연구소에서 개최한 제4회 세미나 현장에 대해 나눠보고자 합니다! 
10월 30일 오후 12시에 진행된 제4회 세미나는 '스마트 기기와 디지털 페노타이핑'이라는 주제
이번 9월에 저희 연구소에 새롭게 오신 '이진경 연구교수님'께서 직접 강연을 해주셨답니다~



# 스마트 기기와 디지털 페노타이핑

여러분은 자동차 핸들만으로도 운전자의 건강 상태를 진단할 수 있다는 사실을 알고 계셨나요? 
 자동차 시트에서 호흡과 체온을, 핸들에서는 스트레스와 심박수를 측정할 수 있다고 합니다. 이러한 센서 기술의 발전은 '디지털 페노타이핑'이라는 새로운 연구 분야를 탄생시켰습니다.

예를 들면 애플워치, 갤럭시 워치도 우리의 심박수를 측정해주죠. 
이외에도 다양항 일상 스마트 웨어러블 기기들을 통해 심박수와 같은 전통적인 바이오마커들을 일상생활 속에서 지속적으로 수집하고 모니터링할 수 있게 되었습니다. 이것이 바로 디지털 바이오마커의 시작입니다. 예를 들어, 계속 성장 추세를 보이고 있는 '디지털 헬스' 분야가 대표적입니다.

## 디지털 페노타이핑의 개념과 등장 배경

디지털 페노타이핑이란 디지털 기술을 활용하여 일상에서 실시간으로 수집되는 인간 행동에 대한 데이터를 분석하는 것을 말합니다.

이 분야의 대가인 토마스 인셀(Tom Insel)은 중요한 관찰을 했습니다. 지난 20-30년 동안 인간 수명에 큰 변화가 없었는데, 이는 정신 건강에 대한 lack of engagement(제때 케어를 받지 않는 것)가 주요 원인 중 하나라고 지적했습니다. 사람들이 정신적으로 심각한 상황일 때만 잠깐 케어를 받고, 주관적인 자기보고에 의존하는 것이 문제라고 보았죠.

이에 대한 해결책으로, 인셀은 당시 급속도로 발전하고 있던 스마트폰 기술을 활용한 "스마트폰 데이터 페노타이핑"을 제안했습니다. De Boer et al.(2023)는 이를 더 확장하여, 스마트폰뿐만 아니라 다양한 디지털 기술을 활용하고 더 보편적으로 적용할 수 있다고 주장했습니다.

## 최신 연구 동향

이진경 교수님께서는 디지털 페노타이핑을 활용한 최근 연구 동향을 설명해주셨습니다!

1. Tom Insel은 2019년 강연에서 새로운 바이오마커로 "HCI - Keyboard"를 제시했습니다. 키보드 사용 패턴을 통해 다음을 측정할 수 있다고 봅니다:
   - Reaction time
   - Attention
   - Memory
   - Executive function

2. 인지기능 관련 디지털 바이오마커 연구 사례:
   - Dagum(2018): 전통적인 방법으로 측정한 cognitive function이 디지털 바이오마커로 측정한 결과와 유사함을 보여줌
   - Choo et al.(2024): 아동의 정신건강 스크리닝을 위해 태블릿을 통한 HRV, Eye-tracking, Voice 데이터를 활용

## 데이터 수집과 분석
그렇다면 어떤 데이터를 수집해야하는 것일까요? 아직 무엇을 측정하기 위해 무엇을 수집해야 하는지 완벽한 합의가 이루어진 상태는  아니라고 하셨습니다. 
또한 데이터가 수집된 모든 일상생활에서의 맥락은 알 수 없으며, 데이터 수집 알고리즘도 확인할 수 없죠. 그래서 추정의 어려움이 여전히 존재하긴한다고 하셨습니다.

### 데이터 유형
그럼에도 현재까지의 연구의 동향을 살펴보았을 때 디지털 페노타이핑을 위해 수집되는 데이터는 다음과 같습니다.

- Passive data collection: voice, skin temperature, text message 등
- Active data collection: 설문조사 응답, 챗봇과의 상호작용 등

### 분석 방법
다음으로 어떻게 이런 데이터를 분석할 수 있을까요? 그 과정에 대해서도 세세하게 설명해주셨는데요, 
데이터는 Raw features → Digital biomarkers → Digital phenotyping의 과정을 거칩니다. 빅데이터의 특성상 머신러닝 기술(pattern identification, feature extraction)을 주로 활용하며, 데이터 전처리가 매우 중요하다고 강조하셨습니다!

## 디지털 페노타이핑의 적용
디지털 페노타이핑이 적용되는 주요 맥락은 다음과 같다고 하셨습니다.
1. Care management
   - 치료의 효과성 파악
   - 맞춤형 처방 활용

2. Mobile intervention
   - 예: 국내 보건소 모바일 헬스케어 사업

3. Diagnosis
   - 예: 일상생활 데이터를 통한 치매 위험군 조기 발견 및 지원

## 연구시 유의점
마지막으로 강연을 마무리하시면서 교수님께서는 여러 연구들을 직접 수행하시면서 깨닫게된 여러 유의점들과 사례를 설명해주시면서 강연이 마무리 되었습니다.
1. 데이터 수집의 한계. 
   - 일상생활 맥락 파악의 어려움
   - 예: 스마트폰을 두고 러닝머신에서 운동하는 경우 활동량 미측정

2. 기타 고려사항
   - Bias 발생 가능성
   - 데이터 수집 대상의 에이전시, 자기인식 보장 문제
   - 개인정보 보호 관련 이슈

점심 시간이었음에도 학부생부터 타 대학 대학원생, 교직원분들, 교수님들 등 다양한 분야에서 많은 분들이 참석하여 주셨습니다!

그리고 맛있는 샌드위치도 먹고 귀중한 강연도 들을 수 있는 일석이조의 시간이었습니다!
다음에도 스누코 샌드위치.. 해주세용...👍👍⭐

Saturday, November 16, 2024

10월 24일 오픈세미나 인간-AI 협력 2차년도 연구 공유


인간과 AI의 상호작용은 점점 더 많은 분야에서 중요한 역할을 하고 있습니다. AI는 인간의 작업을 보조하면서 학습과 업무의 효율성을 높이고, 의사결정 과정을 개선하는 데 기여합니다. 이러한 인간과 AI의 관계는 단순히 기술적 관점에서만 중요한 것이 아니라, 상호작용과 같은 행동적인 관점에서 보는 것도 중요한데요. 

오늘은 김혜은 선생님께서 TELD 연구실의 주 관심사 중 하나인 인간과 AI의 협력과 관련된 2차년도 프로젝트가 어떻게 진행되었는지 공유해주셨습니다. 인간 AI 협력 2차년도 프로젝트의 목적은 인간-AI 협력 역량을 측정하는 수행평가 도구 개발이 주 목적이었습니다. 인공지능 사용 경험이 있는 대학생 또는 대학원생 32명을 모집하여 설문, 과제 수행, 면담을 진행하였습니다. 과제 같은 경우 ChatGPT와 협력하여 논증적 글쓰기를 작성하는 것이었는데 글쓰기 주제에 따라 단순한 주제와 복잡한 주제로 구분되었습니다. 아래 화면이 실험 참여자들이 보는 과제 화면이었습니다.



인간-AI 협력 역량 수행평가 도구 개발을 위해 다음과 같이 두가지 프로세스가 진행되었습니다. 첫째, 글쓰기 과제 수행 장면을 화면 녹화하여 인간이 비디오 분석을 진행하며 코딩하는 것과 서버에 수집되는 로그 데이터를 python 코드 전처리를 통해 코딩하는 것의 차이점을 비교하였습니다. 둘째, 어떤 행동이 과연 인간-AI 협력을 나타내는 행동인지 선행 이론들과 참여자들의 행동 관찰을 통해 범주화하고 타당화 작업을 거쳐 행동지표를 도출하였습니다.

또한 참여자들의 ChatGPT와의 글쓰기를 관찰하며 상호작용 행동 군집 분석을 추가적으로 실시하였습니다. 가설이 미리 정해지지 않은 탐색 연구였기 때문에 유의미한 패턴과 시사점을 도출하기 위해 다양한 변수들을 대입해가며 고민이 필요했습니다.

분석에 참여하신 박사 과정, 석사 과정 선생님들께서 SPSS, JAMOVI, R, AMOS 등 다양한 통계 도구를 써가며 각 도구의 장단점을 공유해주셨는데 앞으로의 연구 진행에 현실적인 도움이 되었습니다. SPSS 같은 경우 사용이 직관적이지만 프로그램이 무겁고 학교망을 벗어나면 무료 사용이 불가능하다는 단점이 있었습니다. JAMOVI도 직관적인 사용이 장점이었지만 SPSS에서는 가능한 엑셀에 표로 내보내기 기능이 없어서 불편하다는 단점이 있었습니다. R은 사용자에 따라 다양한 분석, 시각화가 가능하지만 코드를 짜야한다는 이유 때문에 ChatGPT나 Claude의 도움을 받아야 한다고 전해주셨습니다.

밝은 표정으로 위 내용들을 공유해주셨지만 선생님들께서 연구를 위해 얼마나 고생하셨는지 알게 되어 존경심이 절로 우러러 나오는 순간이었습니다. 

종합적으로 이번 인간-AI 협력 2차년도 연구를 진행하며 아쉬웠던 점도 공유를 해주셨습니다. 더 좋은 연구 결과를 위해서 실험 참여자 수가 더 50명 이상으로 더 많았으면 좋았겠다라는 점, 연구 시작 전에 충분한 양과 질의 문헌 검토가 선행되어야 한다는 점, 코딩스킴과 관련해서 전문가 타당화를 받아야 한다는 점 등이 있었습니다. 

인간-AI 협력 연구는 3차년도 연구로 이어서 진행이 됩니다. 3차년도 연구는 2차년도에 개발된 수행평가 도구에 기반하여 인간 협력 역량을 위한 맞춤형 수업모형을 개발하는 것입니다. 수업모형 개발과 효과 검증을 위해 설계기반연구 방법(DBR, Design based research)을 적용할 계획입니다. 실험실에서만 진행되었던 연구가 실제 교육 현장에서 실질적으로 적용된다는 점에서 큰 의미가 있는 것 같습니다. 3차년도 연구도 많이 기대해주시기 바라겠습니다 :)



Sunday, November 3, 2024

10월 30일 TELD 디자인 세미나: EEG 전처리 및 분석


인간의 학습 과정을 깊이 이해하려면 무엇을 들여다봐야 할까요? 바로 ‘뇌’입니다.

 EEG(Electroencephalogram)는 뇌전도(뇌에 흐르는 전류)를 측정하는 방법으로, 간단한 착용만으로 비침습적으로 뇌 신호를 수집할 수 있다는 장점 덕분에 학습과 관련된 연구에서 자주 활용되고 있는데요. 학습과학연구소 뇌기반학습센터에서는 지난 9월 BrainProducts사의 EEG 장비를 새로 도입하여 최대 64채널의 정밀한 뇌파 데이터를 수집하고 분석할 준비를 마쳤습니다. 하지만 EEG의 원리나 분석 과정은 아직 생소하게 느껴지실 텐데요. 지난 10월 30일 TELD 세미나에서는 신부경 선생님께서 EEG에 대한 전반적인 설명과 함께 데이터 전처리 및 기초 분석 방법을 소개해 주셨습니다.

EEG는 전극을 통해 뉴런의 활성화를 포착하는 방법입니다. ms 단위로 측정하여 시간 해상도가 높다는 장점이 있지만, 공간 해상도는 낮은 편이라고 해요.


EEG 분석은 크게 두 종류로 나눌 수 있다고 하는데요. 첫 번째는 ERP(event-related potential, 사건관련전위) 분석입니다. ERP 분석은 특정 시점에서의 전위 차이를 확인하는 방식으로, 통제 조건이 매우 중요합니다. 통제 조건의 뇌파로 실험 조건의 뇌파를 뺀 다음, 두 개 실험 조건 간 대조를 하기 때문인데요. 파형이 positive인지 negative인지, 파형의 peak가 어디에(어느 시점에) 나타났는지에 따라 이름을 붙인다고 합니다(e.g. P300, N400). 한편 Time-frequency analysis(시간-주파수 분석)은 특정 시점에 주목하는 게 아니라 일정 시간 동안 주파수의 강도 또는 synchronization이 어떻게 변하는지를 분석하는 방법입니다.

뇌파 중 학습과 연결지어 볼 수 있는 것들에는 어떤 것들이 있을까요? 이 또한 EEG 분석 방법에 따라 나누어 살펴볼 수 있는데요. 먼저 ERP(사건관련전위) 방식으로 수행된 연구 결과들에 따르면, 주의집중과 관련하여 나타나는 뇌파 파형은 P3a, P3b, P300, 언어적 불일치와 관련해서는 P600(문법), N400(의미) 등이 있습니다. 이밖에도 오류나 피드백, 정서와 관련해서도 특정한 파형이 발견된다고 하네요. 시간-주파수 분석 연구에 따르면, 주파수가 30-60Hz인 Gamma wave가 학습·기억과의 관련성이 높다고 합니다.


EEG 연구에서 가장 중요하면서도 고단한 과정이 있다면 무엇일까요? 바로 EEG 전처리 단계라고 하는데요. 신부경 선생님께서는 BrainVision Analyzer를 활용한 전처리 과정과 MATLAB과 EEGLAB을 활용한 전처리 과정을 각각 시연해 주셨습니다. 블로그에 자세한 과정을 모두 글로 옮기기는 어렵지만, 인터페이스가 생각보다 직관적이라 한 단계씩 차근차근 공부하면 따라갈 수 있겠다는 생각이 들었습니다. 이렇게 전처리 시연이 끝난 뒤에는 구체적인 코드 예시와 함께 MATLAB의 Fieldtrip으로 Time-frequency 데이터를 분석하는 방법에 대해서도 설명해주셨습니다.

조영환 교수님께서는 EEG 장비가 연구실 차원에서 구비되어 있다는 점이 연구자로서 큰 기회이자 메리트라는 점을 강조하셨습니다. 다가올 겨울방학에 추가적인 EEG 워크숍이 예정돼 있다고 하니, 뇌기반학습 연구에 매력을 느끼는 분들의 많은 관심 부탁드려요!