인공지능(AI) 시대에 인간에게 가장 요구되는 능력은 바로 ‘좋은 질문을 하는 기술’이다. 그러나 질문을 잘 하는 특성이, 객관식 시험 문제를 푸는 데에는 오히려 방해가 될 수 있다는 연구 결과가 나왔다.
이스라엘 연구팀은 심리학개론 강의를 신청한 학부생 68명을 한 학기에 걸쳐 관찰했다. 강의 시작 첫 주와 강의가 끝나는 마지막 주에 이들을 대상으로 연구에 필요한 데이터를 수집했다. 우선 각 참여자의 질문 능력을 측정하기 위해 세 개의 과업을 완료하게 했다. 첫째는 연필, 양말, 베개, 시계같이 일상적이고 흔한 사물에 대해 2분간 이색적인 질문을 던지도록 한 것이었다. 다음으로는 ‘심리학과 과학적 실험들’이라는 주제를 정한 상태에서 이 주제에 대해서만 질문을 던지도록 했다. 과학적 상상력을 측정하는 검사도 수행했다. 이 검사에서 참여자들은 과학적 가설을 읽고, 이를 토대로 연구해볼 만한 질문과 가설 그리고 실험 방안을 만들어냈다.
연구팀은 참여자들의 질문 능력을 ▲제한 시간 내에 몇 개의 질문을 만들었는지(유창성) ▲질문이 창의적이고 색다른지 (독창성) ▲정보를 습득한 후, 개념과 개념 간 관계를 제대로 이해하고 기존의 주장을 비판적으로 검토한 다음 새로운 의문을 던졌는지(복잡성) 등 세 가지 기준으로 평가했다. ‘복잡성’ 기준에 의거하면 단순히 개념의 정의를 묻는 질문은 낮은 점수를, 개념에 대한 심층적 분석을 토대로 만들어진 질문은 높은 점수를 받는다.
학기 말에 연구팀은 참여자들의 질문 능력을 이들이 치른 두 가지 유형의 시험 점수와 비교했다. 시험 중 하나는 정해진 답 없이 자유롭게 수행하는 개방형 집단 연구 과제로, 소규모의 과학 실험을 고안한 다음 실제로 시행해보는 것이었다. 하나의 문제에 대해서도 다각적으로 접근하는 자유로운 사고를 필요로 하는 과제였다. 다른 하나는 객관식 시험이었다. 사고를 확장시키는 것이 아니라 정답 후보를 좁혀가며 하나의 답을 빨리 찾아내는 것이 관건이었다.
데이터 분석 결과, 독창적이고 복잡한 질문들을 만들어내는 능력이 학기 말 기준으로 뛰어났던 학생들은 개방형 연구 과제에서 높은 점수를 받는 경향이 있었다. 단순히 질문을 많이 만들어내는 능력인 유창성은 오히려 개방형 연구 과제 점수와 반비례했다. 이는 질문의 양보다 질이 더 중요함을 의미한다.
객관식 시험의 경우, 질문의 독창성과 복잡성이 뛰어났던 학생들이 오히려 점수를 낮게 받는 경향성이 있었다. 연구팀은 다양한 질문을 던지는 창의적인 태도가 빠르고 정확하게 정보를 처리해 답을 찾는 과정에는 적합하지 않을 수 있다고 분석했다. 교육 기관이 학생들에게 ‘자유로운 사고방식’을 요구하면서 성적은 객관식 시험으로 매기는 것이 부적절할 수 있다고도 지적했다.
이 연구 결과는 최근 학술지 ‘npj Science of Learning’에 게재됐다.
이스라엘 연구팀은 심리학개론 강의를 신청한 학부생 68명을 한 학기에 걸쳐 관찰했다. 강의 시작 첫 주와 강의가 끝나는 마지막 주에 이들을 대상으로 연구에 필요한 데이터를 수집했다. 우선 각 참여자의 질문 능력을 측정하기 위해 세 개의 과업을 완료하게 했다. 첫째는 연필, 양말, 베개, 시계같이 일상적이고 흔한 사물에 대해 2분간 이색적인 질문을 던지도록 한 것이었다. 다음으로는 ‘심리학과 과학적 실험들’이라는 주제를 정한 상태에서 이 주제에 대해서만 질문을 던지도록 했다. 과학적 상상력을 측정하는 검사도 수행했다. 이 검사에서 참여자들은 과학적 가설을 읽고, 이를 토대로 연구해볼 만한 질문과 가설 그리고 실험 방안을 만들어냈다.
연구팀은 참여자들의 질문 능력을 ▲제한 시간 내에 몇 개의 질문을 만들었는지(유창성) ▲질문이 창의적이고 색다른지 (독창성) ▲정보를 습득한 후, 개념과 개념 간 관계를 제대로 이해하고 기존의 주장을 비판적으로 검토한 다음 새로운 의문을 던졌는지(복잡성) 등 세 가지 기준으로 평가했다. ‘복잡성’ 기준에 의거하면 단순히 개념의 정의를 묻는 질문은 낮은 점수를, 개념에 대한 심층적 분석을 토대로 만들어진 질문은 높은 점수를 받는다.
학기 말에 연구팀은 참여자들의 질문 능력을 이들이 치른 두 가지 유형의 시험 점수와 비교했다. 시험 중 하나는 정해진 답 없이 자유롭게 수행하는 개방형 집단 연구 과제로, 소규모의 과학 실험을 고안한 다음 실제로 시행해보는 것이었다. 하나의 문제에 대해서도 다각적으로 접근하는 자유로운 사고를 필요로 하는 과제였다. 다른 하나는 객관식 시험이었다. 사고를 확장시키는 것이 아니라 정답 후보를 좁혀가며 하나의 답을 빨리 찾아내는 것이 관건이었다.
데이터 분석 결과, 독창적이고 복잡한 질문들을 만들어내는 능력이 학기 말 기준으로 뛰어났던 학생들은 개방형 연구 과제에서 높은 점수를 받는 경향이 있었다. 단순히 질문을 많이 만들어내는 능력인 유창성은 오히려 개방형 연구 과제 점수와 반비례했다. 이는 질문의 양보다 질이 더 중요함을 의미한다.
객관식 시험의 경우, 질문의 독창성과 복잡성이 뛰어났던 학생들이 오히려 점수를 낮게 받는 경향성이 있었다. 연구팀은 다양한 질문을 던지는 창의적인 태도가 빠르고 정확하게 정보를 처리해 답을 찾는 과정에는 적합하지 않을 수 있다고 분석했다. 교육 기관이 학생들에게 ‘자유로운 사고방식’을 요구하면서 성적은 객관식 시험으로 매기는 것이 부적절할 수 있다고도 지적했다.
이 연구 결과는 최근 학술지 ‘npj Science of Learning’에 게재됐다.