生成式 AI 被譽為能透過提供個人化輔導來徹底改變教育的技術。我們提供了一項大規模的實驗性證據,來自田納西州 18 所中學為期兩年的集群隨機試驗。在試驗中,隨機分配的學生在現有的每日數學補救課程中使用可汗學院及其 AI 助教 Khanmigo,該助教被設定為提供指導而非直接給予答案。
該措施平均每學期可將數學成績提升 1.3 個國家百分位等級,或在一學年中約 0.06 至 0.08 個標準差;若假設學生全年積極參與,則預計效果可達 0.14 個標準差。
這些進步與沒有 AI 協助時僅使用可汗學院練習所獲得的成效相似。
一種解釋是,學生使用該助教的頻率不高,即使使用了,也很少與其進行實質性的數學對話:96% 的學生至少嘗試使用過一次 Khanmigo,但中位數學生僅在他們練習的第三天使用,並且在他們犯錯的練習環節中,僅有 17% 的情況下使用了該助教。
學生發送的訊息大多是簡短的答案或點擊建議的提示。
主要的限制似乎在於參與度:要實現 AI 助教的承諾,需要讓學生實際使用它,而不僅僅是提供存取權限。
