大学生1000人超を対象とした実験では、ChatGPTを利用できた学生の提出物が従来型の採点で高い評価を得た。（写真はイメージ）
今回のニュースのポイント
OpenAIは8月27日、ボッコーニ大学の研究者とOpenAI Economic Researchの共同研究による、大学1年生1000人超を対象としたランダム化比較実験（RCT）の結果を紹介した。ChatGPTを利用できた学生は、提出物の評価で利用できなかった学生より5点満点中ほぼ1点高い評価を得た。一方、因果推論などの「批判的思考（クリティカル・シンキング）」の訓練を受けた学生の提出物では、従来型の採点での得点上昇は見られなかったものの、他者とは異なる幅広いアイデアが確認された。双方を提供された学生にはそれぞれの特徴が示された。本研究は特定課題における実験結果であり、単純に「AIで学力が上がる」と一般化できるものではないが、AIによって完成度の高い成果物が作りやすくなった時代における、教育現場の採点・評価のあり方に投じられた事例といえる。
本文
OpenAIは27日、イタリアのボッコーニ大学の研究者らと実施した、大学1年生1000人超を対象とする大規模なランダム化比較実験（RCT）の調査結果を公表しました。
対話型AI「ChatGPT」を活用した学生は、課題の提出物において人間が採点する従来型の評価で高い得点を獲得しました。一方、別途実施された「批判的思考（因果推論）」の訓練を受けた学生の提出物では、より幅広く、他者とは異なるアイデアが確認されました。
AIが手軽に専門家らしい「よくできた答え」を生成できるようになったとき、学校や社会は提出物のどこを採点・評価すべきなのか。実験から見えてきた結果と課題を整理します。
■大学1年生1000人超を4グループに分けた実験設計
実験は、ボッコーニ大学の1年生1000人以上を対象に実施されました。課題は「大学の公式グッズショップの認知度や利用を高めるためのマーケティング施策を考案する」という、実際のビジネスに即した内容です。
学生は受講クラス単位で以下の4つのグループにランダムに割り振られました。
1. ChatGPT（GPT-4o）を利用できるグループ
2. 因果推論（批判的思考）の講義・訓練を受けるグループ
3. ChatGPTの利用と因果推論の訓練の両方を行うグループ
4. どちらも提供されない（対照群）グループ
ここで重要なのは、2の訓練が「プロンプトの打ち方」といったAIの使い方講座ではない点です。ある施策に対して「なぜそれが機能するのか」「どのような条件で失敗するのか」といった、原因と結果を論理的に整理する思考プロセス（因果推論）の講習が行われました。
■ChatGPT利用で5点満点の評価が「ほぼ1点」上昇
実験の結果、提出物を人間の採点者が5点満点で評価したところ、ChatGPTを利用できたグループは、利用できなかったグループに比べて平均でほぼ1点高いスコアを獲得しました。
回答にはより多くの提案が含まれ、文章の論理構成も明確で、専門家があらかじめ作成した標準的な提案モデルとの類似度も高くなりました。OpenAI側はこれについて「AIを活用することで、知識や経験の浅い初心者の成果物を、より専門家らしく見える水準に引き上げた」と説明しています。
ただし、ここで注意が必要なのは、「ほぼ1点高い評価を得た」ことは「学生自身の本質的な学力や能力が1点分高まった」ことを意味しない点です。今回測定されたのは、あくまでその課題で最終的に提出された「成果物（答案）の完成度」です。
また、研究側によると、学生たちはAIに丸投げしたわけではなく、自ら問いを立て、AIの出力を吟味し、最終的な提出物に採用するかどうかを自ら判断していたと説明されています。
■幅広く異なるアイデアをもたらしたのは「因果推論訓練」
一方で、実験結果は別の側面も浮き彫りにしました。
因果推論の訓練を受けた学生の提出物では、自身の提案について「なぜそれが機能するのか」「どういう時に失敗するのか」というメカニズムがより明確に説明され、テキスト分析においては他の学生と比較してより幅広く異なるアイデアが確認されました。
ところが、人間による5点満点の従来型採点においては、この「因果推論の訓練」だけを受けたグループの点数上昇は確認されませんでした。
今回の採点基準は、提案が大学ショップの認知度向上と利用増加という2つのマーケティング目標にどれだけ対応しているかを評価するものだったためです。OpenAIは、こうした従来型の採点基準では明確で構造化された回答を評価できる一方、他者が思いつかなかった発想を見落とす可能性があると指摘しています。
■両方を組み合わせたグループの特徴
双方を提供された「ChatGPT＋因果推論訓練」のグループでは、両者の特徴が併現する結果となりました。
アイデアの多様性や他者との違いにおいては「因果推論訓練のみ」のグループと同程度に広がりを見せ、成果物の採点結果や提案の数においては「ChatGPTのみ」のグループと同程度の高い水準を維持しました。さらに、論理的な一貫性や、前提を疑い根拠を探す傾向も強まったと分析されています。
この実験では、ChatGPTの利用と因果推論の訓練が異なる側面に作用し、両方を組み合わせたグループにもそれぞれの特徴が確認されました。OpenAIは、AI活用と批判的思考の訓練は「補完的な役割」を果たし得ると説明しています。
■OpenAIが指摘する「評価方法」の課題
OpenAIは、この実験結果が学校教育の評価方法にも課題を投げかけると指摘しています。
AIによって洗練された専門家のような成果物を作れるようになれば、最終回答だけを見ても、学生が実際に何を理解しているのか判断しにくくなります。従来型の採点基準では、明確で構造化された回答を正確に評価できる一方で、批判的思考の訓練によって広がったアイデアの独自性や複数の可能性を十分拾いきれない可能性があります。
研究結果を踏まえ、OpenAIは、AI時代においては成果物（答案）そのものだけでなく、そこに至る思考過程や独自性、複数のアプローチを考慮した評価のあり方を検討することが重要であるとしています。
■実験結果の一般化に対する留意点
なお、本調査はボッコーニ大学の1年生という特定の対象かつ、大学ショップのマーケティング課題という限定された環境で実施された実験（RCT）です。また、自社サービス（ChatGPT）を含む研究・発表であるため、この結果をもって「すべての教育現場でChatGPTが学力を向上させる」「AIを導入すれば教育効果が実証された」と単純に解釈することはできません。
AIが「整った答え」を提示してくれる時代において、教育や人材育成の場が「答えの完成度」だけでなく、人間ならではの「問いを立てる力」や「思考の深さ・独自性」をどう定義し評価していくのか。本研究はその過渡期を考える一つの実験結果を示しています。（編集担当：エコノミックニュース編集部／Editorial Desk: Economic News Japan）
