選択肢の中に正しい答えがない場合、AIはそれを認識できるのか。主要LLM28種を対象とした研究では、『どれでもない』が正解となる問題で正答率が全体として30～50％低下した（画像はイメージ）
今回のニュースのポイント
Appier Groupは8日、同社のAI研究チームによる大規模言語モデル（LLM）の信頼性向上に関する二つの研究成果を発表しました。規模の異なる主要LLM28種を対象とした検証では、選択肢の中に正解が含まれない「どれでもない（None of the Above）」が正解となる問題において、モデルの正答率が全体として30～50％低下することが判明しました。また別の研究では、モデルが生成する推論過程でどの言語が使われるかによって、数学・知識系と文化理解・安全性テストでの性能が変化することが確認されました。
本文
生成AIは、与えられた質問に対して回答を生成します。しかし、提示された選択肢の中に正しい答えそのものが存在しなかった場合、AIはそれに気づけるのでしょうか。
Appier Groupが8日に公表した研究発表によると、AIが単に知識を保有しているかどうかにとどまらず、正しい答えが選択肢に存在しない状況を認識できるかという能力の検証が行われました。規模の異なる主要なLLM28種を対象に、「どれでもない」が正解となる選択式問題を用いて実験を行ったところ、正しい答えが含まれている問題と比較して、モデルの正答率は全体として30～50％低下することが確認されました。
実験で顕著だったのは、モデルが関連する十分な知識を有している場合であっても、不適切な選択肢や次善の答えを提示されると、情報不足や選択不可を示すのではなく、提示された選択肢の中から無理に回答を選び出そうとする傾向です。AIが「知識を持っていない」ことと、「提示された条件の中に正しい答えがないと自身で認識する」ことは、明確に異なる能力であることが示されています。
この「正解がない」という判断能力をAIに学習させるため、研究チームは教師ありファインチューニング（SFT）や、望ましい回答の選好を学習させる直接選好最適化（DPO）を用いた訓練を実施しました。その結果、DPOを適用することによって、選択式問題においてモデルが「正解なし」を正しく識別する精度が約30ポイント改善しました。
ただし、これは一般的なAIの正答率やハルシネーション（誤情報の出力）全体が30ポイント改善したことを意味するものではありません。「どれでもない」という判定が有効に機能するのは、答えが明確であり選択肢が互いに独立している条件などに限られます。Appierは企業のナレッジ活用への応用について、AIが行動する前に情報が十分かを確認するチェック機構を設け、情報が不足していれば再検索や人による対応へ引き継ぐ仕組みが有効だとしています。
あわせて発表されたもう一つの研究では、大規模推論モデルが生成する内部の推論過程（推論ステップ）において、どの言語が使われているかが調査されました。実験によると、英語以外の言語で質問を入力した場合であっても、モデルの推論ステップでは英語などの学習資源が豊富な高リソース言語が使われる傾向が見られました。一部のモデルでは、内部推論に使われた言語と最終的に出力された回答の言語が一致しない割合が9割を超えていました。
さらに、AIが推論する言語を指定して性能変化を検証した結果、数学や知識系のタスクでは、英語をはじめとする高リソース言語での推論が概して有利であった一方、地域独自の文化理解や安全性テストにおいては、現地言語で推論させた方が優れた結果を示しました。安全性テストでは、現地言語で推論を行うことで、有害な質問や違法な要求をより的確に検知・遮断できる傾向が確認されています。
タスクの性質に応じてAIが使用する推論言語を最適化する手法など、今後のAI設計における新たな方向性が提示されています。単に「何でも答える」AIから、「答えるべき情報がないと判断できる」AIへ。企業においてAIの活用範囲が判断や実務処理へと広がるなかで、こうした信頼性の評価軸が重要性を増していきそうです。（編集担当：エコノミックニュース編集部／Editorial Desk: Economic News Japan）
