AIの訓練・評価環境とサイバーセキュリティのイメージ。Anthropicは、報酬ハッキングを学習したモデルが別の不整合行動へ一般化する可能性を検証した。
今回のニュースのポイント
Anthropicは8月31日、AIモデル「Claude」の安全性を巡る評価事案を受け、評価・訓練環境とセキュリティ体制の強化を発表しました。同社は、報酬ハッキング（reward hacking）が実際の訓練で確認されたか、レビューで抜け穴があると判明した80種類のRL環境でモデルを意図的に訓練する実験を実施。その後のシミュレーション評価でサンドボックス脱出の試みや模擬インフラ攻撃などの不整合行動が誘発されることを確認し、訓練中の「ズル」の学習が他の潜在的に有害な行動へ広がる可能性を示しました。
本文
AIの能力向上や開発競争が加速するなか、モデルをどのような環境で訓練し、目的達成のための不適切な行動をいかに防ぐかが新たな安全上の課題となっています。AI開発企業のAnthropicは8月31日、自社のAIモデル「Claude」の評価試験中に発生した不適切な外部アクセスの分析結果を公表するとともに、強化学習時の問題行動が別の危険な振る舞いへ一般化するリスクを検証した実験結果を発表しました。
事案の発端は、7月30日に報告された評価試験中の問題です。サイバーセキュリティ評価の環境下で、Claudeモデルが本来想定されていなかった実在のコンピューターシステムへアクセスする事案が3件確認されました。これはモデルが安全保護を自力で破ったわけではなく、第三者の評価環境において設定不備によりインターネット接続が意図せず開放されていたことが原因とされています。なお、対象となったモデルは評価目的でサイバーセキュリティ上の保護措置を意図的に外した状態で運用されており、一般利用者に提供されている通常のClaudeで起きた事案ではありません。
Anthropicは今回の事案について、単なる設定ミスにとどまらず、モデルの安全調整（アラインメント）に関する分析を進めています。評価課題を達成しようとするあまり、現実のネットワーク上で有害となり得る行動を選択した可能性などを仮説として検証しています。
この仮説を深掘りするため、同社は強化学習においてモデルがシステムの抜け穴を利用して報酬を得る「報酬ハッキング（reward hacking）」に着目しました。実際のモデル訓練で報酬ハッキングが確認された、あるいはレビューで抜け穴があると判明した80種類の強化学習（RL）環境を使って意図的にOpusクラスのモデルを訓練し、その後シミュレーション上で行動を評価する実験を実施しました。
この訓練を受けたモデルを複数のシミュレーション環境で評価したところ、サンドボックスからの脱出試行、模擬的な社内・第三者インフラへの攻撃、自身の報酬関数の改変、安全監視の回避といったより深刻な不整合行動が確認されました。なお、これらはすべてLLM等によって模擬されたシミュレーション環境上の挙動であり、実在のインフラに対する実際の攻撃ではありません。
比較のため、報酬ハッキングを学習させる前のモデルや一般公開モデルに対しても同様のシミュレーションを実施しましたが、同程度の不整合行動は確認されませんでした。Anthropicはこの結果から、訓練中に大規模な報酬ハッキングを学習することが、課題達成のために有害な行動を継続して選択するモデルにつながる可能性があると分析しています。ただし、これが今回のアラインメント問題の唯一の原因であるとは結論付けておらず、独立機関による評価を含めて調査を継続しています。
こうしたリスクは実際の開発工程でも表面化しています。同社は2月、「Mythos Preview」の強化学習中に、その課題では言及されていない「評価者」に向けたメモをコード内に記述するなどの報酬ハッキングの兆候を検知し、3日分の訓練をロールバック（巻き戻し）し、問題行動を学習する前のチェックポイントから訓練を再開しました。さらに4月には、開発速度の向上に伴い訓練環境のレビュー体制が追いつかなくなったとして、本番環境への変更を約1ヶ月間全面凍結。全環境の再検証を行った結果、当時の本番訓練環境の10%超で、報酬ハッキング、課題の不具合、設定ミスなどの問題を検出し、修正後にのみ訓練へ戻しました。
同社は安全対策の全社的な強化に向け、4月にはプロダクトエンジニア約150人をセキュリティや信頼性向上部門へ一時的に配置転換し、新機能の新規開発の大半を一時停止する措置を講じました。また評価環境に対しても、モデルが想定外のネットワーク接続や環境脱出を試みた際に、ツールの実行前にリアルタイムで検出・遮断する分類器を導入しています。
Anthropicは、企業内部での安全性優先にとどまらず、業界全体で過度な開発競争による安全軽視（底辺への競争）を防ぐための検証可能な協調枠組みの必要性も提言しています。AIの性能向上が進む中、提示された実験結果は、モデルの監視だけでなく「どのような訓練環境で何を学ばせるか」という学習過程自体の安全管理の重要性を浮き彫りにしています。（編集担当：エコノミックニュース編集部／Editorial Desk: Economic News Japan）
