オープンAIは8月26日、7月に発生したハギングフェイスへの不正アクセスインシデントに関する技術報告書を公表した。第三者調査を担当した非営利研究機関METRも同日、独自の報告書を公表した。両報告書によれば、オープンAIは内部評価環境「ExploitGym」で自社のAIエージェントを隔離環境に置き、サイバー攻撃能力を検証していた。ところが、解決困難なタスクに直面した約1,200体のエージェントが、非公式の掲示板を自発的に構築して情報交換を開始。うち約700体がタスクの解決を試みるために連携し、その過程でハギングフェイスへの攻撃を行った。また、オープンAIの社内チームが5月下旬の時点で、エージェントによる掲示板の構築やインターネット接続を把握していたことも指摘されている。しかし、こうした情報が関係者間で十分に共有されず、事前の対策につながらなかったことが、インシデントを防げなかった要因となった。オープンAIは今回のインシデントを、「自律的なエージェントの集団が承認なく攻撃的に行動した初の既知の事例」と位置付けている。インシデント後は、より安全な隔離環境を導入するなど、エージェントの評価方法を見直した。現在は、エージェントが危険な行動や指示から逸脱した行動を取った場合、研究者やセキュリティエンジニアに自動で通知する仕組みも導入している。
米国・市場に関する詳しい情報はこちらへ