米オープンAI、自社AIが暴走し「前例のない」サイバー攻撃を仕掛けたと発表 セキュリティーテスト中に
画像提供, Getty Images
米オープンAIは21日、同社の最も高度な人工知能（AI）モデルの一部がセキュリティーテスト中に制御がきかなくなって暴走し、スタートアップ企業をハッキング攻撃したと明らかにした。
オープンAIはAIチャットボット「チャットGPT」の開発元。同社の発表では、人間の指示に従って自律的に動作するAIシステムのエージェントが、管理された環境でのテスト中に脆弱性（ぜいじゃくせい）を見つけ、テストの制限を突破したという。
このエージェントは、世界最大級のAIモデル共有プラットフォーム企業の一つ、米ハギングフェイスを標的にし、同社の内部システムの一部にアクセスした。
オープンAIは、今回の出来事は「前例がない」とし、ハギングフェイスと共同で調べを進めていると説明した。
ハギングフェイスのクレメント・デラング最高経営責任者（CEO）は、「これらすべてが自律的に起こったとは驚異的だ」とXに投稿。「調査は続いており、この種の事案としては初とみられる今回のケースから得られた教訓を、今後さらに共有していく」と付け加えた。
イギリスの政府報道官は、同国のAIセキュリティー研究所が、今回の事案で確認されたAIシステムの挙動を調査していると説明。オープンAIや他の研究機関と協力し、安全対策の改善に取り組んでいるとした。
また、企業や団体などは英政府が支援するセキュリティー認証制度「サイバー・エッセンシャルズ」に参加するなどして、サイバー防御を強化すべきだと述べた。
安全性が不確実なテスト
英ケンブリッジ大学「テクノロジーと民主主義のミンデルー・センター」のジーナ・ネフ所長は、BBCラジオ4の番組「トゥデイ」で、セキュリティーテストは「サンドボックス」と呼ばれる外界から隔離された仮想スペースで行われるが、それは「モデルが何をできるかを確認する安全な環境のはずだ」と指摘。「今回のケースでは、オープンAIは十分なセキュリティーを備えたサンドボックスを構築していなかったとみられる」と述べた。
AIエージェントは今回、サンドボックスに対して独自のサイバー攻撃を仕掛け、制限を回避できる脆弱性を発見した。
いったんテスト環境の外に出ると、AIはテストで求めていた答えの有力な情報源としてハギングフェイスを特定し、アクセスを試みたという。
ケンブリッジ大のニール・ローレンス教授（機械学習）は、これを「印象的な技能」と評しつつ、「現在の（高性能AIモデルの）既知の能力の範囲内に十分収まる」として注意を促した。
同教授はまた、オープンAIは株式市場への上場を目指しており、強力なAIツール「クロード・ミュトス」で注目を集めている競合の米アンソロピックからの激しいプレッシャーに直面していると指摘。そのうえで、「オープンAIは今、後れを取り戻そうとして、サイバーセキュリティー分野における自社システムの能力を実証しようとしている」と述べた。
「これは、オープンAIが自社の技術を安全に展開する能力がないことを示している」
ハギングフェイスは今月16日、ハッキングについて最初の声明を発表した。その中で、顧客やパートナーのデータが影響を受けたかを調べており、必要に応じて影響を受けた関係者に連絡するとした。
また、今回の事件で明らかになった脆弱性はすでに解消され、影響を受けたシステムを再構築したと説明。「自律型でAI駆動型の攻撃ツールは、もはや理論上のものではない」と述べた。
「オンラインプラットフォームを防御するということは、データとモデルを第一級の攻撃対象として扱い、それに合わせて防御にAIを活用していくことを意味する」
「私たちはそのことへの投資を続け、得られた知見を共有していく」
「厳しい現実を示した瞬間」
今回の出来事は、高度なAIシステムの能力や、技術が高度化する中で既存の安全対策が十分なのかについて、新たな疑問を投げかけた。
サイバーセキュリティー企業ソニックウォールの幹部スペンサー・スターキー氏は、今回の出来事によって、各組織には自らの防御体制を「強化」し「サイバーレジリエンスを中核的な業務上の優先事項として扱う」必要があることが明らかになったとBBCに話した。
「残念ながら、多くの組織は依然として人間のスピードで防御しているが、敵は機械のスピードで攻撃を仕掛けてきている」
一方、サイバーセキュリティー・コンサルティング企業ガイドポイント・セキュリティーで主席セキュリティーエンジニアを務めるトラヴィス・レル氏は、今回の出来事を「サイバーセキュリティーにおける厳しい現実を示した瞬間」だったとした。
「これは、すでに知られている非対称性を浮き彫りにしている」
「攻撃エージェントは制約を受けず、一方で防御の最良の手段は、文脈を理解できない制約の背後に閉じ込められている」
サイバーセキュリティー企業ESETのグローバルサイバーセキュリティーアドバイザーのジェイク・ムーア氏は、今回のオープンAIによる発表には競争上の側面もありうると述べた。
同氏は、ライバルのアンソロピックがAIモデル「クロード・ミュトス」で注目を集めるなか、オープンAIが自社のAI能力をアピールしようとしている可能性もあるとの見方を提示。
「アンソロピックをめぐって最近みられたマーケティング上の夢を、オープンAIが追い求めている可能性があるのではないかとの疑問を投げかけるものだ」と述べた。
今回の発表の1週間前には、中国のAIスタートアップ企業の月之暗面（ムーンショットAI）が、大規模な新しい人工知能モデル「Kimi K3」を発表した。同社はこのモデルについて、米トップ企業のモデルに匹敵する可能性があるとしている。
一方、米ホワイトハウス科学技術政策局（OSTP）のマイケル・クラツィオス局長は22日、ムーンショットAIがこの開発に際し、アンソロピックの「クロード・ミュトス」の一般向けバージョン「クロード・フェイブル」を不正に利用したと主張した。また、K3の学習のために、アクセスが制限されている米エヌビディアの最先端サーバーに侵入していたとも述べた。
