AI の最前線を守るために

AI は科学的および革新的な機会をもたらす一方で、悪意のある攻撃者にとっては新たな攻撃のツールにもなりえます。サイバー犯罪者や詐欺師、国家支援型の攻撃者は、すでに AI を利用して世界中の人々に危害を加え、システムを侵害する方法を模索しています。よりスピーディな攻撃から巧妙なソーシャル エンジニアリングに至るまで、AI はサイバー犯罪者にも強力な新しいツールとなっています。

私たちは、これらの脅威に対抗するだけでなく、AI がサイバー防御にとって画期的なツールとなり、防御側に決定的な優位性をもたらすと信じています。本日、AI を活用して社会を守るという目的に、コードのセキュリティを自動的に向上させる新しい AI 搭載エージェント CodeMender、新しい AI 脆弱性報奨金プログラム、セキュリティ アプローチを AI 時代に合わせて進化させたセキュア AI フレームワーク 2.0 とそのリスクマップを発表しました。私たちは、セキュア バイ デザインの AI エージェントの実現に注力し、CoSAI 原則の取り組みの推進と、攻撃者よりも先に AI を活用して脆弱性の発見と修正を徹底していきます。

自律的な防御: CodeMender

Google では、セキュア バイ デザインの考えに基づき、システムを設計段階から安全であるように構築しています。Big Sleep や OSS-Fuzz のような AI を活用した取り組みは、AI が十分にテストされ、広く使用されているソフトウェアの中に潜む新たなゼロデイ脆弱性を発見できることを実証してきました。しかし、AI による脆弱性発見が進歩し続けている現代において、人間の能力やリソースだけでは対応が困難になっています。この課題を打開するために、私たちは CodeMender を開発しました。CodeMender は、Gemini モデルの高度な推論能力を活用し、重大なコード脆弱性を自動で修正する AI 搭載エージェントです。これにより、オープンソース全体でパッチ適用までの時間を劇的に短縮し、セキュリティ対策を拡張できるようになります。CodeMender は、能動的な AI 防御の実現に向けた大きな一歩であり、以下の革新的な特徴を備えています。

• 根本原因の特定： Gemini を利用し、ファジングや定理証明器を含む高度な手法を駆使することで、脆弱性の表面的な現象だけでなく、その根本的な原因を正確に特定します。
• 自己検証型のパッチ適用：効果的なコードパッチを自律的に生成し、適用します。その後、専門の「批評」エージェントが自動化されたピアレビューとして機能し、パッチの正確性、セキュリティへの影響、コード標準への準拠を厳密に検証した上で、最終的な最終的な人による承認に進みます。

研究への取り組み強化: AI 脆弱性報奨金プログラム (AI VRP)

世界中のセキュリティ コミュニティは重要なパートナーです。私たちはこれまでも報奨金プログラム （VRP） を通じて、 AI 関連の問題に対して 43 万米ドル以上を提供しています。このような活動をさらに深めるため、AI に特化した VRP を立ち上げます。AI VRP は、対象となる AI 関連の問題を単一の包括的なルールと報奨金テーブルで明確化します。これにより報告プロセスが簡素化され、影響度の高い脆弱性を発見・報告する研究者のインセンティブが最大化されます。AI VRP の詳細は以下の通りです。

• 報奨金テーブルの統合：これまで Google の不正使用 VRP の対象となっていた AI 関連の問題を、新しい AI VRP に一本化しました。これにより、プログラムの対象範囲をより明確にしました。
• 報告ルートの明確化： コンテンツ ベースの安全性に関する懸念（例：モデルによる有害な出力など）については、製品内フィードバック メカニズムを通じた報告を明確に推奨します。これは、私たちの AI 安全性 チームがモデルの動作を診断し、長期的かつモデル全体にわたる安全性に関するトレーニングを実施する上で不可欠な、ユーザー コンテキストやモデル バージョンなど詳細なメタデータを取得するためです。

AI エージェントの安全性を確保

自律的に動作する AI エージェントが急速に進む中、そのリスクに対処するため、私たちはセキュア AI フレームワークを SAIF 2.0 へと拡張します。SAIF 2.0 は、エージェント特有のセキュリティ リスクと、そのリスクを軽減するための制御に関する新しいガイダンスを組み込みました。この拡張されたフレームワークは、以下の 3 つの新しい要素によって強化しています。

• エージェント リスクマップは AI リスクの全体像の中でエージェントがもたらす脅威をマッピングし、担当者がリスクを体系的に把握するのに役立ちます。
• Google がエージェント全体に展開しているセキュリティ機能はエージェントが セキュア バイ デザインに則っていることを保証し、「エージェントは明確に定義された人間の制御者を持つこと」「その権限は慎重に制限されること」「その行動と計画は追跡可能であること」という、私たちの 3 つの中核原則を適用します。
• Coalition for Secure AI Risk Map イニシアチブに SAIF のリスク マップデータの提供することで、業界全体の AI セキュリティ向上に貢献します。

今後の展望: 官民連携による、より能動的な AI ツールの活用

私たちの AI セキュリティの取り組みは、新しい AI 関連の脅威を軽減するだけでなく、AI を活用して世界をより安全にすることを目指しています。政府や民間企業のリーダーたちが、サイバー犯罪者、詐欺師、そして国家の支援を受けた攻撃者による増大する脅威に対抗するために AI に期待を寄せる中、私たちはその先頭に立つべく尽力しています。そのため、私たちは安全な AI エージェントを構築するための手法を共有し、DARPAのような機関と提携し、さらには Coalition for Secure AI (CoSAI) のような業界アライアンスにおいて主導的な役割を果たしてきました。

AI の活用により、サイバー セキュリティのバランスを防御側に有利に根本から変えるというコミットメントは、私たちの長期にわたる揺るぎない取り組みです。そのために、CodeMender による自律防御、AI VRP を通じたグローバルな研究コミュニティとの戦略的な提携、さらにAIエージェントの安全性を確保するために「SAIF 2.0」で業界フレームワークを拡充しています。これらの取り組みにより、AI の力がセキュリティと安全性にとって決定的な優位性であり続けることを確固たるものにしてまいります。