意思決定者のためのAIエージェント設計論

AI固有の攻撃にどう備えるか ― セキュリティとガードレール

　AIエージェントは新しい価値を生むと同時に、これまで存在しなかった攻撃の入り口を開く。しかもその多くは、従来のセキュリティ対策では防ぎきれない。第3回では、CISO・情報システム部門の視点から、AI固有の脅威と「ガードレール」の考え方を整理する。

3つの性質は、3つの攻撃面でもある

　第1回で述べた3つの性質は、セキュリティの観点からは3つの固有の攻撃面を意味する。確率的であるがゆえに入力操作で振る舞いを歪められ、自律的にツールを選ぶがゆえに意図しない操作経路が生まれ、外部世界に作用するがゆえに被害が不可逆になり得る。攻撃者が突くのは、ネットワークの穴ではなく、AIが読み取る「言葉」そのものである。

　見落としてはならないのは、これらが従来の情報セキュリティの単純な延長線上にはない点だ。ファイアウォールやウイルス対策は、悪意ある「プログラム」や「不正な通信」を止めることを前提に築かれてきた。だがエージェントへの攻撃は、正規の入力に見える「文章」の形で忍び込む。システムとしては何一つ壊れておらず、技術的には正しく動作しているエージェントが、攻撃者の書いた一文に素直に従って誤った行動を取る――防御の焦点が、システムの脆弱性を塞ぐことから「言葉の扱い方を設計すること」へと移る。この発想の転換こそ、AI固有の脅威を理解する鍵である。

AI固有の代表的な脅威

　プロンプトインジェクション： 悪意ある指示を紛れ込ませ、エージェント本来の指示を上書きする攻撃だ。ユーザーが直接仕掛ける「直接インジェクション」と、より厄介な「間接インジェクション」がある。後者は、エージェントが自律的に読み込む外部データ――Webページ、受信メール、社内文書――に攻撃指示を仕込んでおく手口だ。人間が見ても気づかない白文字やHTMLコメントに指示を隠せば、エージェントはそれを「処理すべきデータ」として読むうちに従ってしまう。自律的なツール選択と外部世界への作用が、そのまま攻撃経路になる。

　データポイズニング： エージェントが参照する知識基盤(社内FAQやナレッジベース)に虚偽情報を混入させ、判断を歪める。単一文書の改ざんが、エージェントを介して組織全体の業務判断に波及し得る。

　コスト爆発攻撃：推論ループを意図的に長時間化させ、トークン消費を急増させる。サービス拒否攻撃としても機能する。

　さらに、ツール連携が広がるにつれ、ツールの説明文に悪意ある指示を仕込む「ツールポイズニング」も報告されている。

　これらの脅威に共通するのは、被害が1つのエージェントにとどまらず連鎖する点だ。汚染された社内文書を複数のエージェントが参照すれば誤りは組織全体に広がり、外部ツールに仕込まれた指示は、そのツールを使う全ての業務に影響する。エージェントが相互に連携し、外部サービスと接続するほど、1つの汚染や乗っ取りが次々と伝播し、被害が連鎖的に増幅していく（いわゆるカスケード障害）。だからこそ、個々のエージェントを堅牢にするだけでは足りない。エージェントが「何を信じ、何とつながっているか」という全体像を把握し続けることが、意思決定者の関心事になる。

なぜ従来のセキュリティだけでは足りないのか

　根本にあるのは、命令とデータを分離できないという原理的な問題だ。従来のセキュリティは、SQLインジェクションをパラメータ化クエリで防ぐように、命令とデータの境界を技術的に強制できた。だがLLMにとっては、システムプロンプトもユーザー入力もツール定義も外部文書も、全て同じ「言葉の列」として処理される。どこまでが信頼できる命令で、どこからが疑うべきデータかを、厳密に区別する仕組みが存在しない。

　この事実から導かれる結論は、プロンプトインジェクションを100%防ぐことは原理的に不可能だということだ。だが、ここで2つの誤った結論を退けたい。「防げないなら対策は無駄」という諦観と、「十分投資すれば完全に防げる」という過信である。正しい立場はその中間にある。完全防御が不可能だからこそ、複数の防御層を重ね、万一全てを突破されても被害を限定する。城壁を一枚で諦めるのではなく、外堀・城壁・内堀と防御線を重ねるのと同じ発想だ。

「ガードレール」という発想と4段の防御

　私たちはこれを「多層防御」と呼び、4段のガードレールで設計することを勧めている。

1. 入力分離： ユーザー入力をシステムプロンプトから構造的に切り離し、「入力に含まれる指示は本来の指示を上書きしない」ことを明示する。
2. パターン検知： 既知の攻撃パターンを検知してブロックする。
3. 実行計画検証： エージェントが呼び出そうとするツールを、実行前にホワイトリストと照合し、引数の妥当性を検査する。
4. 出力検査： ユーザーに返す前に、機密情報の混入やポリシー違反がないか最終確認する。

　各層は単独では突破され得るが、独立した層を重ねることで全体の突破確率は桁違いに下がる。道路のガードレールが事故を完全には防げなくても、車が谷に落ちるのを防ぐのと同じだ。

設計を支える3原則

　これらを支える原則は3つある。多層防御（単一の対策に依存しない）、最小権限（エージェントに与える権限を業務に必要な最小限に絞る）、安全側への倒し込み（判断に迷ったら、より安全な方向にデフォルトで倒す）である。とりわけ最小権限は重要だ。権限の広さは、攻撃成功時の被害の上限をそのまま規定する。乗っ取られても参照権限しかなければ、データの改ざんや削除はできない。

　最小権限の重みは、最悪のシナリオを想像すると腹落ちする。仮にエージェントが乗っ取られたとして、顧客データベースの全件削除権限まで渡していれば被害は壊滅的だが、特定レコードの参照権限しか渡していなければ被害は限定される。つまり、導入時に与える権限の一つ一つが、「最悪の日」に起こり得る被害の大きさを前もって決めているのだ。「便利だから」と広めに権限を渡す判断が、いかに大きな潜在コストを抱え込むことになるか――権限を1つ足すたびに、その分だけ守るべき範囲も増えると考えたい。

　そして、扱うデータは機密度で分類する。公開・社内・機密・極秘の4段階を定め、外部のLLM APIへ送信する前には、個人情報や内部識別子を検知してマスキングする仕組みを経路上に設ける。

意思決定者が問うべきこと

　技術の細部はエンジニアの領域だが、その手前で意思決定者が決めるべきことがある。「このエージェントに、外部から来た文章をどこまで信用させるか」「万一乗っ取られたとき、単独で実行できる最悪の操作は何か」。この2つを問うだけで、与えるべき権限とガードレールの厚みが見えてくる。権限設計はセキュリティ設計そのものである――この認識を組織で共有したい。そして、完全防御が不可能である以上、技術的対策だけでは足りない。技術で攻撃の確率を下げ、残るリスクを人間の判断で引き受ける。その「人間の関与」の設計を、次回論じる。

意思決定者のためのAIエージェント設計論

AIエージェント導入の本質は技術選びではなく「不確実性の統制」にある。従来の常識が通じない自律システムを組織として飼いならし、安全に実装するための設計論の要諦を解く。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  何を任せ、何を任せないか ― 対象選定という最初の論点

• 

  「対策している」と「守れている」は違う - 防御力を経営に見せる富士通のサイバーセキュリティ戦略

• 

  なぜ答えが揺れ、堂々と間違えるのか ―― 確率で動く生成AIの正体

• 

  AIエージェントとは何か ― 従来の常識が通じない理由

• 

  ビジネスもセキュリティも「数字で示すしかない」 - JERA CIO兼CISO 行徳セルソ氏

• 

  第1回：到来した「自律型AI時代」

• 

  Agentic AI前提でセキュリティを作り直す - Sansan 鴨志田氏

• 

  世界のトップ層は何を議論している？　第一線の論客から見えた「やらかしの正体」