AIエージェントの事故354件を網羅!オープンDB「Orca AI Incident Archive」が公開

AIエージェントの事故354件を網羅!オープンDB「Orca AI Incident Archive」が公開

AIエージェントが自律的にブラウザや本番システムを操作できる時代が到来し、企業の業務効率化が進む一方で、AIセキュリティの事故や脆弱性が新たな課題として浮上しています。

FlashLabs株式会社は、独占提供するAI推論ゲートウェイ「OrcaRouter」に関連し、実際に起きたAIエージェントのセキュリティ事案を集積したオープンデータベース「Orca AI Incident Archive」の公開を発表しました。データベースには354件もの事案が収録され、AI運用の安全性を高めるための重要なリソースとして注目を集めています。

Orca AI Incident Archiveのプレスリリース画像

「Orca AI Incident Archive」とは?実害事案を透明化したデータベース

「Orca AI Incident Archive」は、米国のAI研究機関Continuum AIが開発し、FlashLabsが日本市場向けに展開するデータベースです。AIエージェントに関連するセキュリティ事案を月単位で整理し、CC BY 4.0ライセンスのもとで無償公開(Web・GitHub)されています。

本データベースの最大の特徴は、単なる「理論上リスク」ではなく、実際に起きた事故や裏付けのある情報に特化している点です。

  • 収録数:354件(2024年12月〜2026年9月までの22ヶ月分)
  • 実害が確認された件数:127件
  • 情報源の総数:593件(すべての記録に少なくとも1件以上の情報源を紐付け)
  • 対応言語:日本語を含む7言語でタイトル・要約を提供

「起きたリスク」と「潜在的な懸念」を厳密に分離する理由

AIの安全性を測る際、性能試験(ベンチマーク)のスコアだけで評価すると「現実で何が起きているか」を見誤るリスクがあります。例えば、ジェイルブレイク(安全制限の回避)に成功した研究論文と、実際に企業のデータが流出した事故を同等に扱うと、数字だけが独り歩きしてしまいます。

Orca AI Incident Archiveでは、各記録に対して必ず以下の3つの問いに答える形で情報が整理されています。

  1. 実際に被害が出たか(real_harm):実害の有無を明確に判定
  2. AIの関与が確認されているか(ai_involvement):ベンダーや法執行機関などの一次情報で裏付けられているか
  3. どの種別の記録か(kind):事故・研究・政策・脆弱性・脅威レポートの5つに分類

また、情報の確度もA〜Dの4段階で分類されており、全体の85%(302件)がベンダーや公式レポートなどの信頼性の高い「グレードA(一次情報源)」で構成されています。

AIエージェントを脅かす12種類の攻撃パターン

データベースでは、記録されている事案がどのような手法や背景で発生したかを12分野に分類しています。主な攻撃タイプと傾向は以下の通りです。

  • ガバナンスと政策(GOV / 65件):規制当局やベンダーによるセキュリティ対応の動き
  • 認証情報の悪用(CRED / 55件):盗まれた認証情報を利用し、他人のAI利用枠を勝手に消費する行為
  • 武器としてのエージェント(WEAPON / 51件):エージェント自体が攻撃者となり、侵入や詐欺を自動化する手口
  • 間接プロンプトインジェクション(IPI / 45件):外部のWebページや文書内に隠された悪意ある指示により、AIを誤動作させる手法
  • エージェント基盤の露出(INFRA / 40件):管理画面やデータ保管庫がネット上に無防備な状態で放置された事案

さらに、サードパーティ製ツールや環境の接続部を狙う「MCPとツールチェーン」、意図しない破壊的伝播を引き起こす「エージェントの暴走」など、自律型AI特有のセキュリティ脅威が多岐にわたり発生していることが分かります。

急増するインシデントへの対策と今後の展望

データベースの集計によると、インシデント数は2025年通年で121件だったのに対し、2026年はわずか9ヶ月間で232件へと急増しています。AIエージェントの利用範囲が拡大するにつれ、セキュリティリスクの表面化が加速している状況です。

こうした状況に対し、FlashLabsが提供するAI推論ゲートウェイ「OrcaRouter」では、個人情報の自動検出、コンテンツポリシーの適用、外部ツール利用時の制御機能(ガードレール)などを提供し、実際の事故パターンを踏まえた安全なシステム構築を支援しています。

まとめ

AIエージェントの本格的な導入を進める企業にとって、実際の脅威事例を正しく把握することは不可欠です。「Orca AI Incident Archive」を活用して過去の事故や脆弱性の傾向を理解し、適切なアクセス制限や防御策(ガードレール)を組み込んだ安全な運用体制を整えていきましょう。

参考記事

https://prtimes.jp/main/html/rd/p/000000096.000138449.html

この記事を書いた人Wrote this article

sorein

sorein 教育×ITフリーランス / 女性

小〜高校教員として勤務し、製造業の社内SEを経験して教育×ITフリーランスになったsoreinです!教員免許や基本情報技術者、応用情報技術者、DBスペシャリストの資格を取得しています!ITニュースや技術書を読むのは趣味みたいになっています。