投稿日:

AIのサプライチェーンリスク対応にセキュア開発で築く信頼を

AIは信じて大丈夫なのかという疑念に話題は尽きない。SF染みた脅威論から、ディープフェイクのようなAI技術の悪用、差別や偏見を学習してしまったAIによる倫理的問題など広範囲に議論は及ぶ。AIのセキュリティ問題もそのひとつだ。

この先、AI開発者は、AIを狙う攻撃から自らのプロダクトを守ることが求められてくる。AIの製造過程におけるセキュリティ品質が問われることになるのだ。今回は、日本国内で受講可能な実践的プログラムである「セキュアAI開発トレーニング」の受講レポートを交え、AIのサプライチェーン構造に見えるリスクの構図と求められる対策について考える。

AIへの攻撃

AIとセキュリティには４つの観点があると言われている。総務省サイバーセキュリティタスクフォースの会議資料では、①Attack using AI（AIを利用した攻撃）、②Attack by AI（AI自身による自律的な攻撃）、③Attack to AI（AIへの攻撃）、④Measure using AI（AIを利用した対策）として分類されている。

このうち、③AIへの攻撃は喫緊の課題としての扱いだ。主な攻撃手法として、「データポイゾニング」「敵対的サンプル攻撃」「情報漏えい」が挙げられている。それぞれ、学習中の訓練データ汚染による推論異常、学習済モデルに入力するデータに微小な雑音を付加することによる意図的誤分類の誘発、学習済モデルの出力から訓練データが推測されてしまうことによるプライバシー侵害といった問題への対策が求められている。（※敵対的サンプルについては、筆者が寄稿したこちらの記事もご参照いただきたい。）

セキュアAI開発という回答

そうは言ってもこれらの課題はAI特有の新しい攻撃手法であり、従来型のセキュリティ対策製品等をそのまま活用して簡単に解決できる問題ではない。少なくとも現時点では、AI技術と攻撃手法の仕掛けを理解し、AIの開発過程において適切な対策を打つ「セキュアAI開発」を行う他ない。では、セキュアAI開発とは、具体的にはどう行えばいいのだろうか。

ChillStack社と三井物産セキュアディレクション社が共同開発したセキュアAI開発トレーニングを先日受講した。先述した主要な3つの攻撃手法について、理論的背景の説明に加え攻撃・防御それぞれの視点からのハンズオン演習が充実しており、具体的なコードのレベルで理解出来る。また、モデル情報が秘匿されたブラックボックス条件でも成立する攻撃手法や、具体的な標的クラスへの誤分類の誘発、バックドアの設置や開発フレームワークの悪用といったより実践な攻撃手法とその対策についても学習した。セキュアAI開発の重要性と現状の課題を俯瞰的に理解することが出来た。

AIのサプライチェーンリスクへの対応の難しさと重要性

トレーニングを受け終えての感想として、AIにとって目下最大の脅威は、やはり敵対的サンプルであると感じた。AIへの入力データに雑音を乗せることは最も実行が容易であり、推論結果の意図的変更による被害も極めて大きいものとなり得る。一方で、敵対的サンプルの根本原因は頑健性（学習の偏りなどによる汎化性能の問題）に起因する部分が大きく、AI開発者にとって対策の道筋は比較的イメージしやすい。出力の情報を限定することにより攻撃の手がかりを与えないといった補助的な対策も具体的に存在する。

一方で、最も対策が困難という意味では、データポイゾニングや開発フレームワークの悪用が脅威であると感じた。これらは、開発者が利用する外部リソースを対象としたサプライチェーン攻撃であるといえる。AIが学習する源となる訓練データが汚染された場合、AIの推論ロジックがおかしくなるのは極めて自明な話であろう。しかし、シンプルであるがゆえに対策は難しい。更に、ランダムな汚染を行う手段だけではなく、巧妙に計画された少数の汚染データよって、学習済モデルにバックドアを混入させる手段まで存在する。学習フレームワークやライブラリの脆弱性の悪用も同様に、AI開発者が万全な対策をおこなうことは容易ではない。

AIにトラストアンカーが求められる将来

AIのサプライチェーンリスクの課題を考える時、個々の事業者が単独で解決することは出来ないという認識がスタート地点になるだろう。インフラ基盤、学習フレームワーク、訓練データと、AI開発は実に様々な外部リソースに依存して行われる。これらに悪意の混入があった際、どれほど慎重な開発を行ったとしても最終的なプロダクトに脆弱性が残存していることもあるだろう。

「訓練データにセキュリティリスクがないかを開発者が確認することが望ましい」と述べること自体は簡単である。しかし、実際に完全な確認を行うことはほぼ不可能に近いだろう。目指すべきは、客観的に信頼できるトラストアンカー（信頼の基点）に基づいたリソースを開発者が利用可能な環境の形成だろう。これからのAI開発では、AIセキュリティの構造を理解した開発者を育む教育と、安心して使えるリソースが利用可能な環境を揃え、セキュアAI開発を実践していくことが鍵となるのではないだろうか。

本文中のリンク・関連リンク：