AI判定を意図的にだます偽装攻撃を検知する系列データ向け耐性強化技術を開発

サイバー攻撃検知AIにおいて世界で初めて効果を実証

 

 株式会社富士通研究所(注1)(以下、富士通研究所)は、複数の要素から成る系列データに対するAI活用において、偽造攻撃データを用いてAIモデルをだまし、意図的に判定を誤らせる攻撃への耐性を強化する技術を開発しました。

 近年、様々な領域におけるAI活用が進む中、AIの誤判定を意図的に引き起こす攻撃のリスクが懸念されています。従来の攻撃対策技術は、画像・音声などのメディアデータ向けに適した技術が多く、通信ログやサービス利用履歴などの系列データへの適用には、模擬偽装攻撃データを用意する難しさや精度低下といった課題があり不十分でした。

 これらの課題を解決するため、このたび系列データに適用可能なAIモデルの耐性強化技術を開発しました。本技術は、偽装攻撃を模擬したデータを大量に自動生成し、元の学習データセットと結合させることで判定精度を維持したまま偽装攻撃への耐性を向上させることが可能です。

 本技術を当社が開発したサイバー攻撃への対処要否を判断するAIモデル(注2)へ適用した結果、独自の偽装攻撃テストデータにおいて約88%誤判定を防げることを確認しました。

 本技術が対象としている系列データ分析AIは様々な分野で利用されており、本技術を活用することでメディアデータ向けに留まらない広範なAI活用システムの安全性向上に貢献します。

 本技術の詳細は、10月26日(月曜日)から10月29日(木曜日)まで開催される「コンピュータセキュリティシンポジウム2020(CSS 2020)」にて発表します。

■開発の背景

 近年、医療機関、社会インフラ、農業など様々な領域において膨大かつ多様なデータの解析でAIの活用が進んでいますが、一方で、道路標識に小さなシールを貼り、別の標識と誤認識させるなど、少しだけ変化させた攻撃データを使ってAIモデルを意図的にだましてAIの正しい判断を妨げようとするようなAIに特有なセキュリティ脅威の存在もAI活用の不安材料となっています。それを回避するため、学習データにあらかじめ作成した模擬偽装攻撃データを加えることで、万が一、攻撃された場合でもAIモデルがだまされないように学習させる敵対的訓練技術があります。

 しかし、これまでの敵対的訓練技術の研究では、主に画像や音声などメディアデータ向けの対応が多くを占めており、通信ログやサービス利用履歴など、複数の要素から成る系列を単位として扱う系列データへの対応は不十分でした。サイバー攻撃の検知やクレジットカードの不正利用検知などをはじめとして、系列データに対するAIの応用分野は広く、系列データにも適用可能な偽装攻撃への耐性強化技術の開発が求められています。

 ※以下は添付リリースを参照

 

 

リリース本文中の「関連資料」は、こちらのURLからご覧ください。

添付リリース

https://release.nikkei.co.jp/attach_file/0542486_01.pdf