AIシステムを脅かす非常に危険なバックドア攻撃に関するサーベイ論文の紹介！

3つの要点
✔️ AIシステムにとって脅威となるバックドア攻撃の網羅的なサーベイ論文の紹介
✔️ バックドア攻撃が仕掛けられると、自動車事故のような深刻なインシデントが発生する
✔️ 様々な攻撃手法が提案されており、これらを防ぐのは非常に難しい

Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review
written by Yansong Gao, Bao Gia Doan, Zhi Zhang, Siqi Ma, Jiliang Zhang, Anmin Fu, Surya Nepal, and Hyoungshick Kim
Comments: 29 pages, 9 figures, 2 tables
Subjects: Cryptography and Security (cs.CR); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) 

はじめに

 AIシステムへの攻撃に関する研究は昨今、大変な盛り上がりを見せています。それは、AIが今後、私たちの身の回りにある製品だけではなく、非常に重要なシステムにも活用されるということが予想されているためです。例えば、顔認証システムがシステムの認証に使用されるようになったとしましょう。もちろん、多要素認証になることにより、セキュアな認証システムとなることが期待されます。しかし、顔認証システムが攻撃を受けて、眼鏡をかけている人をシステム管理者と認証するようになったとします。その場合、そのシステムは悪意のある攻撃者によって自在に操作されてしまい、重大なインシデントが起きてしまいます。この「眼鏡をかけた人をシステム管理者と認証する」という攻撃は、バックドア攻撃と呼ばれ、非常に危険な攻撃とされています。バックドアとは、セキュリティ業界で一般的に使用される用語であり、攻撃者が一度攻撃を仕掛けた後に、もう一度攻撃を仕掛けやすくするためのセキュリティホールのことです。

攻撃者は何らかの手法で、バックドアをAIモデルに仕掛けておきます。その後、トリガー（例えば、眼鏡など）によって、バックドアが動作して、AIモデルは意図しない予測をするようになります。先ほどは、システムへの攻撃を例に挙げましたが、それ以外にも自動運転車の画像認識システムへの攻撃、AlexaやGoogleHomeといったスマートスピーカーに内蔵されている音声認識エンジンへの攻撃などが考えられます。上述したように、バックドア攻撃は非常に危険な攻撃であり、かつ様々な方法で仕掛けることができるため、これからの世の中でバックドア攻撃を考慮しないと重大なインシデントが起きてしまうことは容易に想像がつくかと思います。これから4回にわたって、バックドア攻撃とその防御方法について紹介していきます。まず、第1回の今回は、バックドア攻撃の代表的な例を紹介していきます。

バックドア攻撃の全体像

バックドア攻撃とは、上述したように、AIモデル内部に細工をしておき、その後攻撃者のトリガーが付与されたデータが入力されると、AIモデルが意図しない予測をするという攻撃です。AIモデルへの攻撃として、Adversarial Attackが有名ですが、これは基本的にモデルに細工を行うのではなく、モデルの予測誤差を大きくするように入力を変化させるというものであり、モデル自体には変更を加えません。また、バックドア攻撃は下記の図にあるように、データ収集からデプロイという広範囲のプロセスにわたって攻撃を仕掛けることができますが、Adversarial Attackはデプロイ後のシステムに対してのみ、攻撃を行えるというのもバックドア攻撃との大きな差です。

• 
• 
• 

この記事に関するカテゴリー

• 敵対的摂動
• survey
• backdoor attack