Photo by arvin febry on Unsplash

まさか! かざすだけで監視カメラが「人間」と認識しなくなる画像

AIを一枚の絵で騙す驚きの研究!
情報の時代といわれる現代では、セキュリティは非常に重要です。 では、AIを騙そうとした時、AIは自分で身を守ることができるのでしょうか? 先日発表された、防犯カメラなどに備えられた人物認識AIを騙す新技術が話題になっています。

持つだけで“人間”ではなくなるデジタル迷彩

ディープラーニングなどによる画像認識技術が発展していく一方で、あえてニューラルネットワークに誤分類をさせる技術“Adversarial attacks”も、近年高い注目を集めています。

“Adversarial attacks”とは、ニューラルネットワークモデルに意図的に誤作動を起こさせるための手法です。

精度の高い識別モデルであっても、入力画像を人間の目には映らない程度にわずかに変化させるだけで、モデルに誤分類させることが可能です。

ニューラルネットワークモデルは、テストデータを実際に適用してみることにより評価されます。当然ながら、そこで用いられるテストデータセットの中には、わざと間違った方向へモデルを導く、すなわちモデルを騙そうとするデータは入っていません。

この評価方法は、「モデルが外部から攻撃を受けないという条件であれば、大丈夫である」と仮定しています。

しかし、モデルを意図的に騙そうとするデータがあった場合でも、本当に大丈夫と言えるのでしょうか?

今回、ルーベン・カトリック大学の研究チームが発表した論文によれば、あえてAIの誤認識を導くための画像“パッチ”を、バーチャル上だけでなく、現物として作製(プリントアウト)できたということです。

つまり、このパッチを身につけていれば、監視カメラで撮られても記録に「映らなく」なります。

パッチによる人物識別回避のイメージ図パッチによる人物識別回避のイメージ図
拡大画像表示

40cm四方のプリントアウトをかざせばOK

これまでも、AIを妨害する試みは何度も行われてきました。

初期のAdversarial attacksは、入力画像のピクセル数をわずかに変化させることにより、分類モデルを騙す手法を取っていました。他にも、パッチを生成し、識別機を騙すための学習を行うモデルなどがあります。

これらの研究から、人物認識機能などを持つカメラなどの識別機能をごまかすことが理論上可能であることはわかっていましたが、従来の手法で識別機能を騙すには、道路標識のような指定された種類の物体である必要がありました。

一方、この手法では、防犯カメラなどのAIによる人物識別機能を騙し、“人間を認識できなくなるパッチ”を作成することをゴールとします。

今回の研究が凄いのは、バーチャル上だけではなく、現実世界でも40cm四方にパッチをプリントアウトし、これを持つだけで、隠れ蓑として人間識別機能から逃れることを実現しているところです。

複雑で何億通りもの身体的特徴を持つ“人間”を認識させなくする技術と、それをバーチャル上だけでなく現実において達成したことは、世界でも初めてです。