大丈夫? AIは、ただの「落書き」に呆気なくダマされる

これで自動運転車を「攻撃」も可能
小林 啓倫 プロフィール

誤作動で車線変更?

問題は、AIの思考回路を混乱させるようなデータ、すなわち「ノイズ」が大げさなものである必要はないという点だ。今回の実験では、前述の通り小さなステッカーを数枚貼り付けただけである。このように些細なノイズでも、人間の生死を左右するようなミスを引き出せるのだ。

先ほどのロボットカーの例を思い出そう。AIは一時停止標識を、制限速度45マイルの標識と勘違いした。つまりAIは、「この道は時速約72キロメートルまで出して良いのだな」と判断する可能性があるということになる。本当は一時停止しなければならない地点で、そんな猛スピードで車両が走り抜けたとしたら――いつか大事故が発生することは避けられない。

そして仮に、車内にいる乗客が注意を払っていたとしても、この危険に気付かない可能性が高い。先ほどのステッカーが貼られた道路標識を見て、AIの誤解を狙ったものだと一瞬で理解するのは難しいだろう。ずっと正確に運転していたロボットカーが、理由もわからず突然誤作動する。まさに「攻撃」と言うしかない。

これはあり得ない話ではなく、すでにこの手法が、現実に販売されている製品に対しても有効であることが証明されるようになってきている。

2019年4月、テスラの電気自動車「モデルS」が持つ自動運転機能に、新たな脆弱性が発見されたと研究者たちが明らかにした。

発表を行ったのは、中国の大手IT企業テンセントのセキュリティ研究部門であるキーン・セキュリティ・ラボ。彼らは以前からテスラ車の脆弱性について研究している組織である。もちろん悪意があってそうしたハッキング行為を行っているわけではなく、あくまで目的は研究であり、実際に脆弱性を発表する際にはテスラに対して事前告知を行っている。

 

そして今回発見されたのが、敵対的攻撃を利用した脆弱性だった。キーン・セキュリティ・ラボによると、道路上に小さなステッカーを貼ることで、モデルSを別の車線に移動させることに成功したそうだ。モデルSの自動運転機能では、画像認識による車線の把握が行われているため、このような攻撃が可能だったのである。

またモデルSでは、同じように画像認識を使ってワイパーの制御を行っている。フロントガラスが濡れていることを画像で認識して、ワイパーをオンにするのだ。これに対しても研究者たちは攻撃をしかけ、人間であれば絶対に雨だとは認識しないような画像を使い、ワイパーを動かすことに成功している。こちらは車線変更ほどの危険性はないとはいえ、走行中に急にワイパーが作動し、驚いたドライバーが運転を誤るといったケースも考えられるだろう。

実際にモデルSが誤作動を起こす様子を、キーン・セキュリティ・ラボが映像で公開している。

車線変更の実験が1分を過ぎたころから始まっているが、路上に貼られているステッカーはごく小さなもので、冒頭に紹介した道路標識の実験と同様、こちらも走行中に乗客が気づくことは難しいだろう。既に市場に出回っているAI製品・AI機能に対して、ここまでの敵対的攻撃が行われる恐れがあるのだ。