大丈夫? AIは、ただの「落書き」に呆気なくダマされる

これで自動運転車を「攻撃」も可能
小林 啓倫 プロフィール

悪用される可能性も

当然ながら、敵対的攻撃を防ぐ取り組みも既に行われている。たとえばロボットカーの場合、AIが周囲の状況を把握する方法は画像認識だけではない。

地図データを参照し、たとえばそこに速度制限に関する情報や、道路の種類(高速道路か生活道路かなど)まで含まれていれば、AIはそれにもとづいて「ここで猛スピードを出すのはおかしい」と判断できるだろう。1つの情報だけで判断を下すというのは、現実世界で使用されるAI製品の場合、むしろレアなケースになる可能性があるというわけだ。

実際に「コンテクスト情報による運転速度制限警告(CDSLA)」というシステムが研究されており、この仕組みでは道路標識に関する情報だけでなく、車両の位置や地図といったさまざまなデータを集め、判断が行われる。ロボットカーにCDSLAのようなシステムを搭載されることが義務付けられるだろう、と予測する専門家もいる。

 

一方で敵対的攻撃が行われる恐れのある領域は、次第に拡大しつつある。

たとえば2019年3月に、ハーバード大学とMITの研究者たちが発表した論文によれば、皮膚の画像から悪性の腫瘍を見分けるアルゴリズムに攻撃をしかけ、ただのホクロを腫瘍だと診断させることに成功したそうである。

なぜこれが「攻撃」になるのか? 実はこうした手法が確立されることで、保険金を騙し取る行為が横行するのではないかと懸念されている。つまり実際よりも悪い症状であると見せかけることで、本当にかかった医療費よりも高い額の保険金を引き出すわけだ。既にそのようなごまかしは、医療現場でさまざまな形で(書類を改ざんするなど)見られるとして、AIが診断を任されるようになっても続くだろうと関係者は指摘している。

AIに画像認識させ、それにもとづいてさまざまな判断を行うというアイデアは、監視カメラ映像からの犯罪者や犯罪行為の認識、農作物の生育状況の把握、自動車事故や自然災害によってダメージを受けた対象物からの保険金の算出など、他にも数多くの例が実用化されようとしている。ここにも敵対的攻撃が行われる恐れは十分にある。

そして攻撃を行う動機の面でも、楽観視はできない。たとえば自分のクルマで事故を起こしたときに、保険会社から「スマホで撮影した画像から保険金を瞬時に判断し、お支払いします」と言われたら、先ほどの医療現場のケースと同じように、多くの人々がごまかしをしようとするだろう。

AIによってすべてを管理され、人間は奴隷のような状態になる――そんな未来はもちろん勘弁だが、当面はむしろ、人間の方がAIを騙して利用するという恐れの方が強いかもしれない。ターミネーター側が攻撃を受けることのないよう、しばらくは警戒が必要なようだ。