君が犯罪に走る確率は…米警察で導入「犯罪予測アルゴリズム」の功罪

ビッグデータ革命の憂鬱
堀内 進之介 プロフィール

こうしたことが生じているとき、もし融資を行う金融業者が、複数の信用調査結果を参考にしていたらいったい何が起きるだろうか。おそらく金融業者は、リスク回避を優先して、借手にもっとも不利な信用評価を採用し、高い金利を設定することだろう。しかし、このことも、私たちには知る由もない。

このような事態は、技術そのものに対する信頼性とはまったく関係がない。これはすべて、技術を運用する人間の「意図」に基づくものだからだ。つまり、評価対象である私たちに、あれやこれやの運用上の手続きを意図的に隠そうとする、人間の側が引き起こしている問題なのである。

 

システムが「差別」を助長する

問題はこれだけではない。

予測アルゴリズムを運用する人間の側の意図とは無関係に、私たちが不当な扱いを受けることだってある。

犯罪予測や予測的ポリシングに用いられる予測アルゴリズムは、ビッグデータを分析し、その結果を学習して分析結果の精度を上げる。多くは、過去の犯罪データを分析するわけだから、そのデータによってさまざまな影響を受ける。

アメリカでは、社会的地位や経済格差などを反映して、逮捕される割合は、白人よりも有色人種の方が高い傾向にある。逮捕率には人種格差があるわけだ。そのデータを分析し、学習したアルゴリズムが顔認証技術と連動すると、次のようなことが起きる。

ジョージタウン大学のClare Garvieらが調査した結果によると、米国国土安全保障省(DHS)が入国管理に用いている顔認証システムでは、逮捕率の人種格差を反映して、白人よりも黒人を要注意人物として評価する確率が高くなっていたのである。差別的な扱いは、システム開発者や運用者の意図とは無関係にだって起きるのだ。

さらに、マズいことには、要注意人物だと評価された黒人が無実であっても、いったんそのように評価されると、否定的な評価が下されたという事実自体をアルゴリズムが学習してしまいかねない。有色人種を要注意だと評価する確率を強化するという、「負のスパイラル」も起きる可能性がある。

そして、それは、不当な評価を受けた黒人本人にも生じ得る。あるとき、システムによって要注意人物だと評価されてという履歴が、その後の人生に目印のように付いて回ることになるからだ。

このような事例は他にもある。金融機関が用いる信用調査システムでは、不安定な就労形態をリスクと見なし、渡り労働者(migratory worker)や低賃金労働者の信用スコアを低く見積もる傾向がある。

それゆえ、不安定な就労を強いられる人びとの大多数が人種的マイノリティである場合、貸し渋られたり、高い金利が設定されたりするのは、人種的マイノリティばかりになるだろう。要するに、差別的意図のない、「差別的効果」がもたらされるわけである。

以上をまとめると、予測アルゴリズムに関しては、きちんと設計意図通りに作動するのか、という技術自体に対する信頼性の問題よりも、それを運用する人間の側の都合で生じる問題や、既存の差別的な慣行が意図せず技術に反映されるという問題の方が、よほどシビアな状態を引き起こすということだ。

真に懸念されるべきなのは、これらの問題の方だと言った意味が、分かって頂けたのではないだろうか。