どんなにメイクが上手でも、AIはあなたのすっぴんを知っています

置き換えも「LADN」にお任せあれ
AI SCHOLAR プロフィール

これまでの技術では「メイクのみ」の特徴量を抽出することが困難でした。LADNでは、はじめに多層のニューラルネットワークにより入力画像データの特徴量を抽出します。次に、メイク前とメイク後の特徴量の違いを識別器に識別させて、モデルに「メイク」がどのようなものかを学習させます。

こうした学習を、顔の各パーツ(目、口、鼻など)に対して同時に進めることで、メイク画像の生成が可能になります。

「LADN」のモデル概要図
拡大画像表示

上画像が「LADN」のモデル概要図になります。

図の左に置かれている入力データは似た画像に見えますが、上から、

1.元データ(メイクアップされた顔の画像)

2.参考データ(手動で作成したメイク前後の合成画像)

3.生成データ(メイクしていない顔に1.のメイクを付け足した自動生成画像)

となっています。

GANの原理をもとに、入力画像から生成した画像と、参照画像を識別機にかけ、識別器が間違えるようになるまで生成画像の精度を高めていきます。これらをより多層化し特徴量抽出を複数回繰り返すことで、LADNは多様なメイクでもそのパーツ(目や鼻、口など)に対して取り外しと置き換えを可能にします。

顔の各パーツについてこうした学習をすることにより、あらゆる種類のメイクを非常に高精度で認識し、より自然にメイクが置き換わって生成された画像が出力データとなります。

実際にメイクを見破ってもらいましょう!

論文として発表されたLADNの最新研究成果をご紹介しましょう。この研究では2つの実験に分けて、メイクの置き換えとメイクの取り外しを行いました。

1.メイクの置き換え

上の画像は、LADNを用いてメイクの置き換えを試みた結果です。

まず、1列目がメイクをする前の画像。2列目が、入力データとなるメイクの画像(1列目に写っている女性とは別人です)。そして3列目が、「1列目の女性の画像」に「2列目の女性のメイク」を置き換えた結果の出力データとなります。

出力画像(3列目)は、高い精度で異なる人の顔にメイクを置き換えることができており、かつとても自然な画像になっていることがわかります。