あなたが撮った動画も「新海誠風」画像に! 自動生成の進化がすごい

「動画から漫画」を叶えた驚きの仕組み
2018年11月、動画から自動で漫画を生成する論文「Comixify」が発表された。動画の自動編集と画像のスタイル変換を組み合わせた研究だ。

本記事冒頭の画像を見てもらうと、実写画像から漫画に近い画像に変換できていることがわかる。ここでは論文をもとに、実際に動画を漫画へ変換し、どのような仕組みで変換が行われているのかを簡単に解説する。

この記事は〈Ledge.ai〉より作成しました。元記事はこちら

さっそく挑戦! 動画を漫画へ変換

Comixifyの研究者らが公開したサイトがComixify.aiだ。

Comixifyで提案された手法を用いて、オンライン上で任意の動画を変換できる。難しい作業はなく、手持ちの動画をアップロードするか、YouTubeのURLをコピー&ペーストするだけだ。

実際に次の動画をComixify.aiのサイトで変換してみた。

動画をアップロードした後に、待つこと数秒。次のような画像が表示された。

動画からフレームを選び取り、漫画風のスタイルに変換できている。

重要なフレームを見極める

Comixifyの仕組みは、主に2段階の工程に分けて考えられる。

 

ひとつめは「キーフレーム抽出」という、何百ものフレームから構成されている元動画から、重要なフレームを10枚ほど抽出する工程。

もうひとつは「スタイル変換」と呼ばれる抽出されたフレームを漫画風に変換する工程だ。

キーフレーム抽出の工程では、以下の流れでキーフレームを抽出する。