写真をマンガ風に変換するアルゴリズムを比較、ベストな手法は？

静止画の連続で構成されるマンガは、全体として1つのストーリーを語るという形態をとっている。絵は高度に様式化されていることが多く、マンガ家の能力は称賛の的だ。

しかしマンガの技能を学んだり、完成させたりするのは困難であり、マンガを生み出すのは時間や費用がかかる作業になっている。希望するマンガのスタイルを模倣した画像を自動で生み出す方法があれば、マンガ家や出版社、読者は大喜びするだろう。

実を明かせば、そのようなアルゴリズムはすでに存在する。2015年にドイツの研究者チームが、ある絵の画風を別の絵に移植する方法を見い出した。それ以来、他の研究者たちがこの手法を着実に向上させており、より速く、正確になってきている。

しかしこれまでの研究では、ピカソやヴァン・ゴッホといった芸術家の画風を他の画像に移植したり、普通の写真を夜から昼の景色に変えたりすることに重きが置かれてきた。これらのアルゴリズムは、様式化の度合いがより高いマンガ家の絵にどれだけうまく働くのだろうか。

現在、ポーランドのワルシャワ工科大学のマチェイ・ペスコとトーマス・トリンスキーの研究のおかげで、1つの答えが得られている。2人はさまざまな画風移植の手法をマンガに適用し、結果を比較した。

まずは背景を解説しておこう。画風を移植する手法は、ドイツのテュービンゲン大学のレオン・ガティズと数人の同僚の研究から始まった。ガティズたちは、多層ニューラルネットワークがどのようにして芸術家の画風を記録・分析するのか調べたのだ。多層ネットワークは、それぞれの層が形や色、線といった異なるレベルで画像を分析する複数の層で構成される。

ガティズらの研究の背景にある重要な洞察は、画風は層 …

ある絵画の画風を、別の画像に移植する「ニューラル・スタイル・トランスファー」の研究はこれまで、ピカソやゴッホといった芸術家の絵を対象にすることが多かった。ワルシャワ工科大学の2人の研究者は、様式化の度合いがより高いマンガを用いて、複数の手法で画風を移植し、どの手法がもっともうまく処理できるかを評価した。