シーンの大域的かつ局所的な整合性を考慮した画像補完

ディープネットワークによるシーンの大域的かつ局所的な整合性を考慮した画像補完

早稲田大学の飯塚里志氏とシモセラ・エドガー氏、石川 博氏による画像補完の研究論文が、SIGGRAPH 2017に正式に採択されました。

ディープラーニングによって複雑な画像補完を行う手法を提案しています。画像中の不要な物体を消したり、人の顔を変化させたりもできます(^^)
動画では、面白い精度の高い画像補完技術を見ることができます。

提案モデルは、補完ネットワーク、大域識別ネットワーク、局所識別ネットワークから構成されています(下図参照)

実際の画像補完に使用するのは補完ネットワークのみであり、2つの識別ネットワークは補完ネットワークの学習のために使用されます。補完ネットワークはすべての層が畳み込み層で構成、補完対象の損失領域を定義したマスクと画像が入力されると、損失領域が補完された画像が出力されます。損失領域以外の領域は入力画像に置き換えることで最終的な補完画像が得られます。

大域識別ネットワークは補完された画像全体を入力として補完画像が全体的に整合性のある構造になっているかを評価します。局所識別ネットワークは補完領域をパッチとして切り出して入力として補完領域のより詳細な自然さを評価します。

補完ネットワークは識別ネットワークが見分けられないように、識別ネットワークは補完ネットワークの出力画像を見抜くように、それぞれのネットワークを交互に学習していくことで補完ネットワークに自然な画像補完を学習させています。

拡張現実の未来を描くSF: Strange Beasts(奇妙な獣たち)

Strange Beasts / Magali Barbé

拡張現実(AR)や複合現実(MR)の未来は、ゲームや疑似体験の世界だけなのでしょうか?

主人公の男性が複合現実世界を構築するツールで、奇妙な獣のような仮想ペットを創り出して遊びます。

また、主人公のライブラリーに存在する一人の少女(Anna)も、奇妙な海洋生物を生み出していつも遊んでいます。

ところで、この幼い少女(Anna)の存在は・・・?

私たちの夢の中や想像したもの、あるいは大切な記憶や思い出を再現(構築)するツールとして拡張現実(AR)が発展するのかもしれません。

制作したのはロンドンをベースにして活動、アニメーションや Maya,Nuke,After effectなど、CG全般にスキルをもっている Writer/Director/Previs Artistの Magali Barbeさんです。

I have previously worked is places such as: The Third Floor, Passion Pictures, Framestore, The Mill.

Strange Beasts from Magali Barbé on Vimeo.

素晴らしいショートフィルム World Builder