VTechChallenge2019に「LightField背景を用いたVTuberによる外ロケ」という研究でエントリーしました (2/2)

2020年2月21日に最終発表会が行われた VTechChallenge という研究コンテストへエントリーし、予選通過, ファイナリスト落選という結果になりました。

取り組んだ内容をまとめておきたいと思ったので記事にします。
テーマと実験結果について2本に分けて投稿しようと考えており、今回は後編です。

前編は以下のリンクから (取り組んだテーマ, テーマ設定の背景, 関連研究)
https://blog.uminek.ooo/202020218

実験

今回実験したのは Lytro Illum で撮影されたデータセットから、複数のピント位置の画像をレンダリングして、それをモデル位置ごとに切り替えるという簡易的なものです。
実験の目的は、LightField画像を背景にしたVTuberが実現可能なのか、どんなルックになるのかを調べることです。

カメラを準備することが困難だったため、公開されているデータセットを使いました。
現在事業を終了してしまっているLytro社の Lytro Illum で撮影されたデータです。Lytro Illum は研究室によっては置いてあると思います。

使用したデータセット

INRIA Light field dataset Lytro Illum Camera
X. jiang, M. Le Pendu, R. Farrugia, C. Guillemot, Light Field Compression with Homography-based Low Rank Approximation, special issue on Light Field Image Processing of the IEEE J. on Selected Topics in Signal Processing, IEEE J-STSP, vol. 11, No. 7, pp. 1132-1145, Oct. 2017.
license: Creative Commons Attribution-NonCommercial-ShareAlike 3.0
ライセンス文: http://clim.inria.fr/DataSoftware.htmlhttp://clim.inria.fr/DataSoftware.html

以下のような画像を使用しました。

Lytro のデスクトップアプリ(現在公開終了済み)を用いて、ピント位置を手前から奥にかけて動かしながら8枚の静止画を作成した。

静止画群をUnityに読み込み背景として置いた後、3Dモデルを動かしながらその座標に合わせて切り替えました。
カメラのFOVは合わせたのですが、撮影時のカメラの高さや実際の地形が分からないため、完全に目で合わせました。
ここは大きな課題感が残りました。

動かしてみたのが以下の動画サンプルです。

一枚の静止画を貼っているよりは背景に溶け込んでいるように見える。
元データセットのうち、都合よく手前から奥までピントが調整できる画像がこのサンプル以外ほぼ無く、LightFieldなら自由自在というわけではないことが分かった。撮影の段階から綿密な計測やセッティングをする必要がありそうだ。
撮影時のカメラの高さなどが分からなかったのでスケール感を合わせることが困難だった。
3Dモデル以外にピントを合わせることも出来ると思っていたが、実際は背景のピントを調整して、3Dモデルをぼかしたものを重ねても簡単には溶け込まない。

また次回のVTechChallengeも挑戦出来たらと思う。