2020年2月21日に最終発表会が行われる VTechChallenge という研究コンテストへエントリーし、予選通過, ファイナリスト落選 という結果になりました。

取り組んだ内容をまとめておきたいと思ったので記事にします。
テーマと実験結果について2本に分けて投稿しようと考えており、今回は前編です。

後編は以下のリンクから
https://blog.uminek.ooo/20200401

VTechChallenge とは

VTuber がテーマなハッカソンは何度が開かれていましたが、VTuber技術の研究コンテストという形式は初めて見たため、興味を持ちました。
また、VRonWEBMEDIAに掲載されたインタビュー記事を見て、このコンテストにかける思いにとても共感したのがきっかけになりました。

2019年12月31日がエントリー締め切りで、エントリー後は随時レビューが行われフィードバックを頂けるという形式になっており、1月中旬までフィードバックを受けてさらに実験をしたり資料を書き換えていくことが出来るようになっています。参考になりそうな論文や研究者視点の意見を交えたレビューがもらえる環境はなかなかないと思います。
12月31日の時点では資料の枠組みさえ出来ていれば良いということだったので、最初のハードルはとても低くエントリーしやすくなっています。

実際に、私がエントリーしたときはアイデアを資料に起こしただけで、実験はほとんど進んでいない状態でした。

取り組んだテーマ

「LightField背景を用いたVTuberによる外ロケ」というタイトルでエントリーしました。

キャッチコピーとしては、
VTuberの外ロケの手法として、背景をLightFieldカメラで撮影しておき、
簡単に後からモデルを合成してピントや視点を操作できる環境を作る!!
としました。

最終的に実現できたのは、LytroIllum で撮影されたデータセットから複数のピント位置の画像をレンダリングして、それをモデル位置ごとに切り替えるという非常に簡易的なものになってしまいましたが、どんな雰囲気になるのか、難しい点はどこか、といったことが学べた良い経験になりました。

テーマ設定の背景

一言でいえば VTuberの活躍の場を現実世界に広げたい ということです。
非常に単純ですが、それが叶えば今TVで放送されているような ロケ, ドラマ, バラエティ などあらゆるコンテンツへの進出を推し進めることが出来るのではないかと考えているからです。

そこで LightField が得意とする特徴を活かすことで、撮影済みの実写データをもとにして再度 Unity 等のバーチャルカメラでピントや視点を操作した撮影が行えると考えました。
LightField については解説出来るほど理解出来ていないので割愛させていただきますが、使用したデータセットに使われている Lytro Illum というカメラを調べていただくと何となく理解できるかと思います。

具体的には、実写背景撮影とモデル合成, アクションを分けて行えるようになるというのと、グリーンバックより忠実な合成が出来るのがメリットかなと思っています。ただ、今回実験したのは静止画の LightField データであり、動画は扱うのがなかなか容易でない(データ量が膨大になる, そもそも撮れるカメラが一般向けにほとんどない?)など、今後の技術向上で出来るようになることも多くあるように思えます。撤退してしまった Lytro 社の作っていた Lytro Cinema のようなカメラがどんどん出てきて欲しいです。。。

関連研究

バーチャルキャストさんの『Polaris』はリアルタイムで実際のカメラに合わせてモデル側のARのDOFが同期したり、現実のライティングが反映されるシステムです。

カメラ連動DOF の例 (いさな 様 @isana_cg)

Polaris が使われた アメノセイさんのライブ (ライティングの反映とARの精度に驚かされました)

アメノセイ2ndLIVE〜バンドといっしょ！〜

バーチャルYouTuber・アメノセイがARスタジオライブ配信決定！

リアルなバンドとバーチャルな存在・アメノセイが行う

一つ目の資料にあるようなDOFの操作は、LightFieldの得意とする領域であり、これを撮影済みのLightFieldデータを用いて行うというのが今回の目標でした。

後編に続く‥!

後編: 鋭意制作中