360°VRライブを試してみた
思い立った理由
先月大騒ぎになったclubhouseで当社役員の学生時代からの友人と話す機会があった。
彼はDJを生業としていて、若いアーティストの活動を支援することもあるとのこと。そこで思わぬ話が出た。
VRを使って、自宅にいながらライブ空間にいるような演出をできないだろうか、とのこと。アーティストのファンの人たちはコロナウイルス感染症の影響でライブに参加することもできず、アーティストは活動を続けていく収入源を失っている。それを技術で補おうと言う話だ。
幸いにして、当社にはVRヘッドセット（OculusQuest2）と360度カメラ（Qoocam8k）がある。これらを活用して、ライブストリーミング配信を試してみようと言うことになった。
テスト段階で失敗
まずは今ある機器で実用に耐えうるのかを検証することと、我々自身が体験してみることを目的として、テストを実施することにした。
カメラの機能を使用してYoutubeでライブ配信し、それをVRヘッドセットで見てみると言う、実に簡単なテストだ。一瞬でできると高をくくっていた。
【テスト環境】
配信サーバー：Youtube Live用の配信サーバー
使用アプリ：QooCam
360度カメラ：QooCam8K
視聴端末：OculusQuest2
ところが、実際にやってみると問題続出。
発生した問題は以下の通り。
【問題点】
・360度カメラと動画配信するためのスマホが接続できない（メーカー純正ケーブルで解決）
・スマホの電池消耗が激しく実用的ではない（追加パーツで解決）
・PCを経由するとトンガリ頭の宇宙人になる（スティッチング失敗）
トンガリ頭の宇宙人（左）とPくんさん（右）
・スティッチングとエンコードを同時に行うライブストリーミングは貧弱なPCだと止まる（スペックの問題？）
PCで試したりスマホで試したり、ケーブルを換えたり、充電とスマホ接続を同時に行えるパーツを購入したり、画質を変えたり、日中の業務が終わったあとの疲れ切った頭で試行錯誤を繰り返した。
成功！なんかデカい！
いろいろ試した末に、なんとかライブストリーミングに成功。画質もまあまあ悪くない。ただし、遅延は結構あるし、VRヘッドセットを通してみる世界の人間や家具、スマホ等がデカい。
それでも自分たちが撮影したものがインターネットを介してVRの世界として表現できることには感動した。
大きさの調整とか、遅延を減らす工夫とか、やらないといけないことは多々あれど、ひとまず成功としよう。
VRライブを視聴する様子をVRライブで視聴する中年男性
これから
ここまでやってみたのはあくまでテスト。これをどうアプリケーションにしていくのかと言うのが本題だ。対象端末をスマホにすれば視聴可能な裾野は広がるが、スマホVRには表現力の限界と入力の問題がある。対して、VR専用端末を使えば表現力の確保と、付属のコントローラーを使用したやり取りが可能になるが、端末がまだ普及していない。研究段階では両方の可能性を考慮して進めていこうと思う。
蛇足
今回は360度カメラを使ったが、テストの中で180度で立体のVRも視聴してみた。後ろは真っ黒になるが、立体感は圧倒的。こちらの方が良いのでは？と言う思いもあるが、所有するカメラの都合上、とりあえず360度で行こうや、と言うことになった。それと、3Dは目が疲れる。
次回は、OculusQuest2向けの360°動画をアプリケーションとして作ってみようと思います。