開発者カンファレンス Google I/O 2021で、Google が3Dディスプレイを使ったバーチャル対面システム Project Starline を公開しました。

Project Starline は大型のライトフィールド立体視ディスプレイとリアルタイム3Dキャプチャを組み合わせ、相手がガラスの向こうに実在するかのように目を合わせて「対面」会話ができるシステム。Google では「魔法の窓のよう」と表現しています。

原理としては、機械学習を使った画像処理でユーザーの姿をリアルタイムに3Dキャプチャ・圧縮・転送します。届いたデータは「3Dメガネ」不要のライトフィールド3Dディスプレイで奥行きや立体感のある等身大の映像として表示し、音声も空間オーディオ技術を使い相手が見えている位置から聴こえるよう再生。3Dキャプチャしたデータをリアルタイムに処理・転送する圧縮技術も組み合わせています。