ウェブカメラだけで表情＆動作をトラッキング可能な誰でもVTuberになれるアプリ「Kalidoface Lab」を使ってみた

VTuberになるには、3Dモデルに加えて顔の動きや表情を読み取るためのトラッキングデバイス＆ソフトウェアが必要です。しかし、「3Dモデル」「トラッキングデバイス＆ソフトウェア」の準備にはコストがかかるのが難点。GoogleのAI研究者であるRich 氏が開発した無料ウェブアプリ「Kalidoface Lab」なら、ウェブカメラだけで表情＆体の動きをトラッキングして簡単にVTuberになれるとのことなので、実際に使ってみました。

Kalidoface Lab
https://lab.kalidoface.com/

上記のリンクからKalidoface Labにアクセスすると、画面内に3Dアバターが表示されます。ウェブカメラを用いたトラッキングを実行するには、画面右側のカメラボタンをクリック。

カメラの使用許可を求められたら「許可する」をクリックします。

これで、ウェブカメラに向かって表情を変えたり顔を動かしたりするだけで3Dアバターに動きを反映できるようになりました。

実際に3Dアバターを動かしまくる様子が以下。顔を左右に動かしたり首を回したりする動きに加えて「口の開閉」「目の開閉」「視線」も再現できています。

ウェブカメラだけでVTuberになれる「Kalidoface Lab」を使ってみた - YouTube


Kalidoface Labでは3Dアバターのポーズを変更することも可能。ポーズを切り替えるには画面左上の「Preference」をクリックしてから「Avatar」を選択し、「Resting Pose」をクリックします。

するとポーズの選択欄が表示されるのでクリック。

選択候補には「座る」「スマートフォンを操作する」など多様なポーズが用意されています。試しに「Sitting(座る)」を選択して「Done」をクリック。

3Dアバターのポーズが指示通りに変化しました。

Kalidoface LabではVRMファイルを読み込ませて好みの3Dアバターをコントールすることもできます。VRMファイルを読み込むには画面左上の「Upload」をクリック。

ファイル選択画面が表示されたら動かしたいVRMファイルを選択します。今回はGIGAZINEの擬人化キャラクター「GIGAZINEちゃん(仮)」のVRMファイルを選択しました。

少し待つと、画面内にGIGAZINEちゃん(仮)が表示されました。なぜか前後が反転していたので、画面内をドラッグしてカメラの向きを調整。

こっちを向いてくれました。

GIGAZINEちゃん(仮)を動かしてみた様子が以下。Kalidoface Labを使えば、ソフトウェアのダウンロード不要で3Dアバターを動かせるので「3Dアバターは用意できたけど動かし方が分からないな」という時に便利です。

GIGAZINEちゃん(仮)を無料ウェブアプリ「Kalidoface Lab」を使って動かしみた - YouTube