【格安でバーチャルYoutuberに】MikuMikuCaptureとKinectを使ってモーションキャプチャーをする方法

MMDモデルとKinect(キネクト)があれば、簡単にモーションキャプチャーができるのが、MikuMikuCapture。ここでは、MikuMikuCaptureを使って、実際にモーションキャプチャーをする手順について解説します。

• Windows10(64bit)
• Kinect Xbox360単体版
• MikuMikuCapture 2.02.6

マイクロソフト公式が提供しているKinectドライバが同梱されているSDKには、いくつかのバージョンがあります。Kinect for Windows SDK にはKinectバージョン2系をサポートしたKinect for Windows SDK v2.0 もありますが、これはKinectV2専用なのでV1では利用できません。バージョン1.8のSDKをインストールして下さい。

このSDKに、Kinectのドライバが含まれています。

• Ver1.8　⇒　 Download Kinect for Windows SDK v1.8 マイクロソフト公式
• Ver1.0　⇒　 Download Kinect for Windows SDK v1.0 マイクロソフト公式(念のため掲載)

インストール完了後、コントロールパネル内にあるプログラムの追加と削除を見ると、Driver や SDK がインストールされているのがわかります。

• MikuMikuCaptureをダウンロードします。最新版は、MikuMikuCapture_v202_6.zipです。

• MikuMikuCaputure を解凍し実行します。起動後に、画面上部のメニューバーから『設定⇒キャプチャ設定』を選びます。

• Kinect 欄に書かれているファイル名が標準では、Data¥DxOpenNI.dll になっていますが、これを MMCResource¥Plugins¥DXMsNUiWin.dll に変えます。

• メニューバーの『キャプチャ ⇒ Kinect接続』を選ぶと、モーションキャプチャーが始まります。

• 正常にモーションキャプチャーが開始されないときは、 Kinectによるモーションキャプチャーの注意点についても読んでみて下さい。

実際に、MikuMikuCapture + Kinect でモーションキャプチャーをしている様子は、こちらの動画がわかりやすいです。

こちらもKinectV1を使ってます。
Kinect は全身でないと動かないのがネックですね。

Kinect のモーションキャプチャーは機材も安価でできるので、バーチャルユーチューバーなどでキャラクターを動かしたい方がよく試していますが、デメリットもあります。『空間スペースを必要とする』という点です。

Kinect はモーションキャプチャーをするとき、全身を映すことが必要になります。この全身を映すためのKinect との距離は、キャラクターを動かす配信者の身長に比例します。

一番安いKinectv1のXBOX360単体版の場合、身長が180cmある方の場合は、4m 以上の距離が必要になります。身長160〜170cmで3m程度、150〜160cmで2〜3m は必要でしょう。そのため、踊りやキャラが動いている全身図を撮るには、何も無い6畳以上の広いスペースが必要です。

また、動いているときはPC操作ができないので、PC操作をしてくれるもう一人の人が必要かもしれません。

Kinectv1 でもWindows版であれば距離認識はもう少し近くても大丈夫なようですが、こちらはKinectV1 XBOX360単体版に比べ、価格が高く、2018年では入手しづらい状況になっています。

3Dキャラクターを使って『どういう表現をしたいのか』を決めて、そのために『身体部分のどこを見せたいのか』を決めると、技術的な選定はやりやすくなります。
動かしたい体の部位によって、

• 全身なら、 Kinect(数千円〜3万円)やパーセプションニューロン(20万円)
• 顔や首なら、カメラ(PC内蔵カメラ・３Dデプスカメラ・iPhoneX)
• 手や指なら、 リープモーション
• 複合的にやるなら、OculusRiftやViveなどのVR機器

などのハードウェアデバイスを使って、モーションキャプチャーをします。

こちらは、Kinect を使った自作アプリ？でのモーションキャプチャーの様子。DXライブラリを使って実装しているそう。Kinect の応用範囲は広いですね。

3Dモデリングのオープンソース・ソフトウェア「Blender」とKinectを組み合わせて、モーションキャプチャーを行う方法もあります。

• 【参考】 asahiufo/AMK2B: Kinect と Blender を使った簡単なモーションキャプチャツール
• 【参考】 Kinect2 モーションキャプチャー　Blender インポート - YouTube

• 【参考】 MMDのモーションデータを作ってみる(vmd作成) – FRONT
• 【参考】 キネクトでモーションキャプチャー - PukiWiki
• 【参考】 みくだん 6DNS 解説 - １章：Kinectモーションキャプチャ

• 【参考】 MATCHシステム MiniCon
• 【参考】 MiniCon2 - 製品一覧 - ゼロシーセブン：センシングプロダクツ営業部

• 【参考】 【2017年度版】MacとProcessingとKinect v1をセットアップして遊ぶ方法 - karaage. [からあげ]
• 【参考】 Getting Started with Kinect and Processing丁寧でわかりやすい動画あり。

• 【参考】 OpenNI 2 Downloads and Documentation | The Structure Sensor・・・各種プラットフォーム向けOpenNI2のダウンロードができます。
• 【参考】 Kinectの取得した3D骨格推定結果にアクセスできるライブラリ「OpenNI」が公開 | DERiVE コンピュータビジョン ブログ
• 【参考】 Kinectのトラッキング原理「部位認識に基づく3D姿勢推定」 | DERiVE コンピュータビジョン ブログ・・・原理が詳しく解説されています。

VMWare Fusion 環境では Kinect XBOX360版は動きません。Kinect を Windows版に変更するか、Windows10環境を VMWare Fusion の仮想化環境ではなく、ブートキャンプのWindowsネイティブ環境が必要になります。

下記のようなエラーが発生するときは、キャプチャ設定が正しく行われていない可能性があります。Kinect 欄で指定するファイル名が間違っていないかよく確認をして下さい。

MikuMikuCapture + Kinect を使うと、簡単に全身モーションキャプチャーができるようになります。MMDキャラをリアルタイムに動かしたりすることもでき、 バーチャルユーチューバーの中には、Kinect + MikuMikuCapture を使ってキャラクターを動かしている配信者もいます。

モーションキャプチャーを検討しているとき、Kinect を使ったものは安価かつ簡単に試せる方法であるのは確かなので、リアルタイムモーションキャプチャーを行いたいときは参考にしてみて下さい。Kinect で十分か、それ以外のモーションキャプチャーの方法が良いかは、配信者がどのような動画制作をしたいかにかかっています。