Unity+OculusRiftでMMDキャラクター(初音ミク)の頭・上半身・手・全身を動かす方法

MMDモデルをOculus Rift で動かす方法の記録です。

• Windows10 Home 64bit (ASUS GX501)
• Unity 2017
• OculusRift(CV1) + OculusTouch
• Oculus Utilities for Unity 1.23
• 使いたいMMDモデル
• MMD4Mecanim
• VrGrabber

• UnityでMMDモデルを使えるようにする
• Oculus Utilities for Unity のダウンロードとインストール
• FinalIKのダウンロードとインストール
• OVRPlayerControllerを追加する
• OVRCameraRig 配下に HeadTarget・LeftHandTarget・RightHandTarget を追加する
• MMDモデルにVRIKを追加する
• MMDモデルのVRIKとOculusRiftの頭・左手・右手を連携させる

• MMD4Mecanim を使って、MMDモデルをUnityで使えるようにする。

Unity で Oculus を使うために、Oculus公式サイトから『Oculus Utilities for Unity』をダウンロードし、インストールします。

• 【参考】 Oculus Utilities for Unity | Developer Center | Oculus

2018年3月時点では、Ver1.23.0(ovr_unity_utilities_1.23.0.zip)でした。これを解凍し、インストールしていきます。

解凍すると中には、OculusUtilities.unitypackage というファイルが入っているので、これをUnity のプロジェクトにインポートします。プロジェクトにインポートするには、Unityプロジェクトを開いているときに、上記のパッケージファイルをダブルクリックすると、インポート画面が表示されます。

インポートが完了すると、Project の Assets 配下に、
OVR フォルダと Plugins¥OVRGamepad.bundle が追加されます。

ここまで完了すれば、Oculus Utilities for Unity のインストールは完了です。

これだけでもプロジェクトを起動し Oculus を動かせば、Oculus のヘッドセット内にシーンが表示され、ヘッドセットを動かすと視点も変更できるようになります。

Unity パッケージの FinalIK をダウンロードしインストールします。FinalIK は2018年3月現在、90$ その他諸々を含めると、97$ 程で買えます。

Assets 内の OVR ⇒ Prefabs 内にある、OVRPlayerController を ヒエラルキー にドラッグアンドドロップします。

• ヒエラルキーの OVRCameraRig ⇒ TrackingSpace ⇒ CenterEyeAnchor を選び右クリックして、Create Empty を選び、新規のゲームオブジェクトを作成します。生成されたゲームオブジェクトを右クリックし、Rename を選び、HeadTarget と入力します。これが、OculusRiftのヘッドセットから頭の位置情報を取得するオブジェクトになります。
• 同様に、左手と右手の位置情報を取得するオブジェクトを作っていきます。左手は、ヒエラルキーの OVRCameraRig ⇒ TrackingSpace ⇒ LeftHandAnchor を選び右クリックして、Create Empty を選び、新規のゲームオブジェクトを作成します。生成されたゲームオブジェクトを右クリックし、Rename を選び、LeftHandTarget と入力します。
• 右手は、OVRCameraRig ⇒ TrackingSpace ⇒ RightHandAnchor を選び右クリックして、Create Empty を選び、新規のゲームオブジェクトを作成します。生成されたゲームオブジェクトを右クリックし、Rename を選び、RightHandTarget と入力します。

OculusRift で動かしたいMMDモデルに FinalIK パッケージ内(Assets ⇒ Plugins ⇒ RootMotion ⇒ FinalIK ⇒ IK Components にある VRIK.cs をアタッチします。アタッチするための手順は、ヒエラルキーにあるMMDモデルのInspector を開き、Add Component ボタンをクリックし、VRIK と入力すれば表示されます。

• MMDモデルにアタッチした VRIK コンポーネント内にある Solver の▼を開きます。
• OculusRiftの頭とMMDモデルの頭を連携させるために、Solver 内の Spine ⇒ Head Target に先程 CenterEyeAnchor 配下に作成した HeadTarget を指定します。
• 左手は、Solver 内の Left Arm ⇒ Target に先程 LeftHandAnchor 配下に作成した LeftHandTarget を指定します。
• 右手は、Solver 内の Left Arm ⇒ Target に先程 RightHandAnchor 配下に作成した RightHandTarget を指定します。

ここまで設定ができたら一度OculusRiftとMMDモデル連携のテスト、動作確認をしてみましょう。
上記の設定を行った後シーンの再生を開始すると、OculusRiftの動きとOculusTouch の動きでMMDモデルキャラクターが連動して動くようになります。OculusRift のヘッドセットは被らなくても、手に持って動かすだけで画面が動くことが確認できますが、OculusTouch は ヘッドセットを被っていないと入力が有効になりません。

手が動かないときは、設定を見直すか、Oculusのヘッドセットをしっかり被って、OculusTouch を手に持ち操作してみてください。

初音ミクモデルを使って動作確認をしていれば、手首の角度が外側に90度曲がって表示されていると思います。まずはこの手首の角度を修正します。

• 左手の修正は、ヒエラルキーの OVRPlayerController ⇒ OVRCameraRig ⇒ TrackingSpace ⇒ LeftHandAnchor ⇒ LeftHandTarget のInspector を開き、Transform の Rotation を X:-50 Y:90 Z:-45 とします。
• 右手の修正は、ヒエラルキーの OVRPlayerController ⇒ OVRCameraRig ⇒ TrackingSpace ⇒ RightHandAnchor ⇒ RightHandTarget のInspector を開き、Transform の Rotation を X:-50 Y:-90 Z:45 とします。

http://no-communication.hatenablog.com/entry/2017/10/02/072435

https://assetstore.unity.com/packages/tools/particles-effects/magic-mirror-reflection-for-unity-34824

Locomotion の FootDistance でがに股を治せます。0.2ぐらいがちょうどいい感じ。

• 【参考】 PMD を Mecanim 出来る PMD2FBX & MMD4Mecanim を試してみた - 凹みTips
• 【参考】 (1) MMD4mecanimTips - YouTube
• https://twitter.com/vjroba/status/937849562600947712
• 【参考】 ユニティちゃんのおっぱいとか髪とかを揺らす仕組みの設定方法について - テラシュールブログ
• 【参考】 番外編・ Unity の機能を使ってユニティちゃんに命を吹き込む -1- | ギャップロ

VRIK と SpringBone の生成順序を変更する。LastUpDateメソッド内で、SpringBone を実行し反映させれば良い。

• 【参考】 UnityChan.SpringManagerをVRIKに対応させる - Qiita

順序的に、

1. SpringBone の更新
2. VRIK の実行

となってしまっているのが原因の可能性が高いため、

1. VRIK の実行
2. SpringBone の更新

のようにスクリプトの実行順序を制御すれば、VRIK を使っても揺れものが反映される。

スクリプトの実行順序を変えるには、メニューバーの Edit > Project Settings > Script Execution Order 設定を使う。

• 【参考】 スクリプト実行順設定 - Unity マニュアル

その他には、このような方法も。

• 【参考】 ユニティちゃんのおっぱいとか髪とかを揺らす仕組みの設定方法について - テラシュールブログ
• 【参考】 Unityで、今すぐ簡単にできる！おっぱい揺らし！！ - 銀の弾丸、はじめました
• 【参考】 UnityでVRコスプレするときに詰まったところの覚え書 - Qiita
• 【参考】 そうだ、Unityで読み込んだMMDのモデルをリアルにしよう - Traffic Jam

• まゆげの位置
• 目の開閉度
• 目線(黒目の位置)
• 口の形状

• Oculus Rift + VRIK で 初音ミクになりきってみる
• 【参考】 Intel RealSense SDKで検出した表情をもとにUnityちゃんの顔を動かす - Natural Software

• http://c-taquna.hatenablog.com/entry/2017/09/19/011956
• 【参考】 何周遅れかでOculustouchで指が動いたよ、あと環境構築メモ - 世界の果てで終末を待つだけの雑記
• 【参考】 ウダサンコウボウ: [Unity]OculusRiftでモデルの首をスクリプトで動かせないときの対処
• 【参考】 Oculus RiftでバーチャルYoutuberになる方法 - @forte1stのメモログ | Monappy
• 【参考】 VRで「結月ゆかり」になって生放送する - Qiita
• 【参考】 XR Mecanim IK Plus
• 【参考】 Oculus TouchでUnityちゃんの指を動かして遊ぼう - 遊んで航海記
• 【参考】 OculusでもVRTKを使って開発してみる - たこやき部屋
• 【参考】 Unity＋Vive＋MMD＋VRIKで、キズナアイちゃんになりきりVR - Qiita
• 【参考】 Unity、Oculus(HTC Vive)、VRIKで簡易モーションキャプチャを作った話 - Qiita
• 【参考】 Unity＋Vive＋MMD＋VRIKで、キズナアイちゃんになりきりVR - Qiita
• 【参考】 Oculus LiftとFinalIKを使ってバーチャルYoutuberになる方法 - Qiita
• 【参考】 VR 向けの自作 Grabber を作ってみた - 凹みTips
• 【参考】 実質無料でバーチャルユーチューバーになる方法 - こたつにっき（おすすめ)