ということで第三回目になります。
以前の記事はコチラから。
第一回 モデル制作編
第二回 unity編
・・・・・
きちゃった
第二回は2か月近く前という体たらくでしたが、ようやくこの企画を前に進めることができます・・・(´・ω・`)
スポンサーリンク
2か月経ってようやくモーションキャプチャ入手に成功
この二か月間で自分が何をしているのか若干忘れてしまっていたのですが、とりあえずVチューバー・・・かどうかはわかりませんが、リアルタイムでキャラクターを動きと連動したり、いろいろとスキルを手に入れるのが目的ですが
要約するとエル子になる！！という事です。
現在のVチューバーになるにはいくつか方法はあるのですが、もっとも簡単なのはfaceリグ＋WEBカメラの手法です。
これはもっとも安価で2000円くらいの投資でなれます。当研究所では一応ですが、2年前にエル子とシンクロすることに成功しています(っ´ω｀c)
ただ、オリジナルキャラクターとなると、けっこう手間ではありました。
それ以外にもVRやスマホといったガジェットを使うことでもVチューバーになる事は可能ですが、欠点としては全身キャプチャが出来ない点もありますし・・・やっぱり無限にカスタマイズしたいじゃないですか！
やはりここまで来たら、最高難易度に挑むしかない！
という事で、今回当研究所が目指したポイントは、難関と呼ばれるUnity＋ニューロンによるVチューバーの手法です！
まずこの方法ですが、とにかく金が掛かります。
当初の予定だと激安(激安とは言っていない)モーションキャプチャー ニューロンへの投資(21万円)だけで済むかなと思ったのですが、Unity側のプラグイン、センサーを保存するためのケース、さらにある程度高価なWEBカメラが必要だったので、合計27万くらい掛かりました(´；ω；`)
次にCG側ですが、一応数年前までそうゆう会社におりましたので、大丈夫なハズです。(今も自営として生業なひとつですΣ(・ω・ノ)ノ)
↑つくったエル子(？) エル子の中の人はエル子という設定
エル子マトリョーシカ縦深防御
激安モーションキャプチャPERCEPTION NEURON2 設定してみる！
容器はこんな感じです。早速開封してみましょう。
いろいろと小さな袋が入っています。
とりあえず中身を確認。
意外とパーツが多い。
一番わかりやすい形のものがありました。このグローブにセンサーを取り付けることによって動きもキャプチャしていきます。
このモーションキャプチャのスゴイのは指もキャプチャできる点です！
これがそのセンサー。
けっこう小さいです。このセンサーをCPUみたいな感覚でハメていきます♪
ちなみに合計32個付属しています。
全身キャプチャしなければ、こんなに付ける必要はありません。
たとえば片腕だけキャプチャしたければ、その箇所だけにハメれば良いといった具合です。
センサーをはめてみました。
少し力が入るのと、外すのがわりと固い・・・(;´∀｀)
手だけで7か所センサーが必要です。
まずは手だけでキャプチャしてみましょう。
これがハブのようなでPCに接続します。
無線での稼働ができるようですが、モバイルバッテリーを持ち合わせていませんので今回はUSBで接続します。
PCに接続すると、ランプがピピピピピ！と点滅します。
なんかSFに登場するグローブみたい・・(;’∀’)
2030年くらいになったら電脳化する予定
第一段階 まずは手の動きをシンクロ
モーキャプって設定けっこう難しそうだなーと思ったんですが、めっちゃ簡単でした！
指がすごいぬるぬる動く！！ｗｗｗ
かがくのちからってすげー！
第二段階 全身キャプチャに挑戦
ダミーモデルと動きを連動していきます。
センサーが間接の位置を自動的に読み込んでくれて、PCで作業しているポーズになるのがわかります(*´д｀*)
多少のズレがでちゃうのは仕様なのかな。。。
第三段階 エル子になる
本オペレーションの最終段階へ漕ぎつきました。
エル子になります
実は動きのリンク自体は簡単です。
チェックを入れるだけでほぼ終わります。
人類最初のエル子は・・・・このめさしゅみだーーーー！！！！！
なんか・・・すっとんだんだが(´・ω・`)
当然の突風
これはキャラクターのスケール値のせいだったのでなんとか改善。
なんか・・・顔おそくなってね？ (´・ω・`)
ということで、いろいろとやり直してここまでエラー修正完了。。。
顔の問題点は単純に顔のモデルとの連動がうまくいっていなかったので、わりと最初からやり直しになりましたが、このやり直し作業はもう5回はしているので、わりと楽にこなせるようになりましたね。。。
気を取り直して・・・・
こんにちは、エル子です。
ついに・・・ついにここまで・・・ここまできたんだよぉ！！！！
さらなるエラー発生！めさしゅみさん、脱臼
腕が・・・腕があああああ！！！！！
実はニューロンさん。
磁気に弱いという欠点がありまして・・・・PCやテレビなどの電子機器に囲まれていると、40分くらい経つと動かなるなる症状がけっこうおきます。
うーん、これはどうしたものか・・・。
まだ計画は始まったばかり
という事で結論ですが、まだまだエル子になれていない部分がありました。
めちゃめちゃ大きな進歩ですが、解決しなければならない問題点がいろいろと出てきました(;´･ω･)
↑スカートのなびき方や衝突判定をリアルタイムで研究している図
なにしてるんだ・・・と思ったら負け
計画としてはボチボチ完遂といきたいところでしたが、もうちょっと長引きそうですね。。。
今回割愛しちゃいましたがリップシンク(口の動きとの連動) 瞬き(WEBカメラとの連動)もけっこうおもしろい事になったので、そのあたりも記事でまとめられたらなと思います。
未解決点(´；ω；`)
・親指の挙動がヤバイ
・なんかジト目がデフォになる
・長めのスカートの衝突判定が現状の技術だと厳しいかも
・モーションキャプチャが磁気に弱く、40分くらいすると不具合っぽいものが出てくる
・泣いたり怒ったりといった表情のキャプチャが難しい
ということでまだまだ計画は続きます！ 今年中に完遂できたらいいな・・(遠い目
