セルシスの開発した「QUMARION」は、その人形に内蔵されたセンサーで関節の動きを数値化し、Clip Studio Paintの3Dモデルをはじめとした、様々な3Dグラフィックソフトの人型モデルの動きとして適用できるアイテムです。現在では販売・開発ともに終了してしまいましたが、ＴＮＫソフトウェア謹製のアプリ「ポーズコンバーター for Clip Studio」とモーションキャプチャーソフトを活用して、このQUMARIONのように人形からポーズを取り込むための手法を考案してみました。

こちらはQUMARIONの代わりとなる人形の例です。基本的に手足と顔のある関節が動くフィギュアであれば、何でもいけます。

種別	仮面ライダー・戦隊フィギュア	メガミデバイス	30 Miniutes Sisters	S.H.Figuarts ボディちゃん	A.D.A.M 0	針金人形(自作)
価格	★☆☆	★★★	★★☆	★★★	★★☆	★☆☆
可動性	★☆☆	★★☆	★★☆	★★★	★★★	★★★
難易度	★☆☆	★★☆	★★☆	★☆☆	★★★	★★★
	複雑なポーズはできないが、リサイクルショップに行けば子どもが雑に扱った中古品が数百円で買える。	コトブキヤの美少女プラモデル。膝を180度曲げられるほどの柔軟さがあるが、やや高価。	バンダイの美少女プラモデル。メガミデバイスほどではないが、割合柔軟なポーズをとらせることができ、価格も2000円台と安価。	イラストレーター向けとして売り出していることもあり、関節の柔軟さはピカイチ。ポーズをとらせるための指南書も販売されている。	ネジとナットで組み立てるアクションフィギュア。設計図は無料で公開されているが、制作には3Dプリンターが必須。	市販の針金に、プラスチックや粘土で肉付け。最も安価だが、人体に似せるための創作技術が必要。

人形のポーズをキャプチャには株式会社デジタルスタンダードの「ThreeDPoseTracker」を使います。動画よりモーションキャプチャーするためのツールやサービスはいくつかありますが、録画時間に制限がない、オフラインで動くので被写体の情報が守れる、認識精度が高いと利便性に優れています。

スマートフォンで撮影した動画を使用することもできますが、それなりの処理速度を持つグラフィックカードとウェブカメラがあれば、モーションを確認しながら撮影でき、かつ、動画を編集する手間も省けます。ウェブカメラは640x480位の解像度で撮影できる安価なモデルでかまいません。この記事ではエレコムのオートフォーカス機能付きの200万画素モデルを使用しています。

ThreeDPoseTrackerは2次元の情報のみでポーズを推定するため、ボディちゃんのような単一色なフィギュアだと、正面を向かなかったり、間違った位置で交差するなど、精度が極端に低下します。 これらのフィギュアで認識精度を上げるには、顔、腕、脚に色を付けて塗り分けることで、カメラに個々の部位を識別させやすくさせます。腕と脚は左右で違う色にすると、手足を交差したポーズの精度も上がります。 アプリを起動したら、「Source」の項目より接続しているウェブカメラを選択し、中央上の「START」ボタンを押し、モーションキャプチャーを開始します。ウィンドウ内の「Source Image」にカメラの映像が映し出されたら、緑色のシルエットに合わせるようにフィギュアを映します。背景はなるべく白一色にし、撮影者の姿が映り込まないように、フィギュアは細い針金でくくって吊るすとよいでしょう。撮影中はモデルをくるくると回すことで、多方向からのキャプチャーを行います。 こちらは各フィギュアの撮影例です。どのタイプでも高い精度で撮影できているのが確認できると思います。 画面の3Dモデルが反応しているのを確認したら、ウィンドウ右上の「Export」をひらき、「Start Recording」ボタンを押してデータ出力を始めます。

データはBVH形式として書き出し、これを「ポーズコンバーター for Clip Studio」で読み込み、フレームを移動して、一番理想に近いポーズと取っているフレームを参照し、Clip Studio形式で出力すれば完成です。 ポーズコンバーターのアプリ紹介ページでは、マイクロソフトのモーションカメラ「Kinect」を使って、自分自身をモデルにしたポーズを作成する方法も紹介しています。