高価なモーションキャプチャーツールを使うことなく、映像や写真に写っている人体から、その3Dポーズを推定するプロジェクトがGithubにはいくつかあります。今回は、最近メジャーアップデートしたMocapNETをWindowsから活用するための環境構築の手順を紹介します。

まずはWindows10でWindows Subsystem for Linuxを有効にし、アプリストアよりWSL向けUbuntuを導入し、Ubuntuを起動したら、以下のコマンドでシステムやビルドのためのツールをインストールします。 続いて、"git clone"でプロジェクトファイル一式をダウンロードし、その中に含まれているシェルスクリプトより、MocapNETを動作させるのに必要な外部ツールの導入をはじめとした初期化を行います。 初期化が滞りなく完了したら、ソースのビルドを実行します。 これで環境構築は完了です。WSLは基本的にCUIベースでウィンドウを表示させることができないので、データ生成を実行するときには「--novisualization」のオプションが必須です。

OpenPoseとの連携

このプロジェクトには、OpenPoseで生成した2次元データをもとに3次元データを推定するツールが提供されており、プロジェクトチームによると、よりモデル精度が上がるそうです。

OpenPoseはコンパイル済みのWindows実行ファイルを直接提供しており、また、CUDAも直接扱えるので、Windows版を使ってみることにします。

OpenPoseのGithubリリースページへ行き、binariesと表記されたzipファイルをダウンロード、展開します。 Windowsのコマンドプロンプトを起動し、学習モデルデータをダウンロードします。容量は約800MBです。 それでは、映像ファイルからJSONデータを書き出させてみましょう。"video"パラメーターには対象の映像ファイルのパス、"net_resolution"にはプログラムに渡す際の画像の解像度(16の倍数)を指定します。解像度が高いと精度が上がりますが、数値が高すぎるとメモリーエラーの原因となります。生成されたJSONの出力先フォルダーは、"write_json"で指定します。 このフォルダー(ここでは"res_json")をWSL上のMocapNETフォルダー内にコピーし、JSONファイルを単一のCSVファイルにまとめるツールを実行します。生成フォルダーには「video_000000000001_keypoints.json」のような連番ファイルが保存されているのですが、このパスの法則をツールに渡さなくてはいけません。ここでの法則は「連番の桁数(seriallength)」と「連番の前にある文字列(label)」を指し、ファイル名に合わせて逐一値を変更する必要がある点に注意しましょう（元となる映像ファイルのファイル名を同じにしておけば、パラメーターを変更する手間が省けます）。結合されたファイルの出力先は"-o"のパラメーターとして指定します。 最後にCSVデータを基にしたBHVファイルを出力します。delayオプションはフレーム同士の間隔を意味します。前述同様、GUIは使えないため、"novisualization"のオプションを追加しています。 いろいろ設定を変えて出力してみましたが、OpenPoseを介してもあまり結果は変わりませんでした。処理時間は早いものの、個人的は「hmr」によるポーズ推定のほうが精度が高い気がしました。