KeenTools FaceBuilder x MetaHuman

2022.8にリリースされたFaceBuilderではEpic GamesがリリースしたUnrealEngineのプラグイン Mesh to MetaHuman との連携を行うことが可能になりました。このプラグインは、人間の頭の 3D モデルをラップし、ラップされたメッシュに基づいて人物写真のMetaHuman キャラクターを作成できます。

プロセス

FaceBuilder for Blenderで2D写真から頭部のモデルを作成

自動または、手動でFaceBuilderの顔のモデルを写真に沿ってパーツの位置に合わせモデルを作成します。

テクスチャとモデルのエクスポート

頭と顔が必要な数のビューに固定されると、FaceBuilder はテクスチャを作成できます —Textureタブを開き、mhUV マップを選択してサイズを 1024 x 1024 ピクセルに設定すると、デフォルトの MetaHuman テクスチャと一致します。mhUVマップは新しいFaceBuilderのリリースで追加された機能です。

Create textureボタンをクリックして、テクスチャの準備ができたら、ファイルにエクスポートしたり、Blender 内で操作したりできます。後で MetaHuman で必要になるため、エクスポートします。

それとは別に、Unreal Engine にロードするFBX ファイルとしてモデルをエクスポートする必要もあります。

Unreal Engine Mesh to MetaHuman : モデルの位置合わせ

テクスチャが PNG ファイルとして保存され、エクスポートされた FBX ファイルを使用してMesh to MetaHumanがインストールされたUnrealEngineへモデルをインポートします。

MetaHuman アセットを作成し、必要に応じて呼び出し、インポートした FBX ファイルをベースモデルとして選択します。

顔をフレーミングしてすべての詳細を含む正面図を表示し、自動追跡を開始します。これには数分かかり、自動的に検出された顔のランドマークが得られます。

顔のランドマークの位置が十分かどうかを確認し、うまくいっていることを確認したら、Identity Solveボタンを起動します。これはランドマークを使用して、インポートされた FaceBuilder メッシュに基づいて MetaHuman モデルを生成します。これで、モデルが MetaHuman トポロジーでラップされます

MetaHuman Creator: キャラクターの外見を設定する

オンラインの MetaHuman エディターで、キャラクターを選択し、肌の色、目、顔の毛、衣服などを微調整して、写真の人物にできるだけ一致するように調整します。

Photoshop: MetaHuman のテクスチャを準備する
MetaHuman は、ニュートラルな表情を含む 4 つのテクスチャを異なる表情に使用します。それらをすべて Photoshop に取り込み、mh以前に FaceBuilder によって写真から抽出したテクスチャと結合します。

FaceBuilderのmhテクスチャマップは、このプロセスをできるだけ簡単にするために特別に作成されました。組み込みの MetaHuman テクスチャのレイアウトと完全に一致するため、すべての顔パーツが自然に整列します。テクスチャを作成してエクスポートするときに行ったように、テクスチャのサイズを適切に設定するだけです。