Facebook の pifuhd がすごいぞーっと言うことで、試してみたかったのですが、GPU の Memory が足りなかったので、PIFu を試しました・・・。
テスト画像、女性2種類、ガチャピン
pifuhd
https://github.com/facebookresearch/pifuhd
PIFu
https://github.com/shunsukesaito/PIFu
PIFu を試す
人物の画像は、ぱくたそ さんを使用しました。
登場する画像4種類
- サンプルの ryota
- 女性1
- 女性2
- ガチャピン
ガチャピンは、人間ではないので、どうなるのか予測不能です。
![]() | ![]() |
![]() | ![]() |
マスク画像
それぞれに、マスク画像を用意する必要があります。
ryotaは、最初からあります。
それ以外は、Photoshop で作成しました。
![]() | ![]() |
![]() | ![]() |
pifuhd では、Posenet で クロッピングするようなので、そうしたほうがかっこいいですが、今回は飛ばしました。
生成された OBJモデル
3Dプリンターのスライサーソフトで読み込んでみました。
Ryota
![](/_gatsby/file/7f48a64a29853ce08a1439fb2fa56217/2020-06-19_10h48_28.png?u=https%3A%2F%2Fwww.ban.com%2Fwp20200526%2Fwp-content%2Fuploads%2F2020%2F06%2F2020-06-19_10h48_28.png)
なかなかの出来ではないでしょうか。
女性1
足を上げている点が、難易度を上げている気がしますが・・・
![](/_gatsby/file/c7b000e0f37a9b43d977d0c6afba74fd/2020-06-19_15h30_04.png?u=https%3A%2F%2Fwww.ban.com%2Fwp20200526%2Fwp-content%2Fuploads%2F2020%2F06%2F2020-06-19_15h30_04.png)
一見きれい・・・?
![](/_gatsby/file/bf905d974fb82b17b1970b4e90a0913c/2020-06-19_15h30_30.png?u=https%3A%2F%2Fwww.ban.com%2Fwp20200526%2Fwp-content%2Fuploads%2F2020%2F06%2F2020-06-19_15h30_30.png)
あ、なんかぐちゃぐちゃ
女性2
わりと素直な姿勢だと思います。
学習データに近いのではないかと思います。
![]() | ![]() |
素晴らしい!
ガチャピン
人間ではないので、学習データとは大きく異なると思います。
髪の毛もないし、頭部が大きすぎます。
足も短すぎると思います。
![](/_gatsby/file/848476a60a698a3551bbdac37afa0a3d/ga_result.png?u=https%3A%2F%2Fwww.ban.com%2Fwp20200526%2Fwp-content%2Fuploads%2F2020%2F06%2Fga_result.png)
こ、これは!!
ぐちゃぐちゃです。
感想
自前のマシンでHDを試せないのが残念ですが、
本当に試したければ、 Google colab ですぐに試せるようです。
素直にそっちをやりましょう。