【Tripo3D×StableDiffusion】理想の顔を生成する

Blenderで1から顔作るのしんどくないすか



  • こちらは『生成AIでゲームを作る』シリーズの1つとなっております。他にも気になる記事があればご覧ください。

Tripoで全身ではなく、顔だけ生成する

前回の記事で、全身を生成しようとするとロクなことにならないことがわかりました。

この反省を踏まえ、顔だけを別途作成することで、理想の顔の3Dモデルが手に入るのでは?というのが今回の記事の目的です。
後でBlenderにインポートして、顔と体を合体させるつもりです。

おや?Tripoのようすが…?

はい、顔だけ生成してもらうために、顔の部分だけ切り出した画像をTripo3Dに入れます。

おや?なにか書いてありますね…

……。
……………………。

…………………………………………。

まあ押してみよ!

ポチー!

あっという間に生成完了

お…なんかちゃんとした人間の頭が生成されました。あれ?案外いけるのでは?
画像をクリックして確かめてみても、画像は全然破綻していません。

おっし!このまま生成してみましょう。まあ前回の記事と同じことが起こりそうであまり期待していませんが…

前回の事故






ジャン!

🤯

3Dに生成しなおすのも、プロフェッショナルプランなら3回までタダなので、気に食わないときはやってみてください。

自分は1回再生成しました。口元とかこっちのほうがいいね

あとはおそらく何回やり直してもタダです。画像生成AIが使い放題ってすごいな…

リメッシュする

今までのは何だったんだよと言わんばかりの超高性能さを見せつけてきました。このままリメッシュも試してみます。

生成済みのモデルをリメッシュするにはリメッシュタブに移ります。
価格も10クレジットと、モデル生成の50クレジットに比べとても安いです。

有料プラン限定機能とはいえかなり安い

結果

元は1884138ポリゴンです。

1万ポリゴン
5万ポリゴン

ダメです。

まず、両方とも顔周りのポリゴンの流れ(トポロジー)がキャラクターに合っていないです。
目や口の周りは円を描くようなトポロジーになっていないと、口や目を動かしたときにシワができたり破綻しやすかったりします。

詳しくは次回の記事で

また、特に1万ポリゴンのほうでは目のディティールが無くなり目はテクスチャだけになっています。3Dゲームで使う場合は横から見た場合目や口は見えないでしょう。

リトポロジーは自分でやることにした。

TripoAIの顔のリトポロジーは問題があることがわかりました。
自分でやることにします。

次回!Blenderでリトポロジーと合体作業

ではいよいよ次回からBlenderでの作業です。ワクワク

今はこうやって人の手が加えられる余地がある不完全なAIの時代ですから、Blenderの知識がより良いものを作るのに役立つのが楽しいですね。3DはAIをもってしてより時短できて、より自由になっていると思います。

【宣伝】
RN8YWM

招待コードRN8YWMを入れていただくとあなたと私に300クレジットずつ入ります!
何卒!何卒!!!🥺✨🙏

おまけ:顔をもう一度StableDiffusionで生成

①裸の状態で生成

スーツの部分は後で体と合成するときに邪魔です。そのため、前回の記事で作成した裸の画像の頭部分だけで生成してみます。

すると合体させるには確かに良さそうですが、だいぶ最初のイメージとは違う、チャラそうな男が生成されてしまいました。

元のやつと顔がちげえ

どうやら、マルチビューを生成してもらうにあたり、だいぶ違う顔にされてしまったようです。

マルチビューを生成するときも理想の顔になるまで何度かやり直しが必要です

②別の顔にしてみる

もうちょっと別の顔を作りたいときはStableDiffusionに一回戻ります。

img2imgで、Just ResizeではなくJust resize (latent upscale)を選びます。
また、Denoising strengthを上げるとよりその効果が表れます。

だいぶ違うね君たち

③髪がないモデルを作る

何ならスーツどころか髪が無いほうが後々作るのに楽そうだと思い、スキンヘッドバージョンも用意しました。

ところが大きな問題に直面しました。なぜか髪がないイラストって、生成すると全員厳しい顔をしているイラストになっちゃうんですよね…。

AIはスキンヘッドは全員いかついと思ってるのか?


↓こんな感じのプロンプトを入れると多少ましになります。

skin bald head, naked, portrait, front view, looking forward, average build, japanese boy

しかしそれでも筋肉質いかついおじさんになってしまうので、どうしてもイラストを手作業で治す必要が出てきます。目や眉毛を画像編集ソフトで変えました。

Kritaで手書きで編集、img2imagでちょいデノイズ、を繰り返してできた
お?悪くないですね。
マルチビュー生成する時もいかついおじさんに引っ張られるため、5回ほどやり直しが必要。
…………。

髪の毛無しのモデルの生成精度はいまいちということがわかりました。
解散!


↓次の記事