Stable Diffusionで画像生成をする上で重要になってくる拡張機能ですが、用途に合わせて様々な機能が存在します。
今回は、『3D Model&Pose Loader』の拡張機能のインストールから使い方までわかりやすく解説していきます。
- 3Dモデルを使って画像を生成できるの？
- 3D Model&Pose Loaderって何？
- 3D Model&Pose Loaderの使い方が知りたい
こんなお悩みにお答えします。
この記事を最後まで読んでいただくと、3Dモデルをを使用した画像生成が簡単にできるようになります。
Stable Diffusionが使用できる環境であることを前提で解説していきます。
※Stable Diffusionの立ち上げ方法や使い方については、以下の記事で詳しく解説しています。
『3D Model & Pose Loader』とは？
3D Model & Pose Loaderとは、Stable Diffusionの拡張機能の一つになります。3Dモデルを読み込んでControlNetで元の画像として利用できる機能です。
呪文(プロンプト)を打ち込んで画像を生成する必要がないので、呪文(プロンプト)を考える手間が省け簡単に元画像を生成できます。
『3D Model & Pose Loader』の導入方法
まず「3D Model & Pose Loader」の拡張機能をインストールする前に、「ControleNet」をインストールする必要があります。
ControlNetのインストール方法
①Stable Diffusion Web UIを起動する。
②「Extensions」タブ→「Install from URL」タブを開きます。
③URL for extension’s git repositoryに下記のURLを入力します。
https://github.com/Mikubill/sd-webui-controlnet
④「Install」ボタンをクリックすると、Installボタンの下に文字が表示されます。
⑤「Installed」タブを開いて、「sd-webui-controlnet」がインストールされていることを確認してください。
⑥「Apply and restart UI」をクリックします。
※詳しくは、以下の記事で解説しています。
3D Model & Pose Loaderのインストール方法
先ほどのControlNetのインストール方法と手順は同じになります。
①Stable Diffusion Web UIを起動する。
②「Extensions」タブ→「Install from URL」タブを開きます。
③URL for extension’s git repositoryに下記のURLを入力します。
https://github.com/jtydhr88/sd-3dmodel-loader
④「Install」ボタンをクリックすると、下記に文字が表示されます。
または、「Available」タブを開きSearchで「3D」と検索し「3D Model＆Pose Loader」を選択しInstallする。
⑤「Installed」タブを開き、「Apply and restart UI」ボタンをクリックします。
※「sd-3dmodel-loader」がインストールされていることを確認してください。
以上で3D Model & Pose Loaderの導入は完了です。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
『3D Model & Pose Loader』の使い方
3D Model & Pose Loaderの使用方法は簡単です。
- 3Dモデルをダウンロードする
- 生成させたい3Dモデルを挿入する
- モデルのポーズを決める
- ControlNetに転送する
以下で手順を詳しく解説していきます。
【準備】アニメーション付きの3Dモデルを探す
3D Model & Pose Loaderを使用する前に使用するモデルをダウンロードしておく必要があります。
3Dモデルのフォーマットには主に以下の5つのものがあります。この他にも、部分的にサポートされたフォーマットがいくつかあります。
- obj
- stl
- dae
- fbx
- vrm
様々なサイトから3Dモデルをダウンロードできますが、今回は完全無料でダウンロードできる「Mixamo」からモデルをダウンロードします。
3Dモデルをダウンロードする手順は以下の通りです。
- Sing upをする
- キャラクターとアニメーションを選択する。
- 「Download」ボタンをクリックし、フォーマットを選ぶ（fbx）
では、基本的な操作方法を解説していきます！
基本的な操作方法
こちらのモデルを使用して、基本的な操作の方法を解説していきます。
①「3D model＆Pose Loader」タブを開きます。
②「Load Model」ボタンをクリックして、3Dモデルを挿入します。
③使用したいキャラクターの位置を選択します。
- マウスの左ボタン：カメラを回転
- マウスのホイール：ズームインまたはズームアウト
- マウスの右ボタン：カメラを移動
④「Play/Pause」ボタンで画像のポーズを選択します。
「Play/Pause」ボタンを使用して自分の生成したいポーズの位置を決めてください。
⑤「Grid」と「Axis」のチェックを外します。
チェックを外すしグリッドや座標軸を消すことで背景が無地になります。
※「Setting」→「3D Model＆Pose」から「Show Grid」と「Show Axis」のチェックを外しておくと毎回背景を消す作業をする必要がありません。
⑥「SEND TO TXT2IMG」ボタンなどをクリックし、ControlNetに転送します。
以上で3Dモデルを使用して元画像を生成することができました。あとは、お好みで「ControlNet」の機能を使用して画像を生成してください。
こちらは、IP-Adoputerの機能を使用して生成しています。
【新機能も追加！】ポーズエディタとは
「ポーズエディタ」を使用することで、キャラクターの姿勢やポーズを簡単に調整できます。また、動きを細かく調整できる為、AI画像を使用したアニメーションを生成することも可能です。
以下のリンクからダウンロードできます！
まとめ
いかがでしたでしょうか？
『3D Model&Pose Loader』の拡張機能を使って、3Dモデルから画像を生成する方法について解説してきました。
今回のポイントをまとめると、以下のようになります。
- 3D Model&Pose Loaderとは、3Dモデルを解析してControlNetでオリジナル画像として使用できる拡張機能。
- 「ControlNet」と「3D Model & Pose Loader」のインストールが必要。
- 「Mixamo」のサイトから完全無料で3Dモデルを入手できる。
- 3D model＆Pose Loaderの使い方
『3D Model & Pose Loader』の拡張機能を使用して、3Dモデルから画像を生成してみてください。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
