「Stable Diffusion XL(SDXL)のLoRAを作りたいけど、作成方法が分からない」といった疑問を持っている方も多いのではないでしょうか。
こういった疑問にお答えするため、この記事では「Stable Diffusion XL(SDXL)用LoRAの作成方法」「LoRAを作成するための準備」について解説していきます。
この記事を最後まで読むと、Stable Diffusion Web UIをグラボなしで使う方法が分かります！
Stable Diffusion XL(SDXL)とは？
Stable Diffusion XL(SDXL)とは、Stability AI社が開発した高画質な画像を生成してくれる最新のAI画像生成モデルのことです。
既存のStable Diffusionとは、以下の違いがあります。
- パラメーター数が2倍以上になった
- デフォルトの画像生成サイズが１０２４ｘ１０２４
- BaseモデルとRefinerモデルの2段階の画像処理で、より高画質な画像を生成できる
- コントラストや影などが改善されより鮮やかで正確な描写ができる
- 「masterpiece(傑作)」などの修飾語を使用する必要がなく、短いプロンプトで画像性ができる
※詳しいStable Diffusion XL(SDXL)の解説は、以下の記事で解説しています。
SDXLを基にする際の注意点！
SDXLを利用する場合、VRAMが12GB以上のグラッフィックボードが必要です。VRANとは画面に描写するためのデータを記録するパーツで、容量が大きいほど同時に処理するデータ量が増えます。
VRAMが低いグラフィックボードでは、Stable Diffusion XL用のLoRAの作成は難しいので、低スペックのグラッフィックボードを使用している場合は買い替えましょう。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
SDXLを基にしてLoRAを作成する前の準備
SDXLを基にしてLoRAを作成する場合、拡張機能「Tagger for Automatic1111’s WebUI」（WD 1.4 Tagger）」を導入しましょう。
Tagger for Automatic1111’s WebUIとは、自動でキャプションを生成してくれる便利な拡張機能です。
①Tagger for Automatic1111’s WebUIの導入方法
Tagger for Automatic1111’s WebUIは、以下の手順で導入します。
- Stable Diffusionを開く
- 「Extension」→「Available」と進む
- 「Lord from:」をクリック
- 検索窓（わかりにくい）に「tagger」と入力
- 表示された「stable-diffusion-webui-wd14-tagger」右の「Install」をクリック
- 「installed」のタブに移動し、「Apply and restart UI」をクリック
- 再起動されて導入完了
まずStable Diffuisonを立ち上げて、「Extension」→「Available」とタブを開いていきます。Availableを開いたら、「Lord from:」のボタンをクリックしましょう。
わかりにくいですが検索窓があるので、「tagger」と入力してください。
「stable-diffusion-webui-wd14-tagger」が表示されるので、右にある「Install」をクリックします。
「installed」のタブに移動して、stable-diffusion-webui-wd14-taggerが追加されていることを書くにできたら、「Apply and restart UI」をクリックしてください。
再起動させれば導入完了です。
②Tagger for Automatic1111’s WebUIの使い方
Tagger for Automatic1111’s WebUIは、以下の手順で使用します。
- 「Batch from directory」タブを開く
- 「Input directory」にタグ付けしたい画像を入れているフォルダを入力
- 「Additional tags (comma split)」でLoRAのトリガーワードを指定
- 「Weight threshold」を設定
- 「interrogate」のボタンをクリック
トリガーワードは、なんでもOKです。しきい値は1にしておきましょう。最後に「interrogate」のボタンをクリックすれば、キャプションファイルの作成が完了します。
拡張機能『Kohya_ss GUI』を使ったSDXLを基にしたLoRAの作成方法
ここからは、拡張機能「Kohya_ss GUI」を使って、LoRAの作成方法を紹介します。
- 「Kohya_ss GUI」のバージョンが古い場合は更新する
- フォルダを作成して学習する画像とキャプションを入れる
- フォルダを作成して学習する画像とキャプションを入れる
- ベースモデルの設定をする
- パラメータ設定を行う
①「Kohya_ss GUI」のバージョンが古い場合は更新する
Kohya_ss GUIのバージョンが古い時は、アップデートしてください。2023年6月以降、ピンパンにアップデートが行われているようなので、すでに古いバージョンになっている可能性があります。
古いバージョンでは不具合が多発してしまうので、Kohya_ss GUIの公式サイト（URL：https://github.com/bmaltais/kohya_ss）でバージョンの情報をチェックしてみてください。
②フォルダを作成して学習する画像とキャプションを入れる
Google Drive上に、フォルダを作成します。フォルダは学習用と出力用の2つが必要です。以下の形で、フォルダを作成してください。
⚫️学習用のフォルダ
⚪️学習用のフォルダとキャプションフォルダ用のフォルダ
⚫️LoRA出力用のフォルダ
学習用に使用する画像は、フリー素材から探しておきましょう。
③ベースモデルの設定をする
Kohya_ss GUIを起動して、ベースモデルを設定します。主には、以下2つの項目を設定してください。
| Model Quick Pick | custon |
| Pretraoned model name of Path | Stable Diffusion XLのモデルを入れた場所 |
最後に、SDXL Mdelにチェックを入れましょう。
④「Kohya_ss GUI」で必要なフォルダのパスを指定する
手順②で作成したフォルダを、以下の項目に入力してください。
| Image folder | 学習用フォルダ（親） |
| Output folder | LoRA出力用フォルダ |
⑤パラメータ設定を行う
最後に、パラメーターを設定します。Presetsは「SDXL – LoRA adafactor v1.0」をベースすればOKです。
以下の項目を調整しながら、いろいろ試してみてください。
- バッチサイズ
- エポック数
- 最大エポック数
- 学習率
- Network Rank
- Network Alpha
⑥学習処理を行う
ここまでの設定が完了したら、「Start training」のボタンをクリックします。場合によってはかなり時間がかかって位しまうので、待ちましょう。
まとめ
いかがでしたでしょうか？
「Stable Diffusion XL(SDXL)のLoRAを作成する方法について解説してきました。
今回のポイントをまとめると、以下のようになります。
- VRAMが12GB以上のグラッフィックボードが必要
- Tagger for Automatic1111’s WebUIを利用するのがおすすめ
- Kohya_ss GUIは最新バージョンでないと不具合が起こりやすい
Stable Diffusionの最新モデル「SDXL」について詳しく知りたい方は、以下の記事をご覧ください。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
