Stable Diffusionの重みを階層別に付けられる拡張機能『LoRA Block Weight』の使い方

「LoRA Block Weightを使ってみたいけど、使い方が分からない」といった疑問を持っている方も多いのではないでしょうか。

こういった疑問にお答えするため、この記事ではLoRA Block Weightの導入方法や使い方を解説していきます。

実際にLoRA Block Weightを使った結果も紹介しているので、読んで参考にしてください。

※Stable Diffusionの立ち上げ方・使い方については、以下の記事で詳しく解説しています。

【超初心者向け】Stable Diffusionの使い方完全ガイド

Stable Diffusionの使い方を初心者の方にも分かりやすく丁寧に説明します。Stable Diffusionの基本操作や設定方法に加えて、モデル・LoRA・拡張機能の導入方法やエラーの対処法・商用利用についてもご紹介します！

romptn.com

2023.08.24

拡張機能「LoRA Block Weight」とは？

「LoRA Block Weight」とは、LoRAの階層を調査できる拡張機能です。応用させれば、LoRAの重みを調整して、顔や服など一部分のみに反映させられます。

LoRAは17階層に位分かれており、それぞれの階層が顔や服、背景などに反映される仕組みです。

例えば「Yae Miko | Realistic Genshin LORA」を調査すると、以下のようなプリセットが表示されます。

上記10項目のプリセットがLoRAの階層で、0や1といった数字が適用されているかを表しています。

しかしどの階層がどこに影響しているかは分かりません。「LoRA Block Weight」を使って画像を生成すれば、以下のような画像が生成されます。

見比べると、それぞれの画像に違いがあるのが分かりますね。

このように「LoRA Block Weight」を使えば、どの項目がどこに反映されているかが、画像で比較できるわけです。

拡張機能「LoRA Block Weight」の導入方法

以下の手順で、「LoRA Block Weight」をStable Diffusionに導入します。

まずStable Diffusionを立ち上げて、「Extension」→「Install from URL」と開きます。

Install from URL内に「URL for extension’s git repository」の項目があるので、以下のURLをコピペしてください。

https://github.com/hako-mikan/sd-webui-lora-block-weight

URLをコピペしたら「Install」をクリックします。

「Installed」内に「sd-webui-lora-block-weight」の項目があればインストールされているので、「Apply and restart UI」をクリックして再起動すれば導入完了です。

今回紹介するLoRA Block Weight以外にも、優秀な拡張機能があるので、興味がある方は以下の記事を参考にしてください。

Stable Diffusionの拡張機能のインストール方法！更新方法やおすすめ拡張機能も紹介

Stable Diffusionでもっと効率よくハイクオリティな画像生成をしたい…。と思ったことはありませんか？Stable Diffusionで拡張機能を使用することで、そんな希望を叶えることができます！この記事では、拡張機能のインストール方法やおすすめの拡張機能を紹介しています。

romptn.com

2023.09.21

拡張機能「LoRA Block Weight」の使い方

まず、下の方にある「LoRA Block Weight」の項目を開いてください。

開くと、以下の画像のような画面が表示され、「LoRA Block Weight」で階層の調査を行います。

調査方法は、主に「Effective Block Analyzer」か「XYZ plot」のどちらかを使います。使うのは、使いやすい方でOKです。

「Effective Block Analyzer」の使い方

「Effective Block Analyzer」は、以下の手順で使います。

「XYZ plot」の使い方

「XYZ plot」は、以下の手順で使います。

実際に「LoRA Block Weight」を試してみた！

今回LoRA Block Weightを利用して、顔だけにLoRAを適用させてみました。まずLoRA Block Weightで画像を生成します。

全ての階層を適用させている「ALL」と、顔が近い画像を探しましょう。比較すると、「MIDD」が一番近いと感じました。

MIDDのプリセットの”1,0,0,0,1,1,1,1,1,1,1,1,0,0,0,0,0”を、以下のようにLoRAのプロンプトに追加します。

 <lora:YaeMiko_Test:1:1:lbw=1,0,0,0,1,1,1,1,1,1,1,1,0,0,0,0,0>

結果が、以下の画像です。

 <lora:YaeMiko_Test:1:1:lbw=1,0,0,0,1,1,1,1,1,1,1,1,0,0,0,0,0>, 1 girl,standing pose,face up,looking at viewer,facing front,break,smile,(open mouth:1.3),black hair,Blue eyes, acing front,evening walk

顔や髪型は近いですね。

続いて、服が近い「OUTD」で、服を再現してみました。

 <lora:YaeMiko_Test:1:1:lbw=1,0,0,0,1,1,1,1,1,1,1,1,0,0,0,0,0>, 1 girl,standing pose,face up,looking at viewer,facing front,break,smile,(open mouth:1.3),black hair,Blue eyes, acing front,evening walk

なんとなく服は似ている、という結果でした。

このように、一部だけLoRAを適用させれるので、いろいろ試してみてください。

まとめ

いかがでしたでしょうか？

今回は、LoRA Block Weightについて解説してきました。

今回のポイントをまとめると、以下のようになります。

LoRA Block Weightで調査した結果とプロンプトを組み合わせて、一部だけにLoRAを適用させた画像を生成してみてください。