画像生成を迅速かつハイクオリティに行ってくれるUI「ComfyUI」ですが、LoRAって使えるのかな？と疑問に思う方もいらっしゃるのではないでしょうか？
結論から申し上げますと、ComfyUIでLoRAを利用することは可能です！
今回は、オーソドックスな立ち上げ方法であるGoogle Colab版のComfyUIにLoRAを導入する方法や使い方を丁寧に解説していきます！
※LoRAの概要については、以下の記事で超詳しく解説していますので、是非参考にしてみてください。
ComfyUIとは？
ComfyUIは、画像生成AIであるStable Diffusionを操作するためのツールの一つです。特に、ノードベースのUIを採用しており、さまざまなパーツをつなぐことで画像生成の流れを制御します。
Stable Diffusionの画像生成web UIとしては、AUTOMATIC1111が有名ですが、「ComfyUI」はSDXLへの対応の速さや、低スペックPCでもOKという性能の高さから注目を集めています。
※ComfyUIの機能やメリット・導入方法など、以下の記事で詳しく解説しています。
ComfyUIのインストール方法
まず、ComfyUIのインストール方法を説明しておきます。
いかが手順になります！
①ComfyUIのインストール
②モデル(チェックポイント)・VAEのダウンロード
③SDXL用のComfyUIを立ち上げる
詳しいやり方は、こちらで解説していますのでまだ導入していない方は参考にしてください。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
LoRAファイルを入れる方法
ComfyUI立ち上げファイルを開き、「models」→「loras」の順にアクセスします。
そして、そのディレクトリの中にお好きなLoRA・LyCORISファイルを投入するだけです！
ComfyUIでのLoRAの使い方
LoRAを導入し、ComfyUIが起動ができたところで、実際に使ってみましょう。
①「Add Node」→「loaders」→「Load LoRA」をクリックする
右クリックして「Add Node」をクリック
「loaders」をクリック
「Load LoRA」をクリック
すると、LoRAのノードが表示されます。
②Load LoRAノードを「Load Checkpoint」の隣に配置する
Load LoRAノードをクリックして、「Load Checkpoint」の隣まで移動させてください。
そして、隣のノード同士を上記画像のように繋げてください。(〇の部分を伸ばしてくっつけることができます。)
③プロンプトを入力して画像を生成する
いつも通り、プロンプトを入力して画像を生成していきます。
下記画面のところでは、設定ができますので適宜変更してください！
※設定値に関しては、Stable Diffusionと同じですので以下の記事を参考にしてください。
最後に右側の『Queue Prompt』をクリックして、画像を生成します！
【応用編】複数のLoRAを使う場合
もし、LoRAを複数適用させた画像を生成したい場合は、下記画面のようにLoRAのノードを右に右にくっつけていけばOKです！
『strength_model』と『strength_clip』の違い
最後に、LoRAのノードにある「strength_model」と「strength_clip」の違いについてご説明します。
公式によると、以下のように書かれています。
これらの個別の値は、LoRAがCLIPモデルとメインMODELに個別に適用される強度を制御します。ほとんどのUIでは、LoRA強度の調整は1つの数値のみであり、たとえばLoRA強度を0.8に設定することは、Strength_modelとStrength_clipの両方を0.8に設定することと同じです。
ComfyUIで両方を調整できる理由は、LoRAのCLIP部分とMODEL/UNET部分が異なる概念を学習している可能性が高いため、それらを個別に調整することでより良い画像が得られるからです。
https://comfyanonymous.github.io/ComfyUI_examples/faq/
どうやら両方の値は同じ設定で大丈夫なようです。細かく設定したい方以外は、いじらなくてもよいかもしれません。
まとめ
いかがでしたでしょうか？
ComfyUIにLoRAを導入する方法・使い方についてご紹介してきました。
今回のポイントをまとめると、以下のようになります。
- ComfyUIでLoRAを利用することは可能！
- ComfyUIでのLoRAの使い方
- 「Add Node」→「loaders」→「Load LoRA」をクリックする
- Load LoRAノードを「Load Checkpoint」の隣に配置する
- プロンプトを入力して画像を生成する
- 複数のLoRAを使う場合は、ノードを右につなげていく
- 『strength_model』と『strength_clip』の違いは特になく、両方の値は同じ設定でOK
他にも、ComfyUIを使うにあたって便利な機能をご紹介していますので、ぜひ下記記事も合わせてチェックしてください！
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
