ComfyUIにLoRAを導入する方法・使い方!複数のLoRAを利用する方法も解説! | romptn Magazine

ComfyUIにLoRAを導入する方法・使い方!複数のLoRAを利用する方法も解説!

ComfyUI

画像生成を迅速かつハイクオリティに行ってくれるUI「ComfyUI」ですが、LoRAって使えるのかな?と疑問に思う方もいらっしゃるのではないでしょうか?

結論から申し上げますと、ComfyUILoRAを利用することは可能です!

今回は、オーソドックスな立ち上げ方法であるGoogle Colab版のComfyUIにLoRAを導入する方法や使い方を丁寧に解説していきます!

※LoRAの概要については、以下の記事で超詳しく解説していますので、是非参考にしてみてください。

スポンサーリンク

ComfyUIとは?

公式GitHubより
GitHub - comfyanonymous/ComfyUI: The most powerful and modular stable diffusion GUI, api and backend with a graph/nodes interface.
The most powerful and modular stable diffusion GUI, api and backend with a graph/nodes interface. - GitHub - comfyanonymous/ComfyUI: The most powerful and modul...

ComfyUIは、画像生成AIであるStable Diffusionを操作するためのツールの一つです。特に、ノードベースのUIを採用しており、さまざまなパーツをつなぐことで画像生成の流れを制御します。

Stable Diffusionの画像生成web UIとしては、AUTOMATIC1111が有名ですが、「ComfyUI」はSDXLへの対応の速さや、低スペックPCでもOKという性能の高さから注目を集めています。

※ComfyUIの機能やメリット・導入方法など、以下の記事で詳しく解説しています。

Stable Diffusionの画像生成を最速で学びたいあなたへ!
  • Stable Diffusionの基礎を2時間でマスター!
  • 高スペックPCがない方向けに徹底解説。
  • ControlNetなど、必須級の拡張機能も網羅。
  • 今話題のSDXL、AI動画生成も。
  • 特典として、大人気「おすすめ拡張機能・モデル解説」「プロンプト大全」つき!
\このボタン限定!70%オフキャンペーン実施中!/
70%オフキャンペーン実施中!/

ComfyUIのインストール方法

まず、ComfyUIのインストール方法を説明しておきます。

いかが手順になります!

①ComfyUIのインストール

②モデル(チェックポイント)・VAEのダウンロード

③SDXL用のComfyUIを立ち上げる

詳しいやり方は、こちらで解説していますのでまだ導入していない方は参考にしてください。

プロンプトジェネレーターで画像生成プロンプトの参考に!
  • Stable Diffusionのプロンプトの見本が知りたい
  • 画像生成が思ったようにできない
  • 色々なプロンプトを探したい
など、画像生成AIのプロンプトに関する疑問が解決するかもしれません。

LoRAファイルを入れる方法

ComfyUI立ち上げファイルを開き、「models」→「loras」の順にアクセスします。

そして、そのディレクトリの中にお好きなLoRA・LyCORISファイルを投入するだけです!

ComfyUIでのLoRAの使い方

LoRAを導入し、ComfyUIが起動ができたところで、実際に使ってみましょう。

①「Add Node」→「loaders」→「Load LoRA」をクリックする

右クリックして「Add Node」をクリック

「loaders」をクリック

「Load LoRA」をクリック

すると、LoRAのノードが表示されます。

②Load LoRAノードを「Load Checkpoint」の隣に配置する

Load LoRAノードをクリックして、「Load Checkpoint」のまで移動させてください。

そして、隣のノード同士を上記画像のように繋げてください。(〇の部分を伸ばしてくっつけることができます。)

③プロンプトを入力して画像を生成する

いつも通り、プロンプトを入力して画像を生成していきます。

下記画面のところでは、設定ができますので適宜変更してください!

※設定値に関しては、Stable Diffusionと同じですので以下の記事を参考にしてください。

最後に右側の『Queue Prompt』をクリックして、画像を生成します!

【応用編】複数のLoRAを使う場合

もし、LoRAを複数適用させた画像を生成したい場合は、下記画面のようにLoRAのノードを右に右にくっつけていけばOKです!

『strength_model』と『strength_clip』の違い

最後に、LoRAのノードにある「strength_model」と「strength_clip」の違いについてご説明します。

公式によると、以下のように書かれています。

これらの個別の値は、LoRAがCLIPモデルとメインMODELに個別に適用される強度を制御します。ほとんどのUIでは、LoRA強度の調整は1つの数値のみであり、たとえばLoRA強度を0.8に設定することは、Strength_modelとStrength_clipの両方を0.8に設定することと同じです。

ComfyUIで両方を調整できる理由は、LoRAのCLIP部分とMODEL/UNET部分が異なる概念を学習している可能性が高いため、それらを個別に調整することでより良い画像が得られるからです。

https://comfyanonymous.github.io/ComfyUI_examples/faq/

どうやら両方の値は同じ設定で大丈夫なようです。細かく設定したい方以外は、いじらなくてもよいかもしれません。

まとめ

いかがでしたでしょうか?

ComfyUIにLoRAを導入する方法・使い方についてご紹介してきました。

今回のポイントをまとめると、以下のようになります。

  • ComfyUIでLoRAを利用することは可能
  • ComfyUIでのLoRAの使い方
    • 「Add Node」→「loaders」→「Load LoRA」をクリックする
    • Load LoRAノードを「Load Checkpoint」の隣に配置する
    • プロンプトを入力して画像を生成する
  • 複数のLoRAを使う場合は、ノードを右につなげていく
  • 『strength_model』と『strength_clip』の違いは特になく、両方の値は同じ設定でOK

他にも、ComfyUIを使うにあたって便利な機能をご紹介していますので、ぜひ下記記事も合わせてチェックしてください!

プロンプトジェネレーターで画像生成プロンプトの参考に!
  • Stable Diffusionのプロンプトの見本が知りたい
  • 画像生成が思ったようにできない
  • 色々なプロンプトを探したい
など、画像生成AIのプロンプトに関する疑問が解決するかもしれません。