Stable Diffusionを使って画像を生成する際の自由度を大きく上げることができる『Lora』ですが、実は、『Lora』は複数の種類を組み合わせて使用することもできます。
今回は、『Lora』を複数使用する方法や、相性の良い『Lora』の組み合わせをご紹介します！
また、そもそも『Lora』とはどういったものなのかについて、そして、『Lora』のダウンロード方法なども合わせてご紹介するので、ぜひ最後までご覧ください。
学習モデル『Lora』とは
まずは、『Lora』とは一体どのようなものなのか、簡単に解説していきたいと思います。
『Lora』という言葉は、『Low-Rank-Adaptation』の略称です。
そして、『Lora』は、とても少ない計算量でAIに追加学習をさせることができるモデルのことを指しています。
従来、AIに追加学習をさせるには、膨大な計算量が必要でした。
そのため、とても高スペックなパソコンと十分な時間の確保が不可欠でした。
しかし、『Lora』が導入されたことで、誰でも比較的お手軽にAIに追加学習をさせることができるようになったのです。
『Lora』を用いると、画像の生成結果をよりコントロールしやすくなるため、画像生成の際の自由度が格段と上がるのです。
例えば、キャラクターの指定や服装・髪型・ポーズといった容姿に関わる部分の指定、画風や背景の指定などが可能となります。
『Lora』についてより詳しく知りたい方は、以下の記事で解説しているので、ぜひ合わせてご覧ください。
『Lora』のダウンロード方法
『Lora』は、以下の2種類のサイトからダウンロードすることが可能です。
- 『Hugging face』
- 『civitai』
『Hugging face』は、『Lora』に限らず、Stable Diffusionのモデルなども含め、網羅的に配信されていますが、自分が探している『Lora』名をテキストで入力する必要があります。
そのため、1から探したい方にはあまり向いていません。
『Hugging face』を使用した場合の『Lora』のダウンロード手順は以下のとおりです。
- 『Lora』名を入力し、『Lora』を検索する
- 『Files and versions』をクリックする
- ダウンロードマークを押す
『civitai』も『Lora』にかぎらず、Stable Diffusionのモデルなどが網羅的に配信されているサイトです。
『cvitai』では、モデルや『Lora』を導入した際の画像生成例がサムネイル表示されているため、お好みの『Lora』を探しやすいです。
『civitai』での『Lora』のダウンロード手順は以下の記事で詳しく解説しています。
『Lora』のより詳しいダウンロード方法も、先ほどご紹介した「Lora」の記事で解説しております。
画像付きでわかりやすく解説しているので、ぜひご覧ください。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
【Google Colab】Stable Diffusionを立ち上げる方法
次に、『Google Colab』を用いてStable Diffusionを立ち上げる方法について簡単に解説していきたいと思います。
『Google Colab』でStable Diffusionを立ち上げる方法には、以下の2種類の方法があります。
- 『Googleドライブ』からStable Diffusionを立ち上げる
- 『仮想マシン』を使ってStable Diffuisonを立ち上げる
『Googleドライブ』からStable Diffusionを立ち上げるには、『fast-stable-diffusion』を使います。
立ち上げの手順は以下の記事で詳しく解説していますので、ぜひ合わせてご覧ください。
複数のLoraを同時に使用する方法
ここからは、実際に画像を生成しながら、『Lora』を同時に複数使用する方法について解説していきたいと思います。
『Lora』を複数使用する際の前提として、リアル系のキャラクターや画風を指定する『Lora』には、リアル系のモデルを使った方が、『Lora』の効果がしっかりと反映されやすいです。
そして、『Lora』を同時に複数使用するには、まず、2つ以上の『Lora』をStable Diffusionに導入する必要があります。
今回は例として、イラストの画風を人形のような美しい見た目に指定することができる『Doll Likeness』と、画像のアングルを下からに指定することができる『super low angle from below』を導入していきます。
『Lora』の導入手順は以下のとおりです。
- 『Googleドライブ』の『sd』フォルダを開く
- 『stable-diffusion-webui』フォルダを開く
- 『models』を開く
- 『Lora』を開く
- 『Lora』フォルダにダウンロードした『Lora』ファイルをアップロードする
これで、『Lora』の導入は完了です。
『Lora』の導入が完了したら、次はプロンプトを入力しながら『Lora』をプロンプトに適用していきます。
また、『Lora』の適用手順は以下のとおりです。
- Stable Diffusionを起動し『Lora』タブを開く
- 適用したい『Lora』をクリックする
以上の手順に従って操作することで、選択した『Lora』のテキストが自動的にプロンプトの欄に反映されます。
それでは、実際に『Doll Likeness』と『super low angle from below』という2つの『Lora』を同時に複数使用し、画像を生成してみたいと思います。
今回使用したプロンプトは以下です。
黄色のアンダーラインが引いてある箇所が適用した『Lora』のテキストを表しています。
・プロンプト
(masterpiece, best quality, ultra detailed), 1girl, park, <lora:low_angle_human:1> BREAK
blue hair, blue eyes, t-shirt, <lora:edgMamaLuba_DollLikeness:1>
・ネガティブプロンプト
(worst quality, low quality:1.4), bad hands, bad body, poorly eyes, bad anatomy複数の『Lora』を適用しながらプロンプトを入力する際は、上記のプロンプトのように、
- 人数や背景などを含む画像全体に適用したいプロンプトを入力する
- アングルやポーズ、背景などを指定する『Lora』を適用する
- 人物の特徴に関するプロンプトを入力する
- 画風やキャラクターを指定する『Lora』を適用する
という順番でプロンプトを入力すると、綺麗に画像が生成されやすいです。
また、『Lora』の後は『BREAK』でプロンプトを区切りましょう。
そして、実際に生成した画像が以下となります。
お人形さんのような整った顔立ちの人物が、下からのアングルで写っている画像が生成されました。
適用した『Lora』の特徴が反映されているのがおわかりいただけると思います。
このように、以上の方法で画像を生成すると、『Lora』を同時に複数使用することができます。
また、今回は人物の人数を1人に設定しましたが、複数人の画像を生成する際も同様の方法で2つ以上の『Lora』を同時に使用することができます。
『Lora』のおすすめの組み合わせ
以上では、複数の『Lora』を同時に使用する方法について解説してきました。
ここからは、おすすめの『Lora』の組み合わせをご紹介したいと思います。
『Lora』を組み合わせて複数使用する際は、キャラクターを指定する『Lora』同士や画風を指定する『Lora』同士を組み合わせるよりも、キャラクターまたは画風を指定する『Lora』とポーズや背景などを指定する『Lora』を組み合わせる方が基本的に相性がいいです。
組み合わせ①
1つ目のおすすめの組み合わせは、先ほどの画像を生成する際にも使用した『Doll Likeness』と『super low angle from below』の組み合わせです。
お人形さんのような美しい人物を下からのアングルで生成されるように指定することで、まるでランウェイを歩くモデルの方の写真を切り取ったかのような美しい人物の画像を生成することができます。
先ほどの画像を生成した際に用いたプロンプトから、ネガティブプロンプトはそのままに、プロンプトのみ別のものを用いて新たに画像を生成してみたいと思います。
今回使用したプロンプトは以下です。
・プロンプト
(masterpiece, best quality, ultra detailed), 1woman, street, <lora:low_angle_human:1> BREAK
black hair, long hair, black eyes, sweater, <lora:edgMamaLuba_DollLikeness:1>
・ネガティブプロンプト
(worst quality, low quality:1.4), bad hands, bad body, poorly eyes, bad anatomyすると、以下のような画像が生成されました。
組み合わせ②
2つ目のおすすめの組み合わせは、『3D rendering style』と『御水 v3』の組み合わせです。
『3D rendering style』は3Dアニメ映画のような画風に指定することができる『Lora』です。
また、『御水 v3』は背景に水しぶきのようなものを生成することができる『Lora』です。
この2つの『Lora』を組み合わせることで、迫力ある3D映画のような画像を生成することができます。
今回は、以下のプロンプトで画像を生成しました。
・プロンプト
(masterpiece, best quality, ultra detailed), 1girl, 15 years old, <lora:御水 V3:1> BREAK pink hair, uniform, pink eyes, <lora:3DMM_V12:1>
・ネガティブプロンプト
EasyNegative, bad anatomy, bad hands poorly eyes, bad body生成した画像はこちらです。
組み合わせ③
3つ目のおすすめの組み合わせは、『MengX girl_Mix』と『Holding Hands Pov』の組み合わせです。
『MengX girl_Mix』は、小鼻が小さい猫顔のような人物を生成することができる『Lora』です。
また、『Holding Hands Pov』は、一人称視点で手をつないでいるようなポーズをとらせることができる『Lora』です。
この2つの『Lora』を組み合わせて使うと、猫顔の美人女性と手をつないでいるかのような画像を生成することができます。
今回は、以下のプロンプトを用いて画像を生成しました。
・プロンプト
(masterpiece, best quality, ultra detailed), 1woman, 20 years old, beach, <lora:HoldingHandsPov:1> BREAK
red hair, red eyes, beautiful face, <lora:MengX girl_Mix_V40:1>
・ネガティブプロンプト
EasyNegative, low quality, bad hands, bad anatomy, poorly eyesそして、生成された画像が以下です。
まとめ
いかがでしたでしょうか？
今回は、Stable Diffusionで同時に『Lora』を複数使用する方法や、おすすめの『Lora』の組み合わせについて解説してきました。
今回のポイントをまとめると、以下のようになります。
- 『Lora』とは、少ない計算量でAIに追加学習させることができるモデル
- 『Lora』は、『Hugging face』と『civitai』からダウンロードすることができる
- 『Google Colab』からStable Diffusionを立ち上げる方法は、『Googleドライブ』から立ち上げる方法と、『仮想マシン』を使う方法の2つ
- 『Lora』を同時に複数使用するには、2つ以上の『Lora』をStable Diffusionに導入することが必要
- 『画像全体に適用したいプロンプト』→『ポーズや背景などを指定する『Lora』の適用』→『人物の特徴に関するプロンプト』→『画風やキャラクターを指定する『Lora』の適用』の順番でプロンプトを入力すると画像生成がうまくいきやすい
- キャラクターまたは画風を指定する『Lora』とポーズや背景などを指定する『Lora』を組み合わせると相性が良い
『Lora』を同時に複数使用する方法についてご理解いただけたでしょうか？
効果的に複数の『Lora』を用いることで、格段と理想の画像を生成しやすくなります。
ぜひ、今回の方法を活用してみてください！
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
