Stable Diffusionの学習モデル『LoRA』とは？使い方や導入方法を紹介

Stable DiffusionでAI画像を生成する際に、LoRAという追加学習モデルを使用することによって、表現の幅を広げることが可能です。

そもそも「LoRAって何？」

「LoRAの導入方法や使い方が分からない」

「おすすめのLoRAが知りたい！」

という方も多いのではないでしょうか？

そんな方のために、LoRAとはどんなモデルなのか、導入方法や使い方、メリットなどを詳しく解説していきます！

追加学習させたモデルLoRAの作り方については下記記事で解説しています。

併せて参考にしてみてください！

【Lora】Stable Diffusionでモデルを追加学習させる方法を紹介！

Stable Diffusionで自作の追加学習モデルを使ってみたい方必見！Google Colabで簡単に追加学習させる『Lora』の作り方を分かりやすく解説します。この記事を読めば、思い通りの絵柄や人物を生成しやすくなります。

romptn.com

2023.09.04

学習モデル「LoRA」とは

LoRAとは、“Low-Rank-Adaptation”の略で、非常に少ない計算量で追加学習ができるモデルという意味です。

従来のAIの学習においては、ものすごい量の計算が必要で、高性能なパソコンと時間が必要不可欠な状態でした。

しかし、LoRAが開発されたことでだれでも手軽に追加学習をすることができるようになりました！(多少なりともPCスペックは求められます)

※Stable Diffusionを利用する際に推奨されるPCのスペックについては、以下の記事を参考にしてください。

Stable Diffusionに必要なスペックは？ローカル環境での推奨スペックやおすすめPCを紹介

Stable Diffusionを使ってAI画像を生成してみたいけど、最適なPCスペックが分からない！という方のために、Stable Diffusionを使う際の推奨スペックやおすすめPCを、OSやメモリなど種類ごとに解説しています！

romptn.com

2023.08.25

「LoRA」を利用するメリット

LoRAを利用するメリットとして、以下が挙げられます！

①イラストの画風を調整することができる

LoRAを利用することで、生成される画像のスタイルをアニメ風やカートゥーン風、3D風などに調整することができます。

②人物やキャラクターを指定して画像を生成することができる

LoRAを利用することで、同一人物・同一キャラクターの画像を複数枚生成できます。

③自分の好きな服装・髪型・背景・ポーズなどにできる

特定の服装・背景・髪型・ポーズなどを生成できるLoRAもありますので、積極的に利用していくと効率的です！

『LoRA』を配布しているサイト

LoRAファイルを配布しているサイトは、主に以下の2つです。

特に「CivitAI」は、AI画像の生成例や呪文(プロンプト)もたくさん載っているのでおすすめです！

このように、いろいろ出てきますので自分の好きなキャラクターなどを検索してみると楽しいですよ！

グローバルなサイトですので、英語や中国語などの言語で入力すると出てきやすいです。

※「CivitAI」の使い方については、以下の記事を参考にしてください。

【初心者向け】画像生成モデルDLサイト『CivitAI』とは？使い方を徹底解説

Stable Diffusionで画像を生成する際には、モデル選びは非常に重要な要素になってきます。今回ご紹介する『civitai』というサイトは、モデル選びに使える便利なサイトです。初心者の方にもわかるようにモデルのダウンロード方法や、商用利用などについて詳しく解説します！

romptn.com

2023.08.20

「LoRA」の検索・ダウンロード方法

Stable DiffusionのLoRAを探すサイトは、先程の「Hugging Face」、「CivitAI」です。

それぞれのLoRAの探し方とダウンロード方法を解説していきます！

①Hugging Face

「Hugging Face」は、モデル名とLoRA名がテキストでまとめられており、自分の探しているモデル名やLoRA名を検索しなければ出てきません。

1から探したい方には、あまり向いていないサイトです。

⚫︎「Hugging Face」でLoRAを探す方法

下記の画像のように、赤枠に探しているLoRA名を入力し、検索してください。

⚫︎「Hugging Face」でLoRAをダウンロードする方法

まず、ダウンロードしたいLoRAを検索して開いたら、「File and visions」をクリックして、『LoRA』ファイルをダウンロードします。

②CivitAI

CivitAIは、それぞれのモデルやLoRAの生成画像例がサムネイル表示されていて、自分の好きなものを見つけやすいサイト設計になっています。

⚫︎CivitAIでのLoRAの探し方

下記の画像のように、『filters』の「LoRA」と「LyCORIS」、「DoRA」にチェックを入れて検索してください。

⚫︎CivitAIでのLoRAのダウンロード方法

下記画像の赤枠の『Download』をクリックすればOKです。

【参考】LoRA拡張や派生モデルの普及

また、最近では DreamLoRA、EasyLoRA、HyperLoRA といった派生拡張も登場しています。

これらはLoRAの発展形であり、より柔軟な表現や効率的な学習を実現することを目的としています。

ただし、Civitai上ではまだ明確なカテゴリが分かれていないため、検索する際は「タグ」や「モデル名」で探すのがおすすめです。

Stable Diffusionに「LoRA」を導入する方法

ここからは、Stable DiffusionにLoRAを導入(インストール)する方法を説明していきます！

それでは、手順は以下になります。

たったこれだけの簡単な手順でLoRAを導入(インストール)することができます！

【Google Colab】追加学習モデル「LoRA」の使い方

ここからは、Google ColabでのLoRAの使い方について解説していきます。

①Google Colabで『ノートブックを新規作成』し、“GPU”を設定してください。

②以下のコードを実行して、Stable Diffusionをインストールします。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!mkdir /content/stable-diffusion-webui/models/Lora

③モデルをダウンロードし、以下のコードを実行します。

今回は、『yayoi_Mix』を使います。

!wget https://civitai.com/api/download/models/112499  -O  /content/stable-diffusion-webui/models/Stable-diffusion/yayoiMix_v20.safetensors

赤色は、ダウンロードボタンを右クリックでリンクをコピーします。

青色は、ファイル名です。

④以下のコードを実行し、LoRAをダウンロードします。

今回はMakima (Chainsaw Man)というLoRAを使用します。

!wget https://civitai.com/api/download/models/6244 -O /content/stable-diffusion-webui/models/Lora/Makima.safetensors

赤色は、先程同様リンクを貼ります。

青色は、好きな名前を付けてください。

⑤Stable Diffusionを以下のコードから立ち上げます

!python launch.py --share --xformers --enable-insecure-extension-access

URLが2つ表示されますが、2つ目の方にアクセスしてください。

⑥呪文(プロンプト)を入力して画像を生成します。

今回使用する呪文(プロンプト)は、

((photorealistic:1.4)),best quality ,masterpiece, illustration, an extremely delicate and beautiful, extremely detailed ,CG ,unity ,8k wallpaper, Amazing, finely detail, masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,absurdres, incredibly absurdres, huge filesize, ultra-detailed, highres, extremely detailed,beautiful detailed girl, extremely detailed eyes and face, beautiful detailed eyes,light on face,cinematic lighting, 1girl, looking at viewer, red hair, yellow eyes, white shirts, black necktie,  <lora:Makima:1.3>

ネガティブプロンプトは、

lowres, bad anatomy, text, bad face, error, extra digit, fewer digits, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, {blurry}, missing arms, missing legs, more than two legs

になります。

では実際に生成してみましょう。

こんな感じでLoRAのデータ通りの生成ができました！

以上の方法を参考にして、LoRAを使ってみてください！

※Google ColabでStable Diffusionを利用する詳しい方法ついては、以下の記事を参考にしてください。

Google Colab版Stable Diffusionの立ち上げ方法から使い方までを徹底解説！

Stable Diffusionをパソコンのスペックを気にしないで気軽に利用できる『Google Colaboraratory』の使い方をどこよりも分かりやすく徹底的に解説します！Stable Diffusionの立ち上げ方やモデル・拡張機能のインストール方法など網羅的にご紹介しますので是非参考にしてください！

romptn.com

2023.08.15

初心者でも安心して使える「LoRA」を紹介

ここでは、版権以外で使えるリアル系のおすすめLoRAを３つほどご紹介します！

表情系「LoRA」①：Expressions Helper Realistic

Expressions Helper Realisticは、リアルな表情を再現するのに特化したLoRAです。

特によりリアルな「泣き顔」や「怒りの表情」など、通常のモデルでは出しにくい感情表現を自然に生成できるのが大きな特徴。

人物生成の際に表情のバリエーションを豊かにしたいときに役立ち、キャラクターにより深みやリアリティを与えることができます。

衣装・ファッション「LoRA」②：Outfit Extractor – Qwen Edit

Outfit Extractor – Qwen Editは、カジュアルな服装を中心に幅広いファッションを表現できるLoRAです。

これを使わない場合、ドレスやキャミソールといったシンプルな衣装になりがちですが、このLoRAを導入すればジーンズやジャケットなど日常的な服装を自然に再現できます。

リアル系の人物生成や、キャラクターに普段着を着せたいときに特に役立ち、衣装バリエーションの幅を大きく広げてくれます。

スタイル・画風「LoRA」③：Realistic Skin Texture style XL (Detailed Skin) + SD1.5 + Flux1D + Pony + Illu

Realistic Skin Texture style XLは、リアル系の人物表現に最適な LoRA です。

さまざまなモデルに対応しているため使いやすいです。

特に肌の質感や細部のディテールを大幅に強化してくれるため、フォトリアルな仕上がりを求めたいときに役立ちます。

『LoRA』の著作権や商用利用について

LoRAは、肖像権や著作権を持つ芸能人やアニメキャラクターなどが多く含まれているため、使用する際には注意が必要です！

こうしたLoRAを使って生成した画像を販売したり展示したりする行為は、犯罪に当たりますので絶対にしないでください。

個人で楽しむ程度でしたら問題ありませんので、著作権侵害や商用利用はしないように気を付けましょう。

まとめ

いかがでしたでしょうか？

LoRAとはどんなモデルなのか、導入方法や使い方、メリットなどを詳しく解説してきました！

今回のポイントをまとめると、以下のようになります。

Stable Diffusionでは、LoRAを使用することで自分のイメージに合った画像を簡単に生成することが可能になります。

画像生成の幅がとっても広がりますので、是非活用してみてください！