Stable Diffusionを画風を指定する方法を紹介！画風に関する呪文(プロンプト)も

2023.10.04
Stable Diffusion

Stable Diffusionで画像生成をしていると、いろんな画風の画像を生成したくなりますよね。

この記事ではStable Diffsionで生成画像の画風を指定・固定する方法と画風に関する呪文(プロンプト)をご紹介します。

この記事を読んでいろんな画風の画像を生成できるようになりましょう！

スポンサーリンク

Stable Diffusionで画風を指定・固定する方法

Stable Diffusionで画風を指定・固定する方法はおおまかに以下の4つがあります。

  • ①呪文(プロンプト)を入力する
  • ②ControlNetの拡張機能「LineArt」を使う
  • ③追加学習モデル「Lora」を使う
  • ④拡張機能「Hypernetworks」を使う

以下に①～④のやり方を記載します。

①呪文(プロンプト)を入力する

まずは一番オーソドックスな方法です。作成したい画風に合わせて呪文(プロンプト)を入力して下さい。

例えば、アニメ風イラストであれば「super fine illustration」、水彩画風であれば「watercolor」、ドット風であれば「pixel art」など特定のプロンプトを入力することで画風を設定することができます。

アニメ風イラスト

水彩画風

ドット風

プロンプト

1 girl, sitting,White dress(forest:1.2),summer,moon,(night,:1.1),

※作成したい画風に合わせてプロンプトを追記しています。

ネガティブプロンプト

(worst quality, low quality:1.3),nsfw,ugly face,

このようにプロンプトを記述することで、画風を指定・固定することができます。

②ControlNetの拡張機能「LineArt」を使う

ControlNetの拡張機能「LineArt」でも画風を変更方法することが可能です。

「LineArt」はControlNetの拡張機能の一種で、元の画像から線画を抽出することができます。

抽出した線画を元に画像が生成されるので画風を変化させることが可能です。

以下に「Lineart」を使用した画風の変更方法を記載します。

  1. ControlNetに元画像を読み込ませる
  2. ControlTypから「Lineart」を選択する
  3. Prepocesserを選択する。
  4. Modelを選択する
  5. Generatボタンで画像を生成

まずControlNetに画像をアップロードして、Control Typから「Lineart」を選択する。

PreprocesserとModelを選択したら、通常の画像生成と同じくGeneratボタンをクリックしてください。抽出した線画を元にした画像が生成されます。

Preprocesserにより画像から抽出される線画が変化します。

元画像

線画

「Lineart」使用後

プロンプト

1 girl,masterpice,upper body,look at viwer,

ネガティブプロンプト

low quality,

このようにControlNetの拡張機能「Lineart」を活用することで画風を変更することができます。

※『ControlNet』のインストール方法や使い方についてさらに詳しく知りたい方は、以下の記事を参考にしてください。

Stable Diffusion『ControlNet』の使い方ガイド！導入・更新方法も
Stable Diffusionを用いた画像生成は、呪文(プロンプト)が反映されないことがよくありますよね。その際にStable Diffusionで『ControlNet』という拡張機能が便利です。その『ControlNet』の使い方や導入方法を詳しく解説します！
romptn.com
2023.09.12

③追加学習モデル「Lora」を使う

Loraを使うことでも画風を指定することが可能です。

CIVITAIやHugging Faceで作りたい画風に合わせてLoraを選定してみてください。

Loraなし

Loraあり

※使用したLora：comiclo.safetensors

プロンプト

1 girl, sitting,(forest:1.2),summer,moon,(night,:1.1),<lora:comiclo:0.8>

※Loraなしの場合は<lora:comiclo:0.8>を削除しています。

ネガティブプロンプト

(worst quality, low quality:1.3),nsfw,ugly face,

Loraを導入するだけでキャラクターの雰囲気を含めて画風が変化しました。

<lora:comiclo:1>以外のプロンプトを変更しても画風は維持されます。

Loraで画風を変更する際は、生成したい画像に合わせてLoraデータを選定してみてください。

この方法でも画風を指定・固定することができました。

※『Lora』についてさらに詳しく知りたい方は、以下の記事を参考にしてください。

Stable Diffusionの学習モデル『Lora』とは？使い方や導入方法を紹介
Stable Diffusionで画像生成の幅を広げる際に重要な『Lora』という追加学習モデルについて紹介します。『Lora』の概要、ダウンロード・導入方法、使い方からおすすめLora、商用利用まで徹底的に解説します！
romptn.com
2023.08.28

④拡張機能「Hypernetworks」を使う

「Hypernetworks」はStable Diffusionで使用可能な追加学習モデルの一つです。

適用することで生成するイラストに異なる画風を追加することができます。

拡張機能「Hypernetworks」の導入方法

Google Coab版のStable Diffusionに「Hypernetworks」を導入する手順は以下になります。

  1. CIVITAIで使用したい「Hypernetworks」モデルのファイルをダウンロードする
  2. Google drive上にモデルのファイルをアップロードする
  3. Google Colabのに必要なコードを追加してStable Diffusionを起動する

1,CIVITAIで使用したい「Hypernetworks」モデルのファイルをダウンロードする

CIVITAI上で使用したいモデルを検索してダウンロードしてください。

モデル項目を開いて漏斗マークの個所をクリックするとModel statasを選択する画面が表示されます。そこで「Hypernetwork」をクリックすると「Hypernetwork」だけが表示されます。

後は自分が使いたい「Hypernetwork」を探してダウンロードしてください。

2,Google drive上にモデルのファイルをアップロードする

次にダウンロードしたファイルをGoogle drive上にアップロードしてください。

以下のフォルダにファイルをアップロードしてください。

/content/drive/MyDrive/stable-diffusion-webui/models/hypernetworks

※「hypernetworks」フォルダがない場合は作成をお願いします。

3.Google Colabのに必要なコードを追加してStable Diffusionを起動する

最後にStable Diffusionを起動するコードの中に以下のコードを追加してください。

!mkdir -p /content/stable-diffusion-webui/models/hypernetworks
!cp /content/drive/MyDrive/stable-diffusion-webui/models/hypernetworks/LuisapOldtarot_v1.pt(ここに使いたいモデルのファイル名を記載) /content/stable-diffusion-webui/models/hypernetworks

こちらのコードでWeb-ui上へ保存するためのフォルダの作成とフォルダへ使用したいモデルのコピーが作成されます。

上記のコードはコチラのコードよりも後に追記してください。

こちらのコードでStable DiffusionをGoogle Colab上に導入しているので、コチラより先だと上手く起動しない可能性があります。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd stable-diffusion-webui

拡張機能「Hypernetworks」の使い方

Stable DiffusionでHypernetworksを使用する方法は下記になります。

  1. トップ画面で「Hypernetworks」をクリック
  2. 使用したいHypernetworksのモデルをクリック
  3. プロンプトが追加されるので、後はGenerateをクリックして画像生成してください。

Hypernetworksの有無で生成画像がどうなるか比較してみました。

Hypernetworksなし

Hypernetworksなし

※使用したHypernetworkのモデルは「LuisapOldtarot_v1.pt」です。こちらはタロットカード風の画像を生成できるモデルです。

プロンプト

1 girl, sitting,(forest:1.2),summer,moon,(night,:1.1), <hypernet:LuisapOldtarot_v1:1>

※Hypernetworksなしの場合は<hypernet:LuisapOldtarot_v1:1>を削除しています。

ネガティブプロンプト

(worst quality, low quality:1.3),nsfw,ugly face,

このようにHypernetworkを導入することで簡単に画風を指定・固定するができます。

HypernetworkのモデルはCIVITAIでダウンロードすることができるので、自分が生成したい画像にあうモデルを探してみてください。

※『Civitai』の詳しい使い方については、以下の記事を参考にしてください。

【初心者向け】画像生成モデルDLサイト『civitai』とは？使い方を徹底解説
Stable Diffusionで画像を生成する際には、モデル選びは非常に重要な要素になってきます。今回ご紹介する『civitai』というサイトは、モデル選びに使える便利なサイトです。初心者の方にもわかるようにモデルのダウンロード方法や、商用利用などについて詳しく解説します！
romptn.com
2023.08.20
Stable Diffusionの画像生成を最速で学びたいあなたへ！
  • Stable Diffusionの基礎を2時間でマスター！
  • 高スペックPCがない方向けに徹底解説。
  • ControlNetなど、必須級の拡張機能も網羅。
  • 今話題のSDXL、AI動画生成も。
  • 特典として、大人気「おすすめ拡張機能・モデル解説」「プロンプト大全」つき！
＼このボタン限定！70%オフキャンペーン実施中！／
＼70%オフキャンペーン実施中！／

【画像例付き】画風に関する呪文(プロンプト)一覧

下の表に画風に関する呪文(プロンプト)の一覧を記載します。

画風/プロンプト生成画像　　　
イラスト風/super fine illustration
水彩画風/watercolor
ドット風/pixel art
サイバー・パンク風/cyber punk
シルエット風/silhouette
チビキャラ風/chibi character
表紙風/cover
モノクロトーン風/monochrome

このようにプロンプト一つで画風に影響を与えます。

ほかにも画風を変えるプロンプトはたくさんあるので、試してみてください。

romptn Q&Aで画像生成の悩みを解決しよう！
  • Stable Diffusionのエラーが解決しない
  • 画像生成がうまくできない
  • おすすめのモデルが知りたい
など、AIに関するお悩みがあれば投稿してみてください。
詳しい人が解決してくれるかもしれません。
Q&Aで質問してみる

まとめ

いかがでしたでしょうか？

今回はStable Diffusionで生成する画像の指定・固定方法の解説と画風に関する呪文(プロンプト)をご紹介しました。

今回のポイントをまとめると、以下のようになります。

  • Stable Diffusionで生成する画像の画風を変える方法は大きく４つある
  • ①画風に関する呪文（プロンプト）を入力する
  • ②ControlNetの拡張機能「LineArt」を使う
  • ③「Lora」を使う
  • ④拡張機能「Hypernetworks」を使う

画風を変更する手段はいろいろあります。自分が生成したい画像にあわせて画風の変更方法を選定してみてください。

romptn Q&Aで画像生成の悩みを解決しよう！
  • Stable Diffusionのエラーが解決しない
  • 画像生成がうまくできない
  • おすすめのモデルが知りたい
など、AIに関するお悩みがあれば投稿してみてください。
詳しい人が解決してくれるかもしれません。
Q&Aで質問してみる
スポンサーリンク