Stable Diffusion で画像を生成していて、「色だけ塗り直したいなぁ」なんて思う事ないですか？
Stable Diffusionの拡張機能、ControlNetを使って『今回は色を塗り直す』、そんなテクニックをご紹介します。
Stable Diffusionで線画に色塗りをする方法
Stable Diffusion の使用環境は整っていますか？
※Stable Diffusionの立ち上げ方法や使い方については、以下の記事で詳しく解説しています。
Stable Diffusion が立ち上がりましたら、レッスンを開始しましょう。
①モデルとVAEを選択する
まず、モデルを決めましょう。イラスト系モデルであれば正直なんでもいいのですが、今回はこのモデルを使ってみようと思います。
Ether Real Mix
最近出た来たあたらしめのイラスト系モデルです。
なぜ今回このモデルを選んだのは、推奨のVAEが一緒にダウンロードできるので、たまには違うVAEを使ってみたかったからです。
モデルの保存場所はもう皆さんご承知の事音は思いますが、下記の箇所になります。
stable-diffusion-webui / models / stable diffusionそしてVAEの置き場所はわかりますか？あまりやらない作業なのでわからない人がほとんどです。stable-diffusion-webui / models / VAE ここです。
モデルとVAEのセッティングをSettingsから行いましょう。
では準備はOKなので、制作していきます。
②「txt2img」でイラストを指定する
まずはベースとなる画像を作成します。
以下の条件で生成しました。
呪文(プロンプト)
(sketch:1.1), masterpiece, best quality, 1girl, ponytail, long hair, oversized track jacket, shorts, jewelry, smile, simple background
white backgroundネガティブプロンプト
realistic, photorealistic, photograph, 3D, NSFW, (worst quality, low quality:1.3)パラメータ設定
- Sampling steps : 20
- Sampling method : DPM++ 2M Karras
- CFG Scale : 9
- Seed : 4180632602
- Face restoration : CodeFormer
- Size : 440×640
- Model hash : d173e91970
- Model : etherRealMix_etherRealMix31
- RNG : CPU
- Version : v1.3.2
では、この画像を使用して色調を変えていきます。
③『ControlNet』で線画を選択して色塗りする
拡張機能の『ControlNet』を使います。『ControlNet』には画像の生成を助けてくれる様々な機能がありますが、今回は線画系の情報を使います。
※『ControlNet』の導入方法や使い方については、以下の記事で詳しく解説しています。
線画系の情報にも色々とあります。canny, linear, scribble どれでも色変は可能です。
それぞれどのような線画の情報になるのか見てみましょう。
これらの線画情報を使用して画像を生成し、色を変えていきます。
実際に線画を色塗りさせてみた
最初はcannyからいきましょう。『ControlNet』のセッテイングは以下のとおりです。
色を変えるので、プロンプトで髪の毛と服の色を変えてみます。
出来た画像はこんな感じです。
呪文(プロンプト)
(sketch:1.1), masterpiece, best quality, 1girl, ponytail, Blond hair, oversized track jacket_pink, shorts, jewelry, smile, simple background
white backgroundネガティブプロンプト
realistic, photorealistic, photograph, 3D, NSFW, (worst quality, low quality:1.3)パラメータ設定
- Sampling Steps: 20
- Sampler: DPM++ 2M Karras
- CFG scale: 9
- Seed: 4180632603
- Face restoration: CodeFormer
- Size: 440×640
- Model hash: d173e91970
- Model: etherRealMix_etherRealMix31
- RNG: CPU
- ControlNet 0
- Module: canny
- Model: control_sd15_canny [fef5e48e]
- Weight: 1
- Resize Mode: Crop and Resize
- Low Vram: False
- Processor Res: 512
- Threshold A: 100
- Threshold B: 200
- Guidance Start: 0
- Guidance End: 1
- Pixel Perfect: True
- Control Mode: Balanced
- Version: v1.3.2
続いてlinearを使ってみます。
完成品はこちらです。
呪文(プロンプト)
(sketch:1.1), masterpiece, best quality, 1girl, ponytail, Blond hair, oversized track jacket_pink, shorts, jewelry, smile, simple background
white backgroundネガティブプロンプト
realistic, photorealistic, photograph, 3D, NSFW, (worst quality, low quality:1.3)パラメータ設定
- Sampling Steps: 25
- Sampler: DPM++ 2M Karras
- CFG scale: 9
- Seed: 4180632603
- Face restoration: CodeFormer
- Size: 440×640
- Model hash: d173e91970
- Model: etherRealMix_etherRealMix31
- RNG: CPU
- ControlNet 0
- Module: scribble_pidinet
- Model: control_sd15_scribble [fef5e48e]
- Weight: 1
- Resize Mode: Crop and Resize
- Low Vram: False
- Processor Res: 512
- Guidance Start: 0
- Guidance End: 1
- Pixel Perfect: True
- Control Mode: Balanced
- Version: v1.3.2
linear はアウトラインが少し弱いかもしれません。微調整した方がいいかもしれませんね。
次はscribbleでやってみます。
見やすいように並べてみます。
どの方法を使っても問題なく作画できます。
あとは使用するモデルとの相性であるとか、構図の緻密さによって使い分けすれば良さそうです。
ちなみに線画情報以外でも
この二つもかなり有効に使えます。
線が邪魔しない分、綺麗な作画ができます。ただ元絵から細かい部分が変わってしまいます。
いずれにしても『ControlNet』の威力は絶大ですね。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
まとめ
いかがでしたでしょうか？
Stable Diffusionで線画に色塗りをする方法を紹介！について解説してきました。
今回のポイントをまとめると、以下のようになります。
- 【ControlNet】を使えば色変画像が簡単に作成できる。
拡張機能の基本中の基本の { ControlNet } ですが、うまく使いこなせればあなたの制作の幅が広がります。
ControlNet を重ねがけして、もっと緻密な画像を生成することもできます。
色々と試してみてください。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
