【比較検証】Stable Diffusionの『VAE』とは？使い方やおすすめVAEも紹介

Stable Diffusionの環境設定をやっとの思いで完了させて、
いざ生成された画像をみてこんな思いをしたことはありませんか？

これらの問題はStable Diffusionに『VAE』という機能を導入することで解決することができます。

この記事ではStable Diffusionで生成する画像の質を向上させる『VAE』とは何か、導入方法・使い方、おすすめVAEなどを比較検証しながら紹介していきます。

【比較例付き】Stable Diffusionでよく使うVAEとは？

『VAE』とは、変分自己符号化器（Variational Auto-Encoder）という画像生成モデルの一種です。

要するにVAEは”Stable Diffusionでイラスト生成する時に補助してくれるツール”です。VAEの種類によって彩度や色味、シャープ感などに違いがでます。

Stable DiffusionにVAEを導入すると同じ呪文(プロンプト)でも画像の質が向上します。

下記画像をご覧ください。VAEなしで生成した画像は全体にモヤがかかっているのに対して、VAEありで生成した画像は全体がハッキリしているのが分かると思います。

このようにVAEを導入することで高画質化することができます。

両者共通で下記の呪文(プロンプト)で画像を生成しました。

呪文(プロンプト)

(best quality, masterpiece:1.2),forest,river,sky,sun,morning

ネガティブプロンプト

(worst quality, low quality:1.2),

VAEのダウンロード方法

『VAE』はHugging FaceやCIVITAIにて公開されています。

今回はHugging FaceでVAEをダウンロードする方法を説明します。

VAEのダウンロードは以下の手順で実施できます。

①Hugging FaceでダウンロードしたいVAEを検索します

②ダウンロードしたいVAEのページの「Files and versions」をクリックします

③ダウンロードしたVAE欄のLFSをクリックしてダウンロード完了です。

Google Colaboratry上で「StableDiffusionUI-Voldemort V1.3」の環境でStable Diffusionを使用されている方は、以下のパスにダウンロードしたVAEを保存してください。

/content/drive/MyDrive/stable-diffusion-webui/models/VAE

Stable Diffusionを起動する一つ前のコードに下記を追加して実行すると指定パス上に保存されているVAEを使用することができます。

!cp /content/drive/MyDrive/stable-diffusion-webui/models/VAE/[使用するVAEモデルのファイル名]  /content/stable-diffusion-webui/models/VAE/

これでStable Diffusionを起動したとき、簡単に『VAE』を使用することができます。

VAEの設定方法・変更方法

『VAE』の設定(変更)は以下の手順で実施できます。

①画像生成のTOP画面で「Settings」タブを選択します。

「Settings」タブを選択して、Stable Diffusionの設定を変更するページへ移動します。

②ページ内の「Stable Diffusion」の項目を選択します。

③「SD_VAE」欄にてプルダウンをクリックして使いたいVAEを選択します。

「SD_VAE」のプルダウンをクリックするとダウンロードしたVAEが選択できます。

④「Settings」ページ上部の「Apply Settings」をクリックして変更を反映させます。

以上がStable DiffusionでVAEを設定(変更)する方法です。これで生成画像のクオリティが大きく向上します。

【おすすめ設定！】VAEを簡単に切り替える方法

『VAE』を切り替えるために毎回「Settings」画面で変更するのはめんどくさいと思う方に、VAEを簡単に切り替える方法を紹介します。

これから紹介する方法を使えば、モデル選択の右側にVAEモデルの切り替えできる項目を設置できます。

VAEを簡単に切り替える方法は以下の手順で実施できます。

①画像生成のTOP画面にて「settings」タブを選択します。

「Settings」タブを選択して、Stable Diffusionの設定を変更するページへ移動します。

②ページ内の「User interface」項目を選択します。

③「Quicksettings list」欄にてプルダウンをクリックして「sd_vae」を選択します。

④「Apply settings」をクリックした後に「Reload UI」をクリックして変更を反映させ、Stable Diffusionを再起動します。

「Reload UI」をクリックすると画像生成ページの一番上にVAEを切り替えるタブが表示されます。

これでStable DiffusionでVAEを簡単に変更する設定の完了です。設定完了後は、タブからVAEを簡単に変更することができます。

Stable Diffusionで画像生成する時におすすめのVAE

　Stable Diffusionに画像生成をするときにおすすめのVAEを紹介します。

おすすめVAE①：『vae-ft-mse-840000-ema-pruned』

『vae-ft-mse-840000-ema-pruned』というVAEは、Stability AI社がHugging Faceで公開しているもので、デフォルトに近いものになっています。

実写系(リアル系)でもイラスト系でも対応ができるマルチなVAEです。

おすすめVAE②：『Clear VAE』

『Clear VAE』というVAEは、CIVITAIにて公開されています。

アニメ調のモデル向けに調整されており、イラストや描画系でよく使われます。

逆にリアル系での使用はおすすめされていません。

おすすめVAE③：『kl-f8-anime2』

『kl-f8-anime2』というVAEも、CIVITAIにて公開されています。

こちらもイラストや描画系でよく使用されるVAEです。

彩度とシャープ感を両立させたイラストの生成に向いています。

おすすめVAE④：『pastel-waifu-diffusion』

『pastel-waifu-diffusion』というVAEは、Hugging Faceでpastel-mixモデルとセットで提供されています。

こちらのページの「Files and versions」タブからダウンロードできます。

pastel-mixモデルと合わせて使用することで、淡く柔らかいタッチのイラスト生成が可能になります。

おすすめVAE⑤：『orangemix』

『orangemix』というVAEは、Hugging Faceでorgamixモデルとセットで公開されています。

こちらのページの「Files and versions」タグを開いて「VEAs」からダウンロードできます。

アニメ系モデルに適しているVAEであり、彩度を抑えて落ち着いた画像を生成する場合におすすめです。

おすすめVAE⑥：『Counterfeit-V2.5』

『Counterfeit-V2.5』というVAEは、Hugging FaceでCounterfeit-V2.5モデルとセットで公開されています。

こちらのページからダウンロードできます。

Counterfeit-V2.5モデル用のVAEで、背景を上手に生成できるといわれています。

他のモデルで推奨設定されていることはほとんどありません。

おすすめVAE⑦：『Anything 4.0』

『Anything 4.0』というVAEは、Hugging FaceでCounterfeit-V2.5モデルとセットで公開されています。こちらのページでダウンロードできます。

Anything 4.0モデルと合わせて提供されているVAEです。

短い呪文(プロンプト)で高品質・高精細なアニメ風画像を生成することができます。

おすすめVAE⑧：『blessed/blessed-fix/blessed2』

『blessed/blessed-fix/blessed2』というVAEは、Hugging Faceで公開されています。

こちらのページからダウンロードできます。

明暗のコントラストが強調されやすいVAEです。

おすすめVAE⑨：『Mangled Merge VAE』

『Mangled Merge VAE』というVAEは、CIVITAIにて公開されています。

リアル系・アニメ系どちらでもクオリティの高い画像を生成できるVAEです。

おすすめVAE⑩：『MasterVae』

『MasterVae』というVAEは、CIVITAIにて公開されています。

こちらもリアル系・アニメ系どちらでも綺麗な画像を生成できるVAEとなっています。

おすすめVAE⑪：Matrix-VAE

『Matrix-VAE』というVAEは、CIVITAIにて公開されています。

こちらもリアル系・アニメ系どちらでも綺麗に画像を生成できるVAEとなっています。

おすすめVAE⑫：Tone Range Compressor (VAE)

『Tone Range Compressor (VAE)』というVAEは、CIVITAIにて公開されています。

リアル系画像を中心に、アニメ系画像でもクオリティの高い画像を生成できるVAEとなっています。

おすすめVAE⑬：『Color101 VAE』

『Color101 VAE』というVAEは、CIVITAIにて公開されています。

アニメ系画像を中心に、リアル系画像でも綺麗に画像を生成できるVAEとなっています。

おすすめVAE⑭：difConsistency RAW VAE (Pack)

『difConsistency RAW VAE (Pack)』というVAEは、CIVITAIにて公開されています。

リアル系・アニメ系どちらでもクオリティの高い画像を生成できるVAEとなっています。

【注意！】同一のファイルで別名のVAEも存在する

配布先とファイル名は違っていますが、内容は全く同じのVAEが存在します！

上記のファイルはそれぞれ1つ選んでダウンロードすることにより、メモリ不足を避けることができます。

【比較検証！】VAEによる生成画像の違い

ここからは、VAEによる生成画像の違いを3つのVAEで画像を生成しながら比較検証していきます！

実写系モデルは「yayoi_mix」、アニメ系モデルは「MeinaMix」を使用しています。

※「yayoi_mix」については、以下の記事を参考にしてください。

【Stable Diffusionモデル】yayoi_mixの使い方

Stable Diffusionのモデルである、『yayoi_mix』の使い方についてプロンプト(呪文)・画像生成例と共に解説しています！商用利用の可否や、ダウンロード方法、おすすめVAEについてもご紹介しています。

romptn.com

2023.09.15

①Anything-v3.0

●リアル系

●アニメ系

②Clear VAE

●リアル系

●アニメ系

③vae-ft-mse-84000-ema-pruned

●リアル系

●アニメ系

いかがでしょうか？

やはり「VAEあり」の方が繊細で綺麗な印象の画像が生成されますね。さらに高画質化されるものもあります。

VAEを使って画像を生成したほうが、あとから高画質化・高解像度化するよりも圧倒的に効率が良いといえるでしょう。

VAEを上手に使うコツ！

VAEにはモデルとの相性があります。

生成画像の質が悪いときはVAEとモデルの相性が悪い可能性があります。

VAEにはモデル専用といろんなモデルに使用可能な種類があります。

例えば、上記でおすすめした『vae-ft-mse-840000-ema-pruned』はいろいろなモデルに適用可能です。

一方で下記画像のように、『Counterfeit-V2.5』はモデル専用になっています。

特にモデル専用のVAEはモデルと一緒に提供されていることが多いので、セットで提供されいている場合はそちらを使用してみてください！

※モデル『Counterfeit』については、以下の記事を参考にしてください。

Stable DiffusionのモデルCounterfeit-V3.0の導入方法や商用利用を解説

Stable Diffusionでアニメ系美少女を生成したい人必見のモデル『Counterfeit-V3.0』についてメリットやデメリット、インストール方法から使い方まで詳しく解説しています！

romptn.com

2023.08.20

まとめ

いかがでしたでしょうか？

Stable Diffusionの生成画像の質を向上させるVAEの説明やおすすめのVAEの紹介をしてきました。

今回のポイントをまとめると、以下のようになります。

Stabled DiffusionにVAEを導入すると生成画像の質が向上します。

難易度も高くないので、是非導入してより高品質な画像を生成してください！