「Stable DiffusionのEbsynth utilityを使ってみたいけど、導入方法が必要なのか分からない」といった疑問を持っている方も多いのではないでしょうか。
こういった疑問にお答えするため、この記事では「Ebsynth utilityをStable Diffusionに導入する方法」や「Ebsynth utilityの利用方法」について解説していきます。
この記事を最後まで読むと、Ebsynth utilityで動画を生成できるようになります！
拡張機能「ebsynth_utility」とは？
Ebsynth Utilityは、動画を生成するStable Diffusionの拡張機能です。Ebsynth Utilityで動画を生成する場合、元となる動画が必要になります。
Ebsynth Utilityは元動画から一部を抽出して人物をStable Diffusionで生成した人物に置き換えた上で、動画化します。
拡張機能「ebsynth_utility」の導入方法
Ebsynth Utilityは、以下の手順でStable Diffusionに導入します。
- 「Extension」→「Install from URL」と進む
- 「URL for extension’s git repository」 の欄に”https://github.com/s9roll7/ebsynth_utility.git”をコピペ
- 「Install」をクリック
- 「installed」のタブに移動し、「Apply and restart UI」をクリック
まずStable Diffusionを立ち上げて、「Extension」のタブを開きます。「Install from URL」のタブ内の「URL for extension’s git repository」 の欄に、以下のURLをコピペしてください。
https://github.com/s9roll7/ebsynth_utility.git
コピペしたら、「Install」のボタンをクリックしましょう。最後に「installed」のタブに移動して、「Apply and restart UI」をクリックしたら、Stable Diffusionが再起動されてインストール完了です。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
Ebsynth Utilityを使う前の下準備
Ebsynth Utilityは導入するだけでは、利用できません。以下の下準備が必要です。
- 元動画を用意
- 作業用のフォルダを作成
- FFmpegの導入
- EBsynthのインストール
- Control Netの導入
どの順番でもいいので、全て用意してください。
①元動画を用意する
まずはEbsynth Utilityで動画を生成するための動画を用意してください。前述した通り、Ebsynth Utilityはゼロから動画を生成するのではなく、動画内の人物をStable Diffusionで生成した人物に変換すして動画を生成します。
元にする動画は、著作権に引っ掛からなければ、何でもOKです。フリー動画を使うなら、https://www.pexels.com/ja-jp/でダウンロードしてください。
動画は専用のフォルダを作成して、保存しましょう。
②作業用のフォルダを作成する
Ebsynth Utilityで動画を生成する作業のためのフォルダが必要なので、作成してください。先ほどの動画を保存するフォルダとは別物です。
作業用フォルダの名前も何でもOKですが、動画保存用フォルダと同じく日本語の名前やスペースが入っている名前はNGです。
③FFmpegを導入する
動画編集ソフト「FFmpeg」を導入する必要があります。FFmpegはStable Diffusionの拡張機能ではなく、独立したソフトです。
https://github.com/BtbN/FFmpeg-Builds/releasesから「ffmpeg-master-latest-win64-gpl.zip 」というファイルをダウンロードしてください。
ダウンロードしたファイルを解凍して、Cドライブにおきます。ファイル内にある「bin」というファイルを、以下の手順でPathに設定してください。
- Windowsのスタートメニューから「コントロールパネル」→「システムとセキュリティ システム」→「システムの詳細設定」→「環境変数」と進む
- 「Path」を選んで「編集」→「新規」と進む
- 「参照」をクリックしてbinフォルダを指定
- 「OK」をクリックしたら完了
Pathに変換したら、FFmpegの初期設定は完了です。
④EBsynthをインストールする
Ebsynth Utilityで動画を生成するなら、EBsynthというツールも必須です。Ebsynth Utilityで変換した一部の画像を、EBsynthで他の画像に適用させます。
https://ebsynth.com/からEBsynthをインストールしてください。下にある「No thanks, just start the download.」をクリックすれば、メールアドレスの登録は必要ありません。
ダウンロードしたzipファイル「EbSynth-Beta-Win」を解凍すれば、完了です。
⑤Control Netを導入する
必須ではありませんが、あると便利なのでControl NetをStable Diffusionに導入しておきましょう。Control Netの導入方法や使い方については、以下の記事を参照にしてください。
拡張機能「ebsynth_utility」の使い方
以下の手順で、Ebsynth Utilityを使って動画を生成します。
- 元動画から画像・マスクを抽出する
- キーフレームを抽出する
- キーフレームを画像に変換する
- 「ebsynth_utility」用のファイルを作成する
- Ebsynthを使う
- 画像を結合する
- 背景を変更する(したい方のみ)
順番に解説していきます。
①元動画から画像・マスクを抽出する
まずは元動画から、画像とマスクを抽出します。
Stable Diffusionで「Ebsynth Utility」のタブを開いてください。「Project directory」に作業用フォルダの名前、「Original Movie Path」に元動画を保存してあるファイル名をコピペしましょう。
動画は「ここに動画をドロップ」にドロップしても構いません。
「configuration」で動画のサイズを設定して、「Generate」をクリックしてください。作業用フォルダの中に「video_frame」「video_mask」というフォルダが作られて、中に大量の画像がダウンロードされれば完了です。
②キーフレームを抽出する
次に、動画からキーフレームを抽出します。キーフレームとは、動画内の重要なフレーム（動画）のことです。
Process Stageで「stage 2」に変更して、「Generate」をクリックすれば完了です。作業用フォルダ内に「video_key」というフォルダが作成されて、キーフレームが保存されます。
③キーフレームを画像に変換する
続いて、抽出したキーフレームを画像に変換します。
video_keyフォルダ内の画像を1枚、img2imgにドロップしてください。画像サイズを元の画像と合わせて、プロンプトで画像を調整しましょう。
④「ebsynth_utility」用のファイルを作成する
ebsynth_utility専用のファイルを作成します。
Process Stageで「stage 5」に変更して、「Generate」をクリックすれば「Ebsynth」用のファイルが作成されます。
⑤Ebsynthを使う
ここからは、事前にインストールしてあるEbsynthを使って、キーフレームに嵌め込んだ人物を、他のフレームに適用させていきます。
まず「EbSynth-Beta-Win」フォルダ中にある、Ebsynthを起動してください。Ebsynthを起動させたら、上の「Open」をクリックします。
stage 5で作成したebsynth_utility専用のファイルを読み込ませて、「Advanced」をクリックしてください。Synthesis Detailが「High」、Use GPUが「On」になっているのを確認した上で、「Run All」をクリックすれば完了です。
⑥画像を結合する
最後に、画像を結合させて動画化します。
Stable Diffusionに戻って、Ebsynth Utilityタブでconfigurationのタブでstage 7を選択してください。設定はデフォルトでOKです。
「Generate」をクリックすれば、画像の結合が完了です。（_with_snd.mp4）」「音声なし」の２種類の動画が作成されれば完成です。
⑦背景を変更する(したい方のみ)
動画の背景を変更したい方は、configurationタブ内で「satge8」に切り替えてください。背景に差し込みたいmp4ファイル（動画）、またはフォルダ（画像）を指定して、Generateをクリックすれば完了です。
まとめ
いかがでしたでしょうか？
Ebsynth utilityについて解説してきました。
今回のポイントをまとめると、以下のようになります。
- Ebsynth utilityは動画を生成する拡張機能
- 動画生成には、元となる動画が必要
- 「FFmpeg」と「EBsynth」の外部ツールが必要
Ebsynth utilityでの動画生成は、かなりややこしいです。何度も挑戦して、マスターしていってください。
- Stable Diffusionのプロンプトの見本が知りたい
- 画像生成が思ったようにできない
- 色々なプロンプトを探したい
