ComfyUIで『AnimateDiff』を導入する方法・使い方!高画質なAIアニメーションを作ろう!

Stable Diffusion

「ComfyUIで簡単にアニメーション画像を作成できるの?」

「でもどうやって作るのかわからない…」

このような疑問を持つ方へ向けて、ComfyUIでアニメーションを作成する機能「AnimateDiff」の導入から使い方までを詳しく解説します!

この記事を参考にして、アニメーションの生成に挑戦してみましょう!

内容をまとめると…

  • AnimateDiffはComfyUI上で画像からアニメーション動画を生成できる拡張機能

  • 公式配布のワークフロー画像をドラッグ&ドロップするだけでアニメーション生成環境が整う

  • プロンプトを指定してオリジナルのAIアニメーション動画を作成することも可能

  • モーションモジュール(mm_sd_v14.ckpt)の導入が必要で、v3ではアップスケールやlcm技術も利用できる

プロンプト・導入・制作フローをまとめて学びたい方向けに、AI制作に役立つ無料資料を用意しています。

画像生成だけでなく、AIに作業を任せるためのエージェント活用資料もあわせて受け取れます。

監修者_SD
監修者プロフィール
沖@AI画像生成
Xで5万人のフォロワーをかかえる、画像生成クリエイター。Stable Diffusionを中心に、様々な画像生成AIや動画生成AIを駆使し、コンテンツを制作。画像生成に関連する講演会なども多数こなす。AI画像制作の仕事も募集中。

ComfyUIとは?

公式GitHubより

https://github.com/comfyanonymous/ComfyUI]

ComfyUIは、画像生成AIであるStable Diffusionを操作するためのツールの一つです。特に、ノードベースのUIを採用しており、さまざまなパーツをつなぐことで画像生成の流れを制御します。

Stable Diffusionの画像生成web UIとしては、AUTOMATIC1111が有名ですが、「ComfyUI」はSDXLへの対応の速さや、低スペックPCでもOKという性能の高さから注目を集めています。

ComfyUIを始めるには、いくつか追加のプログラムをコンピューターに入れる必要があります。これには、GIT、FFmpeg、そして7zipが含まれます。これらのプログラムを使って、ComfyUIのセットアップを完了し、動画を作るための準備を整えることができます!

※詳しい概要やメリットは、以下の記事で解説しています。

AnimateDiffとは?

「AnimateDiff」とは、ComfyUI上で画像からアニメーションを作成するための拡張機能です。

「AnimateDiff」を使うと、AnimateDiff専用のモーションモジュールを利用して、一貫性のある動画を生成することが可能になります!

AnimateDiffのv3では、アニメーションの品質を向上させるための新機能が導入されています。これには、アップスケール技術や、よりリアルな動きを生成するためのlcm(Least Common Multiple)技術が含まれます。

AnimateDiffの特徴の一つは、カスタマイズ可能なワークフローを提供していることです。ワークフローでは、「prompt travel」という機能を使って、アニメーションに特定の動きを加えることができます。

基本的なワークフローには、ControlNetの設定、prompt travelを利用したアニメーションのカスタマイズ、そしてimg2img変換が含まれます。

※詳しい概要や使い方は、以下の記事で解説しています。

ComfyUIの立ち上げ方

まず、ComfyUIのインストール方法を説明しておきます。

以下が手順になります!

①ComfyUIのインストール

②モデル(チェックポイント)・VAEのダウンロード

③SDXL用のComfyUIを立ち上げる

詳しいやり方は、こちらで解説していますのでまだ導入していない方は参考にしてください。

『AnimateDiff』でアニメーションを生成してみる

それではここからは実際にアニメーションを生成してみましょう!

①公式で配布しているワークフローを読み込む

AnimateDiff for ComfyUIの公式サイトから配布されているワークフローを利用します。メタデータをComfyUIの画面上にドラッグ&ドロップするだけで簡単に使用できます!

以下の手順に従い実行しましょう。

1.下記のAnimateDiff for ComfyUIの公式サイトへアクセスします。

GitHub - Kosinkadink/ComfyUI-AnimateDiff-Evolved: Improved AnimateDiff for ComfyUI and Advanced Sampling Support
Improved AnimateDiff for ComfyUI and Advanced Sampling Support - Kosinkadink/ComfyUI-AnimateDiff-Evolved

2.公式のワークフロー画像をComfyUIの画面上にドラッグ&ドロップします。

3.「Queue Prompt」をクリックし、アニメーションの生成を開始します。

※出力されたアニメーション

出力されたアニメーションは、ComfyUIがインストールされているoutputフォルダに保存されますので、確認しましょう。

万が一、画像をドラッグ&ドロップできない場合は、以下の手順を試してください。

1.ワークフロー画像ファイルをダウンロードします。

2.ComfyUI上でダウンロードしたファイルを「Load」します。

これでワークフローをComfyUIに読み込むことができます!

②プロンプトを指定して動画を生成する

最後に、プロンプトを使用してアニメーションを動画を作成しましょう。

1.CLIP Text Encode(Prompt):希望するプロンプトをグリーンの欄に、ネガティブプロンプトをレッドの欄に入力します。

今回は、ネガティブプロンプトは初期設定を使用し、グリーンのプロンプト欄に動画の内容を指定します。

2.「Queue Prompt」をクリックしてアニメーションの生成を開始します。

入力したプロンプト

1girl, solo, sea, beach, seashells, sand, summer season, ocean waves, sea foam, seagulls, palm trees, outdoors, sea breeze, black eyes, upper body, from side

※出力されたアニメーション

以上でアニメーション動画の生成が完了します。

まとめ

いかがでしたでしょうか?

ComfyUIで『AnimateDiff』を導入する方法・使い方について解説してきました。

今回のポイントをまとめると、以下のようになります。

  • 「AnimateDiff」とは、アニメーションを作成するための拡張機能。
  • 公式のワークフローをアップロードするだけで動画が生成できる。
  • プロンプトを指定してアニメーション動画を生成するこも可能。

ComfyUIで『AnimateDiff』を使って、2枚の画像を組み合わせてアニメーションを生成する方法もありますので、そちらも今後記事にして紹介する予定です!

画像生成AIを使いこなすには、ツールの使い方だけでなく、プロンプト改善・環境導入・モデル選定・作業フローの理解が重要です。制作に役立つAI資料をまとめて受け取れます。

クリエイター向け資料を受け取る
10秒で受取完了 画像生成完全ガイド無料配布中 無料で受け取る