2024年1月24日、Google Reserchから、リアルで統一性のある動画が生成できるAIツール『Lumiere』が登場しました。
今回はそんな『Lumiere』というツールの概要、機能について詳しく解説していきます！
2024年2月現在、『Lumiere』は一般公開されていません。
Lumiereの概要
『Lumiere』は、動画生成における課題とされる「リアルで多様でありながら一貫性のある動きの表現」を解決することを目指して開発されました。
- テキストプロンプトから動画を生成する
- 画像から動画を生成する
- リファレンス画像のスタイルに応じた動画を生成する
- 動画にテキストプロンプトでスタイルを適用する
- 画像の一部を動かす
- 動画の一部を補完・修正する
などたくさんの機能を備えた動画生成ツールです。
公式YouTube動画も是非参考にしてみて下さい。
従来のモデルとの違い
従来のアプローチでは、キーフレームを生成してから時間的な超解像を行いますが、時空間U-Netアーキテクチャを用いることで、動画全体を一度に生成することが可能となり、高品質な動画を生み出すことができます。
このアーキテクチャでは、空間的および時間的なダウン/アップサンプリングと、事前学習済みのテキスト画像拡散モデルを組み合わせて使用し、複数の時空間スケールで処理を行います。
その結果、フルフレームレートの低解像度映像を直接生成することが可能となります。
Lumiereの機能
ここからは、『Lumiere』の機能についてご紹介していきます。
①Text-to-Video：テキストから動画を生成する
こちらは基本的な機能になります。
②Image-to-Video：画像から動画を生成する
こちらも基本的な機能になります。
③Stylized Generation：スタイルを統一した動画の生成
単一の参照画像を使用して、微調整されたテキストから画像へのモデルの重みを利用して、ターゲットスタイルのビデオを生成できます。
④Video Stylization：動画のスタイル
既存のテキストベースの画像編集方法を使用して一貫したビデオ編集を行うことができます。
⑤Cinemagraphs：シネマグラフ
ユーザーが指定した特定の領域内の画像のコンテンツをアニメーション化できます。
⑥Video Inpainting：ビデオの修正
まとめ
いかがでしたでしょうか？
Googleから登場した超リアルな動画生成AI『Lumiere』の概要や機能について解説してきました！
今回のポイントをまとめると、以下のようになります。
- 『Lumiere』…Google Reserchから公開された、リアルで統一性のある動画が生成できるAIツール
- 2024年2月現在、『Lumiere』は一般公開されていない。
- 『Lumiere』の機能
- テキストプロンプトから動画を生成する
- 画像から動画を生成する
- リファレンス画像のスタイルに応じた動画を生成する
- 動画にテキストプロンプトでスタイルを適用する
- 画像の一部を動かす
- 動画の一部を補完・修正する
今後一般公開されるのかはわかりませんが、使えるようになるのがとっても楽しみなAIツールですね！
- ChatGPTで〇〇を効率化したい
- スライドを作るならどのAIツールがおすすめ？
- おすすめのGPTsが知りたい
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください！
