Stable Diffusion web UIの拡張機能であるsd-webui-mov2movを使うと動画に対してプロンプトを適用して別人の動画を作ることができます。
この記事ではmov2movを使って、動画から別人の動画を生成する方法を紹介します。
mov2movとは？
この記事で説明するmov2movとは、Stable Diffusion web UIの拡張機能のひとつで動画から動画を生成する技術です。
movie to movieの略称でmov2movです。
仕組みとしては、はじめに動画をフレームごとに分割し、それぞれの画像に対してimage-to-imageを適用して新しい画像を作り、最後にすべての画像を統合して動画を作成するようです。
mov2movのインストール
mov2movのインストールは簡単です。
webUIでExtensionsタブを開き、Install from URLタブで以下を入力してmov2movをインストールします。
https://github.com/Scholar01/sd-webui-mov2mov
Installedタブの「Apply and restart UI」ボタンでUIを再起動します。
すると、web UIにmov2movのタブが追加されます。
Settingsタブを開き「ControlNet」→「Allow other script to control this extension」にチェックを入れます。
チェックを入れたら「Apply Settings」をクリックします。
以上でインストールは完了です。
動画のアップロード
それでは動画をアップロードしましょう。
web UIでmov2movのタブを開きます。
画面左下のスペースに変換元の動画（mp4）をドラッグアンドドロップします。
※mov2movで変換した動画を公開するときは、元の動画の著作権や肖像権に注意してください。自分自身で撮影した動画を使用するのが望ましいです。
ここでは自分で撮影した動画を使用します。
処理に時間がかかるため、最初は短めの動画（2~3秒くらい）で試すことをおすすめします。
最小限の設定
動画をアップロードしたら、まずは動作確認として最小限の設定で動画を生成してみましょう。
ここでは以下を設定します。
- Resize mode … Crop and resize
- Generate Movie Mode … MP4V
- Movie Frames … 10
- Denoising strength … 0.4
Resize mode
元の動画をリサイズするか切り抜くかを設定します。ここではCrop and resize（切り抜いてリサイズする）を選択します。
Generate Movie Mode
生成する動画の形式を指定します。もと動画がmp4なのでMP4Vに合わせています。
Movie Frames
動画のフレームレート（1秒間に何枚の画像を表示するか）を指定します。数字が大きいほど滑らかな動画になりますが、処理時間が長くなります。ここでは最小の10に設定します。
Denoising strength
もとの動画に従うことを重視するか、プロンプトを重視するかを決める設定です。
高い値にするほどプロンプトが重視され、もとの動画との乖離が大きくなります。
初期値は0.75ですが、このままだと1枚1枚のフレームが違いすぎて動画としてつながりません。0.4くらいまで下げた方が最初はわかりやすいです。
プロンプトの入力
さて、動画をアップロードして最低限の設定ができたら、最後にプロンプトを入力します。
プロンプトは自由に設定してください。
今回はシンプルに「1 gril」とだけ設定しました。
動画への変換
プロンプトの入力まですべて完了したらGenerateボタンを押します。
しばらくすると動画が完成して、Generateボタンの下に表示されます。
生成された動画を見てみましょう。
もとの動画は男性が手を振っているものですが、AIで生成された動画は女性の顔になっています。
フレームレートが低いので少しちらつきが気になります。
設定を変えてもう少し滑らかに見えるようにしましょう。
Movie Framesを30に上げます。
フレーム数を増やしたことで滑らかな動画になります（ただし変換処理に時間がかかります）。
先ほどよりも滑らかになってはいますが、相変わらずちらつきが気になりますね。
細かい設定を見て調整する必要がありそうです。
より自然で高解像度な動画を作る方法は、後ほど公開します。
まとめ
今回はStable Diffusion web UIにmov2movの拡張機能をインストールして動画から別人の動画を生成する方法を紹介しました。
簡単に使用できますが、自然な動画を作るには工夫が必要になります。
より自然で高解像度な動画を作る方法は、後ほど公開予定です。
記事の内容にわからないことがある方は以下のアカウントに気軽にDMしてください！
また、最新の技術の活用方法など役に立つツイートを心がけているので、ぜひフォローしてもらえると嬉しいです！
コメント