画像を用意する
イラストや写真など、動かしたい一枚を選びます。NovelAIで用意する場合もありますが、入力はそれに限りません。
画像や文章をもとに、映像と音声をつくるAIです。動画や音声を参考資料として渡すこともできます。
このページで焦点を当てるのは、静止した一枚を出発点に、動きや音のある短い映像へ進む流れです。入力画像の雰囲気をどこまで残すか、どんな動きを文章で伝えるかで、出力の表情は変わります。
公式モデルカードを読む ↗複雑な設定をいったん横に置き、入力・指示・確認の三つに分けて見ます。
イラストや写真など、動かしたい一枚を選びます。NovelAIで用意する場合もありますが、入力はそれに限りません。
カメラ、表情、風、声など、画像の先に起こしたいことを言葉にします。
生成された短い映像を見て、意図した動きになっているかを確かめます。
今回の構成:画像の準備にNovelAIなど、動画生成にMiniMax H3をComfyUI上で使用します。処理はレンタルGPU環境で行います。
掲載できる画像・動画が整った段階で、この場所に追加します。
作例を準備しています元の画像と、そこから生まれた動画を掲載予定です。現在、このページで再生・ダウンロードできる動画はありません。
気になる話題を開くと、Redditの議論や公式ガイドへ進めます。
以下は参考リンクのメモです。コミュニティ上の個別報告であり、すべての環境に共通する設定や結果を示すものではありません。
community noteFL2VとRef2Vの違いや、steps設定についての個別報告を読む項目です。比較条件が同じとは限らないため、数値をそのまま一般化しません。
community note前の区間を次の生成へ渡して連続させる方法や、長尺化のための試行を紹介する投稿です。色・音声・動作の連続性は条件ごとに確認が必要です。
community note意図しない発話への対処や、音声参照と台詞の書き方が話題になっています。公式の記法を確認するよう促すコメントもあります。
official + community公式ガイドは、画像のalignment、映像、台詞、環境音、BGMを役割ごとに整理します。構造を守っても出力を保証するものではありません。
community note生成した動画をアップスケールし、フレーム補間を加えた作例の投稿です。仕上げの方法を探す入口として。
リンク先の内容・公開状態は変わる場合があります。原典を確認してから利用してください。
スマートフォンのカメラでQRコードを読み取るか、下のリンクからご覧ください。
