ソースポートレートを選ぶ
人物のアイデンティティ、照明、衣服、全体的なビジュアルを提供する、顔がはっきり写った画像から始めます。
LivePortraitとは？――何ができるのか
LivePortraitとは？ソースポートレートの人物のアイデンティティとビジュアルスタイルを維持しながら、駆動動画から顔の動き、表情、頭部の動きをソースポートレートに転送し、アニメーション化された結果を生成するAIモデルです。
一言でいうLivePortrait
基本的な考え方はシンプルです。1枚のポートレートが外見を提供し、1つのモーションソースが演技を提供します。
仕組み
LivePortraitは外見と動きを分離し、短い画像から動画への生成プロセスで再び組み合わせます。
駆動パフォーマンスを用意する
動画またはモーションシーケンスが、表情、目の動き、頭部の回転、発話に関連する動きなどの手がかりを提供します。
アニメーションポートレートをレンダリングする
モデルは駆動モーションをソースポートレートにマッピングし、人物を維持しながらパフォーマンスに従うフレームを生成します。
できることとできないこと
モーション転送と完全な動画生成の違いを理解することで、正確な期待値を設定できます。
01
できること
LivePortraitは、別のパフォーマンスから取得した動きを使って、1枚のポートレートをアニメーション化できます。表情豊かなトーキングヘッド映像、さりげない反応、顔の向きの変化、視線、笑顔、スタイライズされたポートレートアニメーションに適しています。顔や重要な特徴が読み取れる限り、元のポートレートは写真、イラスト、その他のビジュアル形式に対応できます。
- 目に見える顔や頭部の動きを転送
- 元の人物のアイデンティティやスタイルを大部分維持
- リアルなポートレートとイラスト調のポートレートに対応
02
保証できないこと
LivePortraitは、汎用的なシーンシミュレーターではありません。1枚の静止画像から、全身の動き、新しいカメラワーク、正確な手の動き、または一貫した背景を自動的に作り出すことはできません。顔が隠れている場合、角度が極端な場合、照明が不十分な場合、非常に強くスタイライズされている場合、またはドライビングパフォーマンスと大きく異なる場合には、結果が弱くなることもあります。
- 顔画像からあらゆる体の動きを作り出すことはできません
- 遮蔽、極端な角度、または特徴的な顔では苦戦する場合があります
- 安定した結果を得るには、適切なソース入力とドライビング入力が必要です
利用者
新しい被写体をバリエーションごとに撮影することなく、静止したキャラクターにコンパクトで繰り返し可能なパフォーマンスを与えたい場面で、このモデルは役立ちます。
研究モデルからクリエイティブなワークフローへ
この形式は、ポートレートの動きを制御するという研究上の課題から発展し、キャラクターや表情、ビジュアルコミュニケーションを探求する実用的な方法になりました。
-
静止画像が被写体を固定する
従来のポートレートメディアは、固定された写真やイラストから始まります。見た目は確立されていますが、画像には自然に反応したり演技したりする方法がありません。
-
ドライビングシーケンスがパフォーマンスを追加
動きの転写に関する研究では、2つの入力を分けて扱う有用な方法が示されました。一方は「誰を描くか」を、もう一方は「その人物がどう動くか」を指定します。
-
人物の特徴と動きのバランスを取る
現代のポートレートアニメーションモデルは、動きの参照元に含まれる表情やポーズに従いながら、人物と分かる特徴を保つことを目指しています。
-
アニメーション化したポートレートを再利用できる素材に
同じ元画像から異なる動きを表現できるため、実験、キャラクター研究、解説コンテンツ、ビジュアルプロトタイプに役立ちます。
ビジュアルで見るビフォー・アフター
元のポートレート
見た目は元のポートレートから、動きは参照するパフォーマンスから得られます。
仕組みを実際に見てみる
LivePortraitを理解するには、2つの入力を別々に考えると分かりやすくなります。元画像は「誰を見せるか」に、動きの参照シーケンスは「どう動くか」に答えます。モデルは人物の特徴と動きを組み合わせ、確認、調整、再利用が可能なアニメーション化されたポートレートを生成します。
- 顔がはっきり見える正面向きのポートレートを元画像に使う
- 表情の変化がはっきり分かる動画を動きの参照元に使う
- 人物の特徴、動き、見た目の一貫性を確認する
LivePortraitのよくある質問
LivePortraitは、参照する動画やシーケンスの動きを元画像に適用して生成する、アニメーション化されたポートレートです。元画像の人物の見た目を保ちながら、表情や頭の動きを加えます。
LivePortraitは、ポートレートのアニメーション化と動きの転写を行うモデルと捉えるのが適切です。画像を出発点とし、別の動きの参照元を使って短いアニメーションを生成します。テキストだけからシーン全体を作り出すものではありません。
通常は、元になるポートレートと、動きの参照元となるパフォーマンスが必要です。顔がはっきり写った画像と、表情の変化が見える動きの参照元を使うと、モデルが転写に利用できる情報が増えます。
顔の表情、視線の方向、頭部のポーズ、その他の関連するポートレートの動きなど、目に見える特徴を転送できます。品質は、元画像と動きを付けるパフォーマンスが、意図した結果にどの程度合っているかによって異なります。
全身のアニメーション、複雑な手の動き、制限のないカメラワーク、または1枚のポートレートから完全に新しい環境を生成することを保証するようには設計されていません。遮蔽、極端なポーズ、特殊な視点、入力同士の不一致によって、一貫性が低下する場合があります。