SadTalker: スタイル化されたオーディオ駆動単一画像会話顔アニメーションのためのリアルな 3D モーション係数の学習

SadTalker は西安交通大学、テンセント AI ラボ、アントグループの研究者によって開発された最先端の技術です。単一の顔画像とスピーチオーディオから会話顔のビデオを生成する際の、不自然な頭の動き、歪んだ表情、アイデンティティの変更などの課題に対処することを目的としています。SadTalker はオーディオから 3D モーション係数（頭の姿勢、表情）を生成し、新しい 3D 認識顔レンダリングを暗黙的に調整して会話顔の生成を行います。この技術は CVPR 2023 で発表されました。