LivePortrait 是一款由 Kuaishou Technology 開發(fā)的高效肖像動畫生成工具，適用于需要從靜態(tài)圖像生成動態(tài)視頻的用戶。它通過隱式關(guān)鍵點框架，平衡了計算效率和可控性。用戶可以利用驅(qū)動視頻、音頻或文本，生成逼真的面部表情和頭部動作。與傳統(tǒng)方法不同，LivePortrait不僅支持人臉動畫，還能推廣到動物肖像，提供了更廣泛的應(yīng)用場景。其獨特的拼接和重定向控制功能，使得眼睛和嘴唇的動畫更加自然，適合視頻編輯和創(chuàng)意制作。

LivePortrait在計算效率和可控性方面表現(xiàn)出色，適用于需要快速生成高質(zhì)量肖像動畫的用戶。

LivePortrait主要特點：

高效的計算性能：LivePortrait 采用隱式關(guān)鍵點（implicit-keypoint）框架，避免了主流的基于擴散的方法，從而在計算效率上有顯著提升。實驗結(jié)果表明，在 RTX 4090 GPU 上，生成速度可達 12.8ms。

優(yōu)化的網(wǎng)絡(luò)架構(gòu)：為了提升生成質(zhì)量和泛化能力，LivePortrait 對網(wǎng)絡(luò)架構(gòu)進行了升級，并采用了混合圖像-視頻訓(xùn)練策略。訓(xùn)練數(shù)據(jù)規(guī)模達到了約 6900 萬高質(zhì)量幀，確保了模型在各種場景下的表現(xiàn)。

精細的運動變換和優(yōu)化目標：LivePortrait 設(shè)計了更好的運動變換和優(yōu)化目標，使得生成的肖像動畫更加自然和逼真。

可控性強：通過緊湊的隱式關(guān)鍵點，LivePortrait 能夠有效地表示一種混合形狀（blendshapes）。此外，工具還引入了縫合和兩個重定向模塊，這些模塊利用了小型 MLP，幾乎沒有計算開銷，從而增強了動畫生成的可控性。

LivePortrait應(yīng)用：

LivePortrait 主要面向需要生成肖像動畫的用戶，如視頻創(chuàng)作者、動畫設(shè)計師和社交媒體內(nèi)容制作者。它通過視頻驅(qū)動的方式，將靜態(tài)肖像圖像轉(zhuǎn)換為動態(tài)動畫，解決了傳統(tǒng)方法中計算復(fù)雜度高、生成速度慢的問題。

LivePortrait優(yōu)勢與劣勢

優(yōu)勢

高效性：生成速度快，適合需要快速輸出的場景。

高質(zhì)量：通過大規(guī)模高質(zhì)量數(shù)據(jù)訓(xùn)練，生成的動畫質(zhì)量高。

可控性：提供了多種控制模塊，用戶可以根據(jù)需求進行細致調(diào)整。

劣勢

依賴硬件：盡管計算效率高，但在高性能 GPU 上才能發(fā)揮最佳效果。

學習曲線：對于初次接觸該工具的用戶，可能需要一定的學習時間來熟悉其功能和操作。

LivePortrait 作為一款高效且可控的肖像動畫生成工具，適用于需要快速生成高質(zhì)量肖像動畫用戶。其在計算效率、生成質(zhì)量和可控性方面的優(yōu)勢，使其在同類工具中具有競爭力。