Wav2Lip項(xiàng)目來(lái)源于英國(guó)巴斯和印度海得拉巴的兩個(gè)團(tuán)隊(duì)于2020 年 8 月在 ACM Multimedia(ACM 國(guó)際多媒體大會(huì))2020上發(fā)表的論文 A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild， 只需要一段人物視頻或一張人物圖片和目標(biāo)語(yǔ)音文件，就可以使用 Wav2Lip 預(yù)訓(xùn)練模型，實(shí)現(xiàn)語(yǔ)音與唇形的匹配。

Wav2Lip 是一種生成對(duì)抗網(wǎng)絡(luò)模型，其主要原理是從音頻中提取語(yǔ)音特征，利用生成對(duì)抗網(wǎng)絡(luò)將其與面部圖像聯(lián)合訓(xùn)練，得出一個(gè)從音頻特征到唇形圖像的映射，從而對(duì)齊并合成動(dòng)態(tài)視頻。

Wav2Lip 模型分為兩步：一是訓(xùn)練一個(gè)唇形判別器，判別聲音與唇形是否同步，并使用連續(xù)幀提高視覺(jué)質(zhì)量；二是采用編碼-解碼模型結(jié)構(gòu)或者基于生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練，強(qiáng)制生成器產(chǎn)生準(zhǔn)確的唇部運(yùn)動(dòng)。

由于使用Wav2Lip只需準(zhǔn)備一張圖片或一段視頻再加上一段音頻，就可以讓W(xué)av2li自動(dòng)學(xué)習(xí)與處理音頻與圖像，生成相對(duì)真實(shí)準(zhǔn)確的結(jié)果。

因此，它被廣泛應(yīng)用于影視制作、數(shù)字人、語(yǔ)音播報(bào)等場(chǎng)景。