魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
在陽(yáng)臺(tái)上給小姐姐拍個(gè)視頻:
再把她P到噴泉廣場(chǎng):
需要幾步?
現(xiàn)在,無(wú)需綠幕,AI 就能搞定這件事。
就像這樣,隨便用手機(jī)給小姐姐拍張照片,再在同一地點(diǎn)拍張不帶人像的背景圖。
深度神經(jīng)網(wǎng)絡(luò)就能自動(dòng)分析出 alpha 遮罩和前景色,把小姐姐的發(fā)絲都摳得根根分明。
視頻也是如此。
讓憋著笑的同事在實(shí)驗(yàn)室白板前表演一段廣播體操,再給背景板單獨(dú)來(lái)一張,就可以無(wú)中生有把同事“轉(zhuǎn)移”到大廳里,引來(lái)路人圍觀了。
這是來(lái)自華盛頓大學(xué)的一項(xiàng)最新研究,無(wú)需綠幕,無(wú)需手動(dòng)創(chuàng)建 Trimap,一個(gè)具有對(duì)抗性損失的深度神經(jīng)網(wǎng)絡(luò),就能準(zhǔn)確預(yù)測(cè)遮罩,給照片和視頻摳圖。
論文已經(jīng)中了 CVPR 2020,代碼即將開源。
深度摳圖網(wǎng)絡(luò) + 鑒別器網(wǎng)絡(luò)那么,這樣的摳圖特技是如何煉成的?
研究人員表示,是具有對(duì)抗性損失的深度網(wǎng)絡(luò) + 判斷合成質(zhì)量的鑒別器。
深度摳圖網(wǎng)絡(luò)研究人員先在 Adobe Matting 數(shù)據(jù)集中的非透明對(duì)象子集上對(duì)深度神經(jīng)網(wǎng)絡(luò) G 進(jìn)行了監(jiān)督訓(xùn)練。
輸入是帶人像的照片 I 和照片中的背景 B’,以及人像軟分割 S 和 運(yùn)動(dòng)先驗(yàn) M(僅對(duì)視頻而言)。
需要注意的是,在真實(shí)環(huán)境中,B’ 是通過在真實(shí)背景的前景區(qū)域隨機(jī)加入噪聲而生成的。
依據(jù)輸入,網(wǎng)絡(luò)會(huì)預(yù)測(cè)出 alpha 遮罩 α 和前景圖像 F。
研究人員提出用背景切換塊(Context Switching block,CS block)來(lái)取代基于殘差塊的編碼器-解碼器。
有什么不同?
舉個(gè)例子,當(dāng)人的一部分與背景相匹配的時(shí)候,網(wǎng)絡(luò)會(huì)將更多精力放在該區(qū)域的細(xì)分線索上。
G 網(wǎng)絡(luò)有四個(gè)不同的編碼器,分別適用于 I,B’,S 和 M 四種輸入。每個(gè)編碼器分別生成256個(gè)通道的特征圖。
通過 1×1 卷積,BatchNorm 和 ReLU,I 中的圖像特征分別與 B’,S 和 M 結(jié)合,每一對(duì)組合都會(huì)生成 64 通道特征。
最后,將這 3 個(gè) 64 通道特征與原始的 256 通道圖像特征組合在一起,生成編碼后的特征,并傳遞到由殘差塊和編碼器組成的其余網(wǎng)絡(luò)。
在未標(biāo)記真實(shí)數(shù)據(jù)上的對(duì)抗訓(xùn)練CS block 和數(shù)據(jù)增強(qiáng)的結(jié)合,可以有效彌合真實(shí)圖像與 Adobe數(shù)據(jù)集創(chuàng)建的合成圖像之間的差距,但真實(shí)圖像中仍然有存在一些難點(diǎn):
將手指、手臂、頭發(fā)周圍的背景痕跡復(fù)制到遮罩中;分割失?。磺熬吧闹匾糠峙c背景顏色接近;人像照片和背景照片之間沒有對(duì)準(zhǔn)。為了應(yīng)對(duì)這些問題,研究人員還提出了一種自監(jiān)督方案,從未標(biāo)記的真實(shí)數(shù)據(jù)(真實(shí)圖像 + 背景)中學(xué)習(xí)。
用深度摳圖網(wǎng)絡(luò) G 的單獨(dú)副本 GReal 組成對(duì)抗網(wǎng)絡(luò),對(duì)抗網(wǎng)絡(luò)會(huì)生成類似于 GAdobe 輸出的遮罩,而鑒別器網(wǎng)絡(luò) D 會(huì)判別結(jié)果的真假。
研究人員使用真實(shí)輸入(手機(jī)拍攝)聯(lián)合訓(xùn)練 GReal 和 D,并用 GAdobe 來(lái)提供監(jiān)督。
與SOTA方法的對(duì)比研究人員將新方法與以下幾種 SOTA 方法進(jìn)行了定性比較:
基于 Trimap 的 Context Aware Matting (CAM)和 Index Matting(IM);自動(dòng)遮罩算法 Late Fusion Matting(LFM);不難看出,效果改進(jìn)著實(shí)明顯。
你覺得怎么樣?不妨mark一下,坐等開源。
畢竟有些大膽的想法,可能已經(jīng)在醞釀了,是吧?
傳送門項(xiàng)目地址:http://grail.cs.washington.edu/projects/background-matting/
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
關(guān)注我們,第一時(shí)間獲知前沿科技動(dòng)態(tài)