?燃財(cái)經(jīng)（ID:rancaijing）原創(chuàng)
作者 | 金玙璠 蘇琦
編輯 | 魏佳
“科技改變追星生活。”
近日，B站上出現(xiàn)了多個(gè)鹿晗AI換臉的視頻，因?yàn)閾Q臉后的人臉輪廓、表情非常自然，加上鹿晗本人顏值出挑，很多網(wǎng)友自稱成了鹿晗的AI粉。
B站截圖
這些視頻多由UP主制作并上傳，時(shí)長(zhǎng)約2-4分鐘左右。
與此同時(shí)，日前同樣因?yàn)锳I換臉被推上熱搜的古裝網(wǎng)劇《三千鴉殺》迎來(lái)大結(jié)局。劇中被換臉的角色“青青”就沒(méi)這么幸運(yùn)了，不但沒(méi)有AI粉，自開播以來(lái)就因“技術(shù)太差”被網(wǎng)民“群嘲”是車禍現(xiàn)場(chǎng)，“五分錢換臉”“畫面有點(diǎn)詭異”“一個(gè)人毀了整部劇”等評(píng)論充斥在彈幕和微博評(píng)論中。
《三千鴉殺》中的AI換臉效果呈現(xiàn)
片方換臉的原因是，劇中“青青”一角的飾演者劉露因大鬧公共場(chǎng)所被拘留，如今替代劉露飾演青青一角的演員是張鼎鼎。但呈現(xiàn)出的效果差強(qiáng)人意，角色換臉后的五官明顯大于常人，表情生硬，臉部邊緣還出現(xiàn)了模糊、扭曲的情況。
“片方想要挽回‘劣跡藝人’造成的損失可以理解，但是處理方式過(guò)于低劣。如果選擇AI換臉，至少也要達(dá)到之前B站up主‘換臉哥’混剪的效果，結(jié)果呈現(xiàn)出來(lái)的是美圖秀秀的水平，面部扭曲、表情生硬、脖子和頭顏色完全分離?！痹谟耙曅袠I(yè)工作6年的陳傾對(duì)燃財(cái)經(jīng)表示。
AI換臉并不是首次應(yīng)用在國(guó)產(chǎn)影視劇中，2019年播出的《封神演義》《光榮時(shí)代》《長(zhǎng)安十二時(shí)辰》以及剛剛完結(jié)的《時(shí)光與你都很甜》中，都使用了該技術(shù)，但效果不盡如人意。
簡(jiǎn)單來(lái)說(shuō)，這是一種先通過(guò)視頻/圖片采集一位演員的面部表情，再通過(guò)轉(zhuǎn)換編碼給另一位演員“換臉”的技術(shù)。此前這項(xiàng)技術(shù)進(jìn)入公眾視野，是2019年B站up主“換臉哥”將94版《射雕英雄傳》中朱茵的臉替換成楊冪，以及陌陌旗下的ZAO App在朋友圈掀起的“換臉”風(fēng)潮。
多位業(yè)內(nèi)人士對(duì)燃財(cái)經(jīng)表示，《三千鴉殺》中的換臉效果的確不太理想，但背后不是只有技術(shù)原因這么簡(jiǎn)單。這次影視劇中被“群嘲”的AI換臉操作與ZAO相比，為何效果不佳？AI換臉成本如何？自?shī)首詷?lè)效果尚可，一商用就“露怯”，這項(xiàng)技術(shù)是否真的有應(yīng)用市場(chǎng)？
? 《三千鴉殺》背后的換臉團(tuán)隊(duì)?wèi)?yīng)該是在DeepFake開源算法的基礎(chǔ)上做了一些優(yōu)化，但在表情和動(dòng)作，尤其是臉部邊緣處理上存在一些問(wèn)題，所以用戶覺得效果僵硬；
? ZAO是開卷考試，所有題目都已經(jīng)做過(guò)，爛熟于胸；而影視劇中的AI換臉屬于閉卷考，做的題目都是沒(méi)學(xué)過(guò)的，只是利用原來(lái)學(xué)過(guò)的一些知識(shí)和經(jīng)驗(yàn)去重做一遍，效果差距自然很大；
? 目前市場(chǎng)上AI換臉的價(jià)格大概是1.5萬(wàn)元/分鐘，手動(dòng)換臉的價(jià)格在十幾萬(wàn)元/分鐘，即便是簡(jiǎn)單的內(nèi)容，最低市場(chǎng)報(bào)價(jià)也要在5-6萬(wàn)元/分鐘；
? 很少有公司單做AI換臉這一項(xiàng)業(yè)務(wù)，因?yàn)檠邪l(fā)成本沒(méi)有其他的落地項(xiàng)目來(lái)攤銷，盈利很難。
AI換臉技術(shù)最早出現(xiàn)在2017年，也被叫做“深度偽造技術(shù)”(DeepFake)，簡(jiǎn)單來(lái)說(shuō)，就是通過(guò)人工智能深度學(xué)習(xí)技術(shù)將視頻中出現(xiàn)的人臉替換成另一張臉。這一技術(shù)的鼻祖是一位名叫“DeepFake”的開發(fā)者。同年，他將這項(xiàng)技術(shù)開源，他的名字也就成了AI換臉技術(shù)的統(tǒng)稱。
智能互動(dòng)視頻播放器技術(shù)平臺(tái)極鏈科技Video++聯(lián)合創(chuàng)始人董慧智告訴燃財(cái)經(jīng)，DeepFake這套算法的弱點(diǎn)就在于，臉部邊緣的處理，尤其是在較為夸張的臉部表情處理上，還沒(méi)有做過(guò)深度處理，因此每家公司在實(shí)際使用中都要自己做一些優(yōu)化處理。
他從《三千鴉殺》的換臉效果判斷，“背后的換臉團(tuán)隊(duì)?wèi)?yīng)該是在DeepFake開源算法的基礎(chǔ)上做了一些優(yōu)化，只是優(yōu)化得不是特別好，在表情和動(dòng)作，尤其是臉部邊緣處理上還是存在一些問(wèn)題，因此從用戶角度來(lái)看效果確實(shí)比較僵硬”。
《三千鴉殺》因角色AI換臉在微博被“群嘲”
此次AI換臉的效果，也被眾多用戶拿來(lái)與曾經(jīng)火爆一時(shí)的換臉工具ZAO進(jìn)行對(duì)比。
2019年8月30日，“僅需一張照片，出演天下好戲”的ZAO App上線，它也是基于DeepFake算法演變出的產(chǎn)品之一。
ZAO App的功能介紹
在瑞萊智慧RealAI產(chǎn)品負(fù)責(zé)人唐家渝看來(lái)，“其實(shí)ZAO的大部分視頻臉部邊緣處理得也不是很好，估計(jì)是它的建模過(guò)程學(xué)習(xí)到的特征也不是特別好?！?/p>
ZAO的效果雖然看起來(lái)略好一些，但也不代表技術(shù)一定更優(yōu)，因?yàn)閮烧呤褂脠?chǎng)景不同，難度不同。
“AI技術(shù)的核心在于訓(xùn)練的過(guò)程，訓(xùn)練后的模型應(yīng)用于同一領(lǐng)域，很多算法的準(zhǔn)確度可以接近100%，這是AI有優(yōu)勢(shì)的地方；但缺點(diǎn)是與人類相比，AI的聯(lián)想能力較弱，沒(méi)有訓(xùn)練過(guò)的內(nèi)容幾乎不會(huì)?！倍壑钦f(shuō)。
眾所周知，ZAO里可供用戶換臉的影視劇片段是特定場(chǎng)景，也就是說(shuō)，技術(shù)難度相對(duì)較小。董慧智分析，ZAO背后需要訓(xùn)練的時(shí)間比較長(zhǎng)，需要選定視頻庫(kù)中的片段，對(duì)其中男女主角的臉部進(jìn)行長(zhǎng)時(shí)間的學(xué)習(xí)和訓(xùn)練，不斷調(diào)參，經(jīng)過(guò)線下預(yù)處理再上線，用戶的使用效果自然不錯(cuò)。
而影視劇中的臨時(shí)換臉難度更大，需要在短時(shí)間內(nèi)，對(duì)一個(gè)未經(jīng)訓(xùn)練的影視劇進(jìn)行AI批量換臉。董慧智對(duì)燃財(cái)經(jīng)表示，AI分訓(xùn)練和推理兩個(gè)階段，前期訓(xùn)練的過(guò)程很長(zhǎng)，可能要一到兩周甚至幾個(gè)月，而一次推理過(guò)程也就是幾百毫秒。因此一般情況下，提供技術(shù)的AI公司受限于成本和時(shí)間要求，只能用有限的樣本來(lái)訓(xùn)練模型，推理時(shí)卻面對(duì)的是海量多樣化的視頻，效果不是特別理想。
在董慧智看來(lái)，兩者難度的差異相當(dāng)于，ZAO是開卷考試，所有題目都已經(jīng)做過(guò)，爛熟于胸；而影視劇中的AI換臉屬于閉卷考，做的題目都是沒(méi)學(xué)過(guò)的，只是利用原來(lái)學(xué)過(guò)的一些知識(shí)和經(jīng)驗(yàn)去重做一遍，效果差距自然很大。
據(jù)唐家渝介紹，影視劇AI換臉的效果與劇中人物的角度正面與否、光照條件有直接關(guān)系。也就是說(shuō)，如果采用比較前沿的算法，上述兩個(gè)條件較好的情況下，數(shù)據(jù)采集充分，最終建模的效果會(huì)比較好，肉眼基本難以分辨，除非場(chǎng)景的復(fù)雜度較高，比如臉部被一片樹葉遮擋，這就需要后期的人工修復(fù)了。
“我看劇(《三千鴉殺》)中有的片段，人物都是相對(duì)正面的角度，光線看起來(lái)也還不錯(cuò)，在這樣的情況下，換臉面部依舊沒(méi)有貼合，說(shuō)明技術(shù)確實(shí)一般。”唐家渝說(shuō)。
那我們看到的B站up主“換臉哥”以及“AI鹿晗”的作品，還有很多好萊塢作品為何能夠以假亂真呢？
“有點(diǎn)炫技的意思?！倍壑钦J(rèn)為B站up主“換臉哥”的作品（將94版《射雕英雄傳》中朱茵的臉替換成楊冪），應(yīng)該是經(jīng)過(guò)后期人工處理的，效仿好萊塢一些特效軟件，人工干預(yù)、時(shí)間長(zhǎng)、造價(jià)高。
94版《射雕英雄傳》中朱茵的臉替換成楊冪
那么，AI公司如果接到影視劇換臉的任務(wù)后進(jìn)行重新訓(xùn)練和應(yīng)用是否可以？答案是可以，但要保證訓(xùn)練的速度足夠快?！斑@樣做很不經(jīng)濟(jì)，相當(dāng)于每造一幢小房子，就要請(qǐng)國(guó)際頂尖設(shè)計(jì)師來(lái)設(shè)計(jì)一遍，造價(jià)太高了。”董慧智補(bǔ)充道。
在好萊塢電影史上，“換臉”技術(shù)早就被廣泛應(yīng)用于影視劇中，甚至創(chuàng)造出一個(gè)虛擬的真人出來(lái)，當(dāng)然造價(jià)也是高得驚人。
最具代表性的要數(shù)2015年的《速度與激情7》，直接讓去世的主演保羅·沃克“復(fù)活”了。據(jù)此前外媒報(bào)道，只用CGI（計(jì)算機(jī)合成圖像）技術(shù)一項(xiàng)，就將這部電影的制作成本從原計(jì)劃的2億美金提升至了2.5億美金。
2019年上映的電影《雙子殺手》更是將CGI技術(shù)向前推了一步，創(chuàng)造出一個(gè)減齡至23歲的威爾·史密斯，與真人版51歲的威爾·史密斯進(jìn)行近身搏斗。
這不是單純的對(duì)男主角威爾·史密斯進(jìn)行面部“減齡”，而是從肌膚、骨骼、眼睛、牙齒光澤各個(gè)方面進(jìn)行再造。
《雙子殺手》中真假威爾·史密斯近身搏斗的場(chǎng)景
要實(shí)現(xiàn)這樣的效果，首先需要數(shù)據(jù)準(zhǔn)備，通過(guò)傳感器收集演員不同的臉部姿態(tài)、角度、表情以及光照的臉部圖像，其次需要進(jìn)行專門的數(shù)據(jù)處理，通過(guò)電腦進(jìn)行數(shù)字維度上的轉(zhuǎn)換，最后依照計(jì)算機(jī)系統(tǒng)對(duì)人臉表情變化的特征點(diǎn)，在虛擬形象上重構(gòu)。當(dāng)然，在制作部門建模的時(shí)候參考了大量威爾·史密斯年輕時(shí)拍過(guò)的電影畫面。
這一場(chǎng)真假威爾·史密斯的近身搏斗，只有4分鐘的戲份，卻需要后期團(tuán)隊(duì)花九個(gè)月的時(shí)間調(diào)整和完善，難度之大、成本之高可想而知。據(jù)說(shuō)光是這個(gè)CGI人物的制作費(fèi)用就是威爾·史密斯片酬的2倍。
在成本方面，此前有媒體報(bào)道，目前市場(chǎng)上AI換臉的價(jià)格大概是1.5萬(wàn)元/分鐘，手動(dòng)換臉的價(jià)格在十幾萬(wàn)元/分鐘，即便是簡(jiǎn)單的內(nèi)容，最低市場(chǎng)報(bào)價(jià)也要在5-6萬(wàn)元/分鐘。
唐家渝從不同角度拆分AI換臉的成本，一方面是算力的成本，需要有高性能、一定數(shù)量的GPU，硬件的價(jià)格比較高；另一方面是拍攝、收集各種照片以及建模的成本；此外，事后處理一些遮擋情況也需要一定的人工成本。
手動(dòng)P圖換臉的成本自然更高。“如果我現(xiàn)在是影視制作方，演員出了問(wèn)題，我肯定不會(huì)找手動(dòng)換臉。1秒的畫面一般有23-30幀，每一幀都要手動(dòng)換，成本太高了?！?/strong>唐家渝表示。
也就是說(shuō)，目前國(guó)內(nèi)影視行業(yè)一旦遇到需要替換演員的突發(fā)情況，AI換臉相比手動(dòng)換臉，是成本可控的挽救方式。
《三千鴉殺》中的AI換臉效果呈現(xiàn)
據(jù)娛樂(lè)資本論矩陣號(hào)河豚影視檔案報(bào)道，《三千鴉殺》背后的AI換臉技術(shù)提供方，是一家受到資本市場(chǎng)認(rèn)可，估值已達(dá)幾十億元的公司，但并不主營(yíng)影視類項(xiàng)目，因此也不擅長(zhǎng)做影視劇中的AI換臉。
“很少有公司單做AI換臉這一項(xiàng)，盈利很難，因?yàn)檠邪l(fā)成本沒(méi)有其他的落地項(xiàng)目來(lái)攤銷?！?/strong>董慧智告訴燃財(cái)經(jīng)，“拖后腿”的因素，除了成本、技術(shù)成熟度之外，還有供需雙方對(duì)AI換臉技術(shù)的理解、預(yù)期相差較大。
“不光用戶，包括影視劇的制作方、導(dǎo)演，對(duì)AI換臉技術(shù)都沒(méi)有那么了解，他們因?yàn)橛X得‘既然ZAO都做得那么好了’，而對(duì)影視劇換臉的期望值過(guò)高。”他認(rèn)為這也是制約行業(yè)發(fā)展的很重要的因素。
但總得來(lái)說(shuō)，董慧智介紹，AI換臉技術(shù)在行業(yè)中主要有兩大商業(yè)化模式。
一種是向大的視頻平臺(tái)和制作方輸出技術(shù)，類似于定制開發(fā)，收取的是授權(quán)費(fèi)+維護(hù)費(fèi)，這種方式成本高，定價(jià)也高，一般都是百萬(wàn)量級(jí)；另一種是按單次需求的工作量（要換多少?gòu)埬?，一共多少秒）收費(fèi)，一般是影視劇制作方提出換臉需求，技術(shù)公司去實(shí)現(xiàn)。
具體到極鏈科技Video++，董慧智透露，“AI換臉”只是公司數(shù)十款產(chǎn)品中的一個(gè)，如此一來(lái)，80%的研發(fā)成本是共用的，邊際成本也就更低。
而想要擴(kuò)大商業(yè)化范圍，隱私問(wèn)題是一個(gè)繞不開的話題。先前紅極一時(shí)的ZAO，就是用戶因上傳的照片無(wú)法撤掉而擔(dān)憂信息泄露、遭遇詐騙等問(wèn)題，紛紛棄用。
與ZAO類似，極鏈科技Video++的商業(yè)化方向之一是面向C端用戶的技術(shù)解決方案，即讓用戶上傳自己照片，和自己的idol演對(duì)手戲。董慧智對(duì)燃財(cái)經(jīng)透露，這一方面可以與影視劇的播放平臺(tái)直接合作，也可以鏈接大平臺(tái)的粉絲社區(qū)，未來(lái)有一定的商業(yè)價(jià)值，當(dāng)然，也會(huì)吸取ZAO的前車之鑒?！癦AO最大的問(wèn)題是把臉部圖像保存下來(lái)，才有了隱私侵權(quán)問(wèn)題，我們會(huì)注意避免這個(gè)問(wèn)題?！?/p>
除此之外，極鏈科技Video++還有兩個(gè)商業(yè)化方向是，用人臉做emoji表情以及對(duì)短視頻/直播中人物的再創(chuàng)作。
后者應(yīng)用需求在B站伴隨同人創(chuàng)作而崛起，一般而言，是將短視頻/直播中的人物替換成動(dòng)漫臉、GIF表情包等。這一方向還在2018年的國(guó)內(nèi)掀起了一股“虛擬主播”的熱潮，因?yàn)槊襟w、教育、醫(yī)療、娛樂(lè)、客服等多個(gè)領(lǐng)域和場(chǎng)景，無(wú)一不適用，于是搜狗、科大訊飛、斗魚等大公司都進(jìn)場(chǎng)試水。
此次疫情期間應(yīng)用的AI主播
唐家渝提供了另一個(gè)商用方向。
眾所周知，DeepFake的開源降低了AI換臉的技術(shù)門檻，但與之相應(yīng)的黑產(chǎn)也快速生長(zhǎng)，各種換臉情色視頻和軟件教程層出不窮，在國(guó)內(nèi)已經(jīng)形成了一個(gè)上游提供軟件及技術(shù)、中游提供視頻、照片定制、下游售賣成品視頻，甚至有的商家做的是全產(chǎn)業(yè)鏈的生意。
越來(lái)越多的人開始抵制AI換臉，其風(fēng)險(xiǎn)在于經(jīng)過(guò)AI換臉的合成照片、合成視頻是人類僅憑肉眼無(wú)法識(shí)別的，部分甚至無(wú)法通過(guò)單一技術(shù)模型鑒別，很容易被當(dāng)作真實(shí)信息進(jìn)行再次傳播。因?yàn)槌薉eepFake，最常使用的AI換臉?biāo)惴ㄟ€有FaceSwap和Face2Face，不同算法生成的結(jié)果千差萬(wàn)別。
那么“反黑”，也就是通過(guò)使用鑒別器算法來(lái)打假，就是個(gè)不錯(cuò)的商業(yè)化方向。國(guó)外最負(fù)盛名的是一家總部位于阿姆斯特丹的創(chuàng)業(yè)公司Deeptrace，在國(guó)內(nèi)，RealAI是最早涉及這一領(lǐng)域的公司，去年底正式上線了針對(duì)Deepfake的深度偽造視頻檢測(cè)工具。目前，RealAI已經(jīng)在金融行業(yè)做出反欺詐的解決方案，主要應(yīng)用于信貸風(fēng)控領(lǐng)域。
總體來(lái)說(shuō)，影視行業(yè)是目前AI換臉技術(shù)更容易落地的場(chǎng)景，但眼下需求有限。隨著機(jī)器學(xué)習(xí)算法的快速學(xué)習(xí)與進(jìn)化，AI換臉相關(guān)從業(yè)者要做的是，在燒錢的電影特效和人人取之可用的入門級(jí)App之間，尋找性價(jià)比和安全性最高的商用領(lǐng)地。
*題圖來(lái)源于Bilibili Up主AI王子。應(yīng)受訪者要求，文中陳傾為化名。
