研究人員越來越多地使用AI將歷史鏡頭（例如阿波羅16號(hào)登月和1895年LumièreBrothers的電影“在La Ciotat站到達(dá)火車”）轉(zhuǎn)換為高分辨率，高幀率的視頻，看起來就像是用現(xiàn)代設(shè)備拍攝。對(duì)于保護(hù)主義者來說，這是一個(gè)福音，此外，可以將相同的技術(shù)應(yīng)用于安全檢查，電視制作，電影制作和其他類似情況的錄像。為了簡化該過程，羅切斯特大學(xué)，東北大學(xué)和普渡大學(xué)的研究人員最近提出了一種框架，該框架可從低幀頻，低分辨率視頻生成高分辨率慢動(dòng)作視頻。他們說他們的方法- 時(shí)空視頻超分辨率（STVSR） -不僅在質(zhì)量和質(zhì)量上都比現(xiàn)有方法更好，而且比以前的先進(jìn)AI模型快三倍。
Honor 20 Pro：四鏡頭相機(jī)
在某些方面，它推動(dòng)了Nvidia在2018年發(fā)布的工作，該工作描述了一種AI模型，該模型可以對(duì)任何視頻應(yīng)用慢動(dòng)作-無論視頻的幀頻如何。并且類似的高分辨率技術(shù)已經(jīng)應(yīng)用于視頻游戲領(lǐng)域。去年，《最終幻想》的粉絲們使用了一款售價(jià)100美元的名為AI Gigapixel的軟件來提高《最終幻想VII》背景的分辨率。
STVSR同時(shí)學(xué)習(xí)時(shí)間插值（即，如何在原始幀之間合成不存在的中間視頻幀）和空間超分辨率（如何從對(duì)應(yīng)的參考幀及其相鄰支持幀中重建高分辨率幀）。此外，得益于伴隨的卷積長短期記憶模型，它能夠利用視頻上下文和時(shí)間對(duì)齊來從聚合特征中重建幀。
研究人員使用來自Vimeo的60,000多個(gè)7幀剪輯的數(shù)據(jù)集對(duì)STVSR進(jìn)行了培訓(xùn)，并使用單獨(dú)的評(píng)估語料庫劃分為快動(dòng)作，中動(dòng)作和慢動(dòng)作集合，以測量各種條件下的性能。在實(shí)驗(yàn)中，他們發(fā)現(xiàn)STVSR在快速動(dòng)作的視頻上獲得了“顯著”的改進(jìn)，包括那些具有挑戰(zhàn)性的動(dòng)作（如籃球運(yùn)動(dòng)員在球場上快速移動(dòng)）的視頻。此外，它展示了一種具有更精確圖像結(jié)構(gòu)和更少模糊偽影的“視覺上吸引人”的幀重構(gòu)的能力，同時(shí)又比基線模型小四倍，快至少兩倍。
“通過這種單階段設(shè)計(jì)，我們的網(wǎng)絡(luò)可以很好地探索任務(wù)中時(shí)間插值與空間超分辨率之間的內(nèi)在聯(lián)系，” 預(yù)印本論文的合著者寫道?！八刮覀兊哪Ｐ湍軌蜻m應(yīng)性學(xué)習(xí)以利用有用的本地和全局時(shí)間上下文來緩解大型運(yùn)動(dòng)問題。大量的實(shí)驗(yàn)表明，我們的框架比現(xiàn)有網(wǎng)絡(luò)更有效，而且效率更高，并且所建議的特征時(shí)間插值網(wǎng)絡(luò)和可變形模型能夠處理非常具有挑戰(zhàn)性的快速運(yùn)動(dòng)視頻。”
本文由未艾信息（www.weainfo.net）編譯，
查看更多最新資訊，歡迎大家點(diǎn)擊閱讀原文登錄我們的AI社區(qū)。
關(guān)注我們的公眾號(hào)：為AI吶喊（weainahan），免費(fèi)學(xué)習(xí)Python&人工智能！
