語(yǔ)音播放文章內(nèi)容
由深聲科技提供技術(shù)支持
最近有件大事，11 月 15 日，全球矚目的經(jīng)典電影《海上鋼琴師》4K 修復(fù)版即將登陸全國(guó)院線。歲月侵蝕的影片經(jīng)典場(chǎng)景，在老膠片的保存下只剩模糊的影像。而此次經(jīng) 4K 技術(shù)修復(fù)的版本，據(jù)說采用了先進(jìn)的圖像超分辨率技術(shù)，分辨率和效果大幅度提升，磨損的視頻圖像恢復(fù)到當(dāng)時(shí)拍電影時(shí)的真實(shí)效果，細(xì)節(jié)展現(xiàn)得淋漓盡致，光影清晰、細(xì)膩、賞心悅目。
這個(gè)圖像超分辨率技術(shù)黑科技到底是怎么回事，加持人工智能的視頻超分又是如何實(shí)現(xiàn)的呢？
什么是圖像超分辨率技術(shù)？
超分辨率 (Super-Resolution) 是一種通過硬件或軟件的方法提高原有圖像的分辨率的技術(shù)，其中，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時(shí)間帶寬 (獲取同一場(chǎng)景的多幀圖像序列) 換取空間分辨率, 實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。
用通俗的話來講，超分辨率就是將圖像從下圖中左邊的樣子變成右邊的樣子。即提供更多的像素點(diǎn)，讓圖像的細(xì)節(jié)更加豐滿。如果從信號(hào)的角度看，那就是在原信號(hào)中補(bǔ)充出更多的高頻成分。
除了可以對(duì)傳統(tǒng)影視節(jié)目的視頻圖像進(jìn)行修復(fù)重建外，這項(xiàng)技術(shù)在醫(yī)療圖像分析、生物特征識(shí)別、視頻監(jiān)控與安全等實(shí)際場(chǎng)景中也有著廣泛的應(yīng)用。例如，警察可以通過超分辨率技術(shù)識(shí)別監(jiān)控視頻中的罪犯，醫(yī)生可以通過超分辨率技術(shù)得到更清晰的病灶圖像等等。
上圖是利用超分辨率技術(shù)處理視頻前后。處理前，視頻比較模糊、灰暗，視頻中的偽影較多；處理后，視頻在清晰度、明亮度上都有較大提升。
超分辨率技術(shù)的研究現(xiàn)狀
圖像的超分辨率復(fù)原技術(shù)主要分為兩大類，一是基于重建的方法，二是基于學(xué)習(xí)的方法。近年來，隨著深度學(xué)習(xí)的興起，圖像超分辨率技術(shù)出現(xiàn)了新的研究方向?；谏疃葘W(xué)習(xí)的 SR（Super-Resolution），主要是基于單張低分辨率的重建方法，即 SISR(Single image Super-Resolution)。
SISR 是一個(gè)逆問題，對(duì)于一個(gè)低分辨率圖像，采用不同的方法得到的高分辨率圖像會(huì)略有不同。也就是說，可能存在許多不同的高分辨率圖像與之對(duì)應(yīng)。因此，通常需要在求解高分辨率圖像時(shí)會(huì)加一個(gè)先驗(yàn)信息進(jìn)行規(guī)范化約束。在傳統(tǒng)的方法中，這個(gè)先驗(yàn)信息可以通過若干成對(duì)出現(xiàn)的低-高分辨率圖像的實(shí)例中學(xué)到。而基于深度學(xué)習(xí)的 SR 通過神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)分辨率圖像到高分辨率圖像的端到端的映射函數(shù)。
目前，基于深度學(xué)習(xí)的 SR 方法有很多，從 2014 年的 SRCNN 開始，到 VDSR 和 NTIRE2018 的冠軍 WDSR，基于深度學(xué)習(xí)的超分辨技術(shù)不斷創(chuàng)新網(wǎng)絡(luò)架構(gòu)、損失函數(shù)、學(xué)習(xí)策略，在特征提取、非線性映射和重建的架構(gòu)上取得不斷突破。
為了獲得高質(zhì)量的高分辨率圖像，滿足人們?cè)趯?shí)際生產(chǎn)生活中的各種需求，超分辨率圖像復(fù)原的研究發(fā)展方向主要集中在以下三個(gè)方面：
完善現(xiàn)有算法，不斷發(fā)展新的算法。這樣做目的在于提高超分辨率圖像復(fù)原的能力，減小計(jì)算量，加快運(yùn)算的收斂速度，適用不同的圖像要求；
發(fā)展和尋求新的退化成像模型，使成像模型更加精確和全面，實(shí)現(xiàn)對(duì)點(diǎn)擴(kuò)散函數(shù)和噪聲的精確估計(jì)；
在利用序列和多幅圖像的復(fù)原中，發(fā)展和尋求新的運(yùn)動(dòng)模型，能夠?qū)\(yùn)動(dòng)進(jìn)行精確估計(jì)。
看到這里，相信大家已經(jīng)對(duì)這個(gè) AI 新技術(shù)有一定的了解了。想要繼續(xù)深入學(xué)習(xí)這一技術(shù)同時(shí)獲取實(shí)戰(zhàn)經(jīng)驗(yàn)，證明一下自己?jiǎn)?？今年有兩個(gè)人工智能賽事和圖像超分辨率技術(shù)相關(guān)，一個(gè)是優(yōu)酷超分比賽，9 月份已結(jié)束了；近期剛剛啟動(dòng)的是首屆「全國(guó)人工智能大賽」，其中 AI+4K HDR 賽項(xiàng)就是和超分辨率技術(shù)相關(guān)的，可以說是同學(xué)們挑戰(zhàn)自己、證明自己不可多得的好機(jī)會(huì)！采用現(xiàn)有的一些 AI 算法模型，參照之前的比賽，很快就能上手。
全國(guó)人工智能大賽
全國(guó)人工智能大賽（以下簡(jiǎn)稱大賽）由深圳市人民政府設(shè)立于 2019 年 8 月。大賽將立足國(guó)際視野，營(yíng)造人工智能創(chuàng)新創(chuàng)造氛圍，促進(jìn)產(chǎn)業(yè)、學(xué)術(shù)、資本、人才等創(chuàng)新要素融合發(fā)展。大賽由深圳市人民政府主辦，深圳市科創(chuàng)委、鵬城實(shí)驗(yàn)室及科技部指導(dǎo)成立的新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA，以下簡(jiǎn)稱「聯(lián)盟」）共同承辦，騰訊科技等協(xié)辦。
大賽以「AI 賦能視界」為主題，「AI+4K HDR」賽項(xiàng)的總獎(jiǎng)金池金額 268 萬，其中一等獎(jiǎng)高達(dá) 100 萬，無疑是今年國(guó)內(nèi)總獎(jiǎng)金和一等獎(jiǎng)金額最高的人工智能賽事。
本次比賽包括初賽、復(fù)賽和決賽，比賽任務(wù)分別為：
初賽任務(wù)：視頻四倍超分，要求將疊加隨機(jī)噪聲的 540p SDR 視頻重建為去噪后的 4K SDR 視頻；
復(fù)賽任務(wù)：視頻四倍超分+畫質(zhì)增強(qiáng)，要求將夾雜過曝/欠曝內(nèi)容、未調(diào)色的 540p SDR 視頻重建為高質(zhì)量、已調(diào)色的 4K SDR 視頻；
決賽任務(wù)：視頻四倍超分+HDR，要求將低質(zhì)量 540p SDR 視頻重建為高質(zhì)量、已調(diào)色的 4K HDR 視頻。
大賽日程
比賽時(shí)間：2019-10-17 至 2020-1-15
報(bào)名：2019-10-17（12:00:00 AM）至 2019-11-29（12:00:00 AM）
PC 電腦登入競(jìng)賽官網(wǎng)，用微信或 Github 賬號(hào)登陸，均可完成個(gè)人信息注冊(cè)和報(bào)名參賽
初賽、復(fù)賽均為線上比賽，參賽地點(diǎn)不限
初賽階段：2019-10-28（12:00:00 AM）至 2019-11-30（12:00:00 AM）
初賽評(píng)審階段：2019-12-2（12:00:01 AM）至 2019-12-6(12:00:00 AM)
各參賽隊(duì)伍登錄競(jìng)賽平臺(tái)可以下載數(shù)據(jù)（包括訓(xùn)練集、測(cè)試集等），本地進(jìn)行算法設(shè)計(jì)、模型訓(xùn)練及調(diào)試，在線提交評(píng)測(cè)結(jié)果參與排名。
排名靠前的 150 支團(tuán)隊(duì)提交結(jié)果進(jìn)行人工復(fù)核，通過復(fù)核的前 100 支參賽隊(duì)伍將進(jìn)入復(fù)賽。
復(fù)賽階段：2019-12-9（12:00:00 AM）至 2020-1-3（12:00:00 AM）
復(fù)賽評(píng)審階段：2020-1-6（12:00:00 AM）至 2020-1-10（12:00:00 AM）
初賽的優(yōu)勝選手進(jìn)入復(fù)賽。復(fù)賽期間將開放復(fù)賽訓(xùn)練集、測(cè)試集，各參賽選手提交結(jié)果進(jìn)入評(píng)分、排名、代碼驗(yàn)證等。
決賽階段：2020-1-11 至 2020-1-15
復(fù)賽的優(yōu)勝選手進(jìn)入決賽，決賽在深圳開展。決賽采用現(xiàn)場(chǎng)技術(shù)比拼、現(xiàn)場(chǎng)答辯等方式進(jìn)行。復(fù)賽后公布具體賽題數(shù)據(jù)和相關(guān)安排。
想要挑戰(zhàn)自己，提高技術(shù)，獲取高額獎(jiǎng)金嗎？那就打開大賽官網(wǎng)，和來自全國(guó)各地的大神們一較高下吧！
比賽官網(wǎng)：
https://www.kesci.com/home/competition/5d84728ab1468c002ca1825a/content/5
