2011年，有用戶反映華為手機的拍照效果不如人意，這引起任正非本人的注意。在當(dāng)年的一次華為高層會議上，任正非問海思總裁何庭波：“為什么華為手機的拍照不強？”
何庭波回答，因為缺乏自研的ISP（圖像信號處理器）。任正非又問：“為什么不投資做ISP？”何庭波說：“沒錢。”
任正非隨即拍板：“沒人投，我投！”
此后經(jīng)過多方論證準備，海思團隊在2012 年啟動了自研ISP的立項。恰逢2012年德州儀器解散了ISP團隊，華為重金收編了他們法國的一支團隊。
以此為基礎(chǔ)，3年后，海思第一代自研ISP集成在了麒麟950芯片上。這使得麒麟950支持14bit 雙ISP，吞吐率性能提升4倍，Mate8手機拍照效果大幅提升。余承東也在Mate8發(fā)布會上“口出狂言”要趕超蘋果。
接著，華為P9手機在自研ISP的基礎(chǔ)上，又引入徠卡鏡頭，一舉讓華為手機站在了當(dāng)時安卓手機攝影的巔峰。
任正非在2016年6月20日為麒麟950芯片研發(fā)團隊簽發(fā)“總裁嘉獎令”，嘉獎詞寫道：“麒麟950構(gòu)筑了華為和榮耀旗艦產(chǎn)品的關(guān)鍵競爭力?！?/strong>
時移勢易，數(shù)年間手機市場風(fēng)云變幻。華為陷于困厄，國產(chǎn)手機廠商雖然紛紛沖向高端，但都沒能再現(xiàn)華為一樣的輝煌。
但為了實現(xiàn)影像效果的躍升，自研芯片的故事，卻悄然在國產(chǎn)手機廠商間上演。
攻堅的第一座城池，就是ISP芯片。
今年3月，小米推出了一款自研的ISP芯片；vivo在9月份大張旗鼓發(fā)布的自研影像芯片V1，同樣屬于ISP范疇，已經(jīng)應(yīng)用在新機X70系列中；OPPO同樣要上馬ISP芯片，已有報道稱其旗下子公司ZEKU（哲庫科技）已于今年初流片，產(chǎn)品可能在明年上半年正式發(fā)布。
ISP究竟是什么？攻克了ISP，躍躍欲試的國產(chǎn)手機廠商們就能借此成為下一個華為嗎？
01、為什么是ISP從技術(shù)角度來看，獨立的手機影像芯片，可以被歸類為ISP（圖像信號處理器，Image Signal Processor）芯片。
大街上隨處可見的視頻監(jiān)控攝像頭中，均搭載了ISP芯片。監(jiān)控攝像頭和手機中的ISP芯片起的作用，都是進一步提升傳回影像的“畫質(zhì)”。
ISP的主要功能包括：AE（自動曝光）、AF（自動對焦）、AWB（自動白平衡）、去除圖像噪聲等。
手機成像的過程可被概括為：景物透過鏡頭，生成的光學(xué)圖像被投射到CMOS（圖像傳感器）上；然后光學(xué)圖像被轉(zhuǎn)換成電信號；電信號再經(jīng)過數(shù)模轉(zhuǎn)換變?yōu)閿?shù)字信號；數(shù)字信號先經(jīng)過DSP（數(shù)字信號處理器）加工處理，再被送到ISP中進行處理，最終轉(zhuǎn)換成人眼中清晰可辨的圖像。
說白了，ISP就是負責(zé)照片最后的PS，在硬件和算法的加持下，盡最大的努力把照片變得清晰、好看、準確。
通過ISP芯片的處理，手機可以得到更好的圖像效果。因此，在智能手機特別是在高端手機上，對 ISP 的要求很高，現(xiàn)在雙通道甚至三通道的ISP都已經(jīng)開始運用。
ISP既可以集成在手機處理器中，也可以外置于手機處理器，成為獨立的影像芯片。外置的ISP可以和手機處理器中的ISP配合工作。小米和vivo的ISP都是外置芯片，與處理器中的ISP協(xié)同工作。
目前主流的手機芯片設(shè)計公司在出售自家的手機處理器產(chǎn)品時，均已經(jīng)在其中內(nèi)置了ISP芯片模塊，并且每年的新品幾乎都會對ISP芯片進行性能的優(yōu)化和提升。
比如高通最新的旗艦芯片，驍龍888系列中就內(nèi)嵌了3個ISP核心。
其實，驍龍888本身集成的三個ISP性能已經(jīng)非常優(yōu)秀了，支持低光架構(gòu)、AI圖像增強、支持單幀逐行HDR圖像、十億像素級處理速度等特色功能。
任何使用驍龍888的手機，理論上都可以在這些功能框之上，衍生出自己的特色功能。比如，小米11Ultra、OPPO findX3 pro、vivo X60 Pro+，都擁有各具特色的HDR拍攝功能。
但使用上游芯片公司的內(nèi)置ISP帶來的問題是：假如大家都用驍龍888，在ISP的參數(shù)調(diào)校和功能上，會限定在高通的框架之內(nèi)。這會導(dǎo)致各家ISP調(diào)校的上限基本是差不多的，也就意味著很多重要的影像素質(zhì)、功能不受手機公司的掌控，并且同質(zhì)化。
另外，國際芯片設(shè)計大廠的旗艦處理器基本上是固定的一年一更新，里面的ISP芯片只能跟隨廠商更新節(jié)奏而更新。手機廠商對內(nèi)置ISP能做的事情有限：手機廠商即使覺得芯片廠商更新太慢，在很多重要的影像功能上也無能為力。
解決這些問題的方法之一，當(dāng)然是直接自己研發(fā)ISP。如果能自己做一個外置的ISP芯片，手機廠商不僅能夠在功能上有更大的施展空間，還能更大程度地把握更新節(jié)奏。
而相比手機最核心的處理器芯片，ISP芯片的研發(fā)難度更低。同時，歷經(jīng)安防視頻攝像頭的多年發(fā)展，ISP市場已經(jīng)臻于成熟，在技術(shù)、產(chǎn)品價格等方面都較為穩(wěn)定。
對于國內(nèi)手機廠商而言，現(xiàn)階段做出一個可用的“影像芯片”，難度不算特別大，且在團隊組建、技術(shù)攻關(guān)等方面都有可借鑒的經(jīng)驗。
在vivo X70發(fā)布會上，vivo表示自家的V1芯片是由300人、歷經(jīng)24個月攻關(guān)研發(fā)。相比之下，華為首款手機通用處理器K3V1歷經(jīng)5年才研發(fā)出來，還極不好用。
目前，小米、vivo的 ISP芯片研發(fā)團隊中的中堅力量，均有多年的從業(yè)經(jīng)驗。比如小米的ISP芯片架構(gòu)師左坤隆，此前在華為擔(dān)任主任工程師，負責(zé)麒麟芯片ISP算法的研發(fā)；vivo影像算法總監(jiān)杜元甲，曾在平面顯示屏幕驅(qū)動IC廠商聯(lián)詠任職。
02、影像內(nèi)卷事實上，在智能手機中外置ISP芯片早不是什么新鮮事，因為一直有第三方的ISP芯片可供選擇。
魅族內(nèi)核團隊曾在《相機系統(tǒng)綜述》一文中自述，魅族會向?qū)I(yè)的ISP廠商進行采購，以達到更好的影像效果。
文章中還寫道，外置ISP的選型一般不受手機主處理器的影響，因此魅族可以自由選購最適合的ISP產(chǎn)品。
在此基礎(chǔ)上，手機廠商只需再研發(fā)出適合的ISP驅(qū)動程序，以及考慮外置ISP與內(nèi)置ISP的搭配問題，并進行更精細的算法調(diào)校。
市界梳理華為手機的早期配置發(fā)現(xiàn)，在麒麟950之前，華為旗艦機型手機均是采用外購的ISP。有業(yè)內(nèi)人士表示，其ISP購買自國內(nèi)專業(yè)的ISP設(shè)計廠商華晶科技（Altek）等。
只是，如果第三方的ISP芯片能夠滿足手機廠商的需要，那華為手機也不會在一開始被說拍照爛了。
第三方的ISP芯片雖然理論上可以增強手機拍照功能，但第三方芯片大家都能買到，并不能建立什么護城河，只有自研的ISP芯片才有獨一無二的定制功能，才能夠建立獨家的影像壁壘。
比如華為2019年憑借技術(shù)優(yōu)勢自研了一個達芬奇架構(gòu)的NPU（嵌入式神經(jīng)網(wǎng)絡(luò)處理器），又配合上自家的自研ISP芯片和算法，做成了一個“Face AR”功能。
這讓搭載麒麟990的華為旗艦手機，靠著攝像頭對著人臉就能進行建模，進而靠面部信息就能進一步分析出人臉信息背后的諸如心率、呼吸率等健康數(shù)據(jù)。
說實話，這功能雖然實用性不高，但聽起來賣點十足，是全行業(yè)獨一份兒的。華為的相機通常以豐富的功能著稱，這與其掌控ISP芯片和手機處理器底層技術(shù)有直接的關(guān)系。
珠玉在前，而活下來各個手機廠商，經(jīng)過多年發(fā)展，影像能力也有一定的積累。搞不定核心處理器，還搞不定一個小小的ISP芯片？
因此，著手打造自家的ISP芯片已經(jīng)是不得不做的一件事，即將成為另一輪手機配置內(nèi)卷的軍備競賽。
03、下一個華為沒有捷徑vivo不久前發(fā)布的X70系列手機，高調(diào)宣傳了它自研的V1芯片帶來的影像效果的提升。這顆芯片是對高通芯片圖像能力的補足。
vivo V1芯片僅僅負責(zé)處理圖像，主要面對的使用場景是夜景拍攝，運行計算成像算法，用于減少眩光、鬼影等問題。
（vivo V1與驍龍888對比圖，圖源：@數(shù)碼閑聊站微博）
這一點也得到了vivo方面的確認。vivo員工李偉（化名）向市界解釋：“vivo V1是一顆影像芯片，可以對攝像頭傳回的圖像信號進行處理。其實手機SoC中本身已經(jīng)集成了圖像信號處理的部分，但X70系列定位是影像旗艦，我們需要多一顆專業(yè)的芯片來達到更好的影像處理效果?！?/p>
多塞一塊芯片，帶來了更多的技術(shù)挑戰(zhàn)，但vivo希望憑此在國內(nèi)手機影像的賽場中異軍突起。
現(xiàn)在整個手機產(chǎn)業(yè)鏈的分工已經(jīng)相當(dāng)完整，屏幕、電池、圖像傳感器、手機鏡頭甚至是核心的處理器供應(yīng)商，都集中到幾個廠商，下游的手機玩家們越來越難以做出差異化的硬件產(chǎn)品。
手機影像的軍備競賽日趨白熱化，拍照已經(jīng)成為智能手機最重要的功能之一，沒有優(yōu)秀的拍照能力，根本無法在高端市場立足。
余承東曾說：“好的手機影像不是單純一極思維，而從來就是一個完整的技術(shù)解決方案。”
這樣的背景下，走上華為自研的“老路”，向更加底層的芯片技術(shù)進軍，幾乎成為了手機玩家們的唯一選擇。
但是，成為下一個華為，僅僅靠一個小小的ISP夠嗎？
手機成像是一個系統(tǒng)性、持續(xù)性地工作，不僅要拼硬件配置，還要拼“后期”算法調(diào)校，最終生成畫面。
從行業(yè)經(jīng)驗來看，能否調(diào)校出好照片，與影像團隊的素質(zhì)、影像積累以及底層技術(shù)的掌控有莫大的關(guān)系。
蘋果靠著“萬年”的1200萬像素，年年吊打一眾一億像素的安卓對手。華為影像實力的突飛猛進背后，有對芯片及算法底層的掌控，進而能夠形成獨特優(yōu)勢。這種優(yōu)勢顯然并非多一個ISP芯片就能趕超，而是需要更多的“芯片自由”。
華為從P30系列開始采用RYYB CFA（濾波器）來提升進光量，其“夜視儀”級夜景效果至今讓友商望塵莫及。而想要支持RYYB，必須有麒麟芯片的NPU助力，這是其他品牌無法模仿的優(yōu)勢。
（華為P30）
今年iPhone13全系躍升的攝影能力中，特色的“電影模式”主要依賴于A15芯片強大的算力和影像團隊做出的算法。
高通的驍龍888也有很強的算法功力。在驍龍888內(nèi)置的Spectra 580 ISP上，首次應(yīng)用了他們的第十代3A算法。結(jié)合其全新升級的第六代AI引擎，在自動對焦、自動曝光、自動白平衡都取得了長足進步。
所以，vivo的ISP芯片V1定位是與處理器中的ISP協(xié)調(diào)并用，一起對成像算法端進行提升。V1主要起到的作用是高速計算成像，是對驍龍888計算能力的補足，用更強大的計算能力實時去噪和插幀，實現(xiàn)了所謂特色的“MEMC實時動態(tài)補幀”功能。
外置一顆自研ISP芯片后，確實會錦上添花，一定程度提高vivo旗艦機的拍攝能力，但到底進步多少，就見仁見智了。
至于小米的自研ISP芯片澎湃C1，據(jù)雷鋒網(wǎng)報道：“澎湃C1實際上是一個協(xié)處理器，或者說Pre-ISP，在處理器ISP前進行圖像處理，相對而言會比較容易處理，能夠輔助處理一些特定場景的應(yīng)用。不過，由于是在處理器外單獨增加了一顆芯片，因此無論是成本還是功耗，都會有所增加?！?/p>
國產(chǎn)廠商的自研ISP芯片，確實會對影像提升有所助益，但還達不到蘋果和華為那樣底層技術(shù)掌控能力。想要做出本質(zhì)上的自主掌控的影像創(chuàng)新，還需要更長的路。
2016年7月的華為半年業(yè)績發(fā)布會上，余承東說道：“華為在智能手機領(lǐng)域研發(fā)投入起碼每年三四十億美元之巨。這些研發(fā)投入不僅有照相機、處理器和算法，還包括新材料、新工藝、新技術(shù)、芯片、軟件等。這些創(chuàng)新投入期少則三五年，多則八年十年。只有我們這樣投入，隨著能量不斷釋放，才會越跑越快，讓對手追不上。”
要實現(xiàn)芯片自由，八年十年甚至更久的磋磨，將是米OV們必經(jīng)的過程。
參考資料：
1.《科普：關(guān)于ISP的原理、架構(gòu)等等》，IP與SoC設(shè)計
2.《熵減：華為活力之源》，林江艷
（作者 | 董溫淑 編輯 | 李曙光）
