總有人會淺薄地認(rèn)為，你只是加了一個攝像頭，世界上也有其他超廣角攝像頭了，這有啥新鮮的？
菲爾·席勒（Phil Schiller）拿起桌上的一部 iPhone 11，打開相機，他指著屏幕兩側(cè)延伸出的取景畫面對我說：
你瞧，它實際上是兩顆攝像頭同時在運作。
眼前這位負責(zé)營銷的蘋果高級副總裁，看起來比鏡頭前清瘦不少——在緊鑼密鼓的蘋果發(fā)布會上，席勒掌控著關(guān)于產(chǎn)品和技術(shù)層面的講解時間。
但我們沒有時間在 Keynote 上解釋它具體是如何發(fā)生的，但它就在那里，從來沒有人做過。
在大約 40 分鐘的專訪里，盡管我試圖把對話引向更符合這位高管身份的話題上，但這位具備技術(shù)背景的高級副總裁，卻始終滔滔不絕地向我吐露發(fā)布會上他沒來及說的技術(shù)細節(jié)。
拍照是 iPhone 11 系列的核心賣點。正如我們此前評測，無論是三攝變焦的毫無頓挫，還是夜間模式的純凈度，iPhone 的攝影都再一次回到行業(yè)領(lǐng)先的位置。
芯片改變攝影
席勒把 iPhone 11 攝影的突破歸功于 A13 仿生芯片上。這塊由蘋果自研的第二代 7nm 芯片， 依然采用 2+4 的設(shè)計，即兩個高性能核心和四個能效核心設(shè)計，其中 CPU 速度最高可提升 20%，能耗最多可降低 30%，而四個能效核心速度提升了 20%，能耗卻降低了 40%。
席勒認(rèn)為，機器學(xué)習(xí)是 A13 仿生芯片區(qū)別于 A12 設(shè)計的一個重點，CPU 上新增了兩個新的機器學(xué)習(xí)加速器，能以最高達 6 倍的速度執(zhí)行矩陣數(shù)學(xué)運算，每秒可進行 1 萬億次的運算。
在相同的尺寸里，A13 仿生芯片比上一代多塞進了 11 億個晶體管。那么，多出算力花在哪里？
答案是機器學(xué)習(xí)和圖像處理的性能。
最好的例子莫過于 Deep Fusion，這個被席勒稱為「計算攝影的瘋狂哲學(xué)」的功能，可以在用戶按下快門前拍攝 8 張照片，并融合一張按下快門時的長曝圖片，生成一張媲美專業(yè)相機的高動態(tài)范圍照片，即便在中低光環(huán)境下也能呈現(xiàn)更多細節(jié)。
▲ 席勒在發(fā)布會上介紹 Deep Fusion
席勒向我解釋了它與智能 HDR 的不同：在正常情況下，智能 HDR 是通過多張圖片的堆棧得到一張更好的照片，ISP 提供數(shù)據(jù)負責(zé)最后的成片，神經(jīng)網(wǎng)絡(luò)引擎只是協(xié)助成片。
ISP 意為圖像信號傳感器，主要負責(zé)講傳感器上的數(shù)據(jù)信號轉(zhuǎn)換為屏幕上的圖像。iPhone 11 取景框來自兩個攝像頭同時取景的畫面，近乎完美的拼接， ISP 功不可沒。
但是 Deep Fusion 不一樣，當(dāng)你拍攝了更多的照片數(shù)據(jù)時，它們會直接給到神經(jīng)網(wǎng)絡(luò)引擎，神經(jīng)網(wǎng)絡(luò)引擎具備一種全新的模型，可以整合大量的照片——它會對 2400 萬像素進行逐一像素的比對，從而合成最終的照片。這是第一次，神經(jīng)網(wǎng)絡(luò)引擎主要去負責(zé)這個工作，而非 ISP。
那么，合成的時間？
一秒鐘！你只需要關(guān)心拍照的事，當(dāng)你回到相冊的時候，它已經(jīng)靜靜地躺在那里了。
iPhone 的拍照頁面保持了 iOS 一貫的簡潔，蘋果希望幫助用戶做選擇，但背后卻有精確的數(shù)字調(diào)度。席勒透露，DeepFusion 只會在 10-600lux 下的照度下激活，如果光線低于 10 lux，相機啟用的則是夜間模式。
芯片的「大腦」
不止是蘋果，各家智能手機廠商們逐漸意識到，智能手機時代的影像，早已脫離元器件的堆積，不是 CMOS 底大一寸壓死人的粗暴邏輯，是感光元件、ISP、算法，甚至機器學(xué)習(xí)的配合與協(xié)同。
在 AI 大行其道的今天，當(dāng) AI 智慧拍照、 AI 人像、AI 美顏概念幾乎成為 Android 手機的金字招牌，蘋果顯得有些格格不入，在發(fā)布會上輕描淡寫，對媒體守口如瓶，你甚至在 iPhone 里找不到半個 AI 字眼。
在斯坦福教授人工智能歷史一課的 Jerry Kaplan 表示，蘋果不屬于社區(qū)的一分子，就像是 AI 領(lǐng)域的 NSA（美國國家安全局）。
席勒沒有透露更多關(guān)于蘋果 AI 的進展，但他認(rèn)為，機器學(xué)習(xí)的用武之地絕不僅僅在于如何讓照片更好看：從 Siri 更自然的人聲效果到相冊的智能檢索，從提升電池續(xù)航到 AR 的光影效果，它已經(jīng)橫貫于 iOS 大小功能的細枝末節(jié)和用戶體驗的方方面面。
當(dāng)我猜測說 Apple Pencil 在 iPad 的「防誤觸」是否來自機器學(xué)習(xí)算法時，席勒笑著打斷我的話：
可不止，連 Apple Pencil 的軌跡也是機器學(xué)習(xí)去預(yù)測的，它知道你可能會畫到哪里。
事實上，機器學(xué)習(xí)在 iPhone 中無處不在，正如 Backchannel 主編 Steven Levy 提到的，你的 iPhone 早已經(jīng)內(nèi)置了 Apple Brain。
Apple Brain 就是那顆 A13 仿生芯片——與其他大公司利用云端運算做機器學(xué)習(xí)不同，蘋果調(diào)用的完全是本地芯片的能力。
這個「大腦」有多大？iPhone 上有多少用戶數(shù)據(jù)緩存可供機器學(xué)習(xí)調(diào)用？
對于絕大多數(shù)公司，這個大腦可能是數(shù)以 TB 級的云端數(shù)據(jù)，但對于蘋果而言，只有平均 200 MB——這些大到你的聲音和面部數(shù)據(jù)，小到你滑屏的軌跡與習(xí)慣，都以加密的形式存儲在 iPhone 的芯片之上。
從用戶角度看，這種行為的確令人尊敬，但利用本地芯片做 AI 無疑是一條更艱難的賽道。
「的確很難，這意味著我們需要在芯片上投入大量的精力，意味著我們必須找到軟件的方式去訓(xùn)練模型?！瓜照f：
我們愿意這樣做，不僅僅是因為本地運算更快，還因為——沒有人不在意自己的隱私。
芯片是蘋果護城河最堅固的那部分
自從 2008 年收購芯片制造商 P.A. 半導(dǎo)體，并在 iPhone 4 和初代 iPad 上采用首顆自研處理器 A4，蘋果逐漸與 ARM 公版設(shè)計分道揚鑣。到了 iPhone 5 所采用的 A6 芯片，蘋果真正的設(shè)計實力與野心才開始逐漸展露。
從核心的 SoC，到協(xié)處理器、電源管理芯片，蘋果正在一步步讓半導(dǎo)體元器件的設(shè)計掌控在自己手中。
蘋果芯片的客戶只有自己，好處在于自己才更能了解自己需要什么，并將其發(fā)揮到最大的價值，從而達到軟硬件的高度契合。
今年 3 月發(fā)布的第二代 AirPods 上，蘋果首次為耳機產(chǎn)品研發(fā)了芯片組 H1。
對于大眾而言，H1 芯片帶來的升級，遠不如加個新配色或是改個外觀來得吸引人，但芯片卻直接關(guān)乎著左右耳連接的穩(wěn)定性，以及低延遲表現(xiàn)，這恰恰是競品與 AirPods 差距最大的部分。
用戶對蘋果芯片實力的感知并不直觀，很多人覺得 iPhone 好用，卻道不出其技術(shù)緣由，簡單粗暴地把用戶體驗歸為 iOS 的老本。
人們往往會忽略蘋果的整個生態(tài)系統(tǒng)。
芯片是一個門檻更高的產(chǎn)業(yè)，很難被競爭對手模仿與跟隨。某種意義上，自研芯片才是 iOS 生態(tài)系統(tǒng)的核心，是整個護城河里最堅固的部分。
芯片的研發(fā)周期大約在 2-3 年，涉及多個團隊，這期間架構(gòu)工程師要同數(shù)目龐大的軟件和硬件人員共同協(xié)作。芯片團隊每周都要和其他團隊當(dāng)面溝通。
Anand Shimpi 曾是?AnandTech 的創(chuàng)始人，加入蘋果后負責(zé)芯片業(yè)務(wù)，就在采訪前，他剛剛和 GPU 部門的架構(gòu)師開了一場會：
攝像頭經(jīng)常會用到 GPU。這有兩方面影響，芯片部門設(shè)計的 GPU 可以告訴相機部門如何把它用到最好，而相機部門的需求也會指導(dǎo) GPU 未來的發(fā)展。
接近十年自研芯片的歷史讓蘋果對 A 系列芯片非常自信，不僅發(fā)布會史無前例地在 Keynote 吊打兩大競品，在采訪中，席勒也毫不掩飾地評論競爭對手：
他們很難持久，他們也許會關(guān)注單一性能的指標(biāo)，而我們更在乎每瓦的性能……我們不銷售芯片，我思考的只是如何讓體驗更好。
采訪結(jié)束后，當(dāng)我掏出相機合影時，席勒指著我的相機笑著說：
Not very smart camera, but a big lens.
