幾張貼紙就能「改變」交通標(biāo)志識別結(jié)果，轉(zhuǎn)個(gè)方向就看不出圖中的動(dòng)物種類，今天的人工智能系統(tǒng)經(jīng)常會出現(xiàn)莫名其妙的 bug。最新一期《自然》雜志上的這篇文章向我們介紹了深度學(xué)習(xí)為什么如此容易出錯(cuò)，以及解決這些問題的研究方向。
一輛自動(dòng)駕駛汽車在接近停止標(biāo)志時(shí)非但沒有停車，反而加速駛?cè)肓朔泵Φ氖致房?。一份事故調(diào)查報(bào)告顯示，該汽車之所以做出這種決策，是因?yàn)橥Ｖ箻?biāo)志的表面貼了四個(gè)小矩形。這樣一來，自動(dòng)駕駛汽車就把停止標(biāo)志識別為了「限速 45」。
這種事件其實(shí)還沒有在實(shí)際中發(fā)生，但蓄意破壞 AI 系統(tǒng)的可能卻是真實(shí)存在的。在停止路牌上貼標(biāo)簽、在帽子和眼鏡上貼貼紙都有可能成功欺騙自動(dòng)駕駛系統(tǒng)和人臉識別系統(tǒng)，還有研究者用白噪音來欺騙語音識別系統(tǒng)。
這些案例都說明欺騙一個(gè)領(lǐng)先的 AI 模式識別系統(tǒng)（即深度神經(jīng)網(wǎng)絡(luò)）有多么容易。這些系統(tǒng)已經(jīng)在我們生活中無處不在，但只要對這些系統(tǒng)的輸入做一些微小的改動(dòng)，最好的神經(jīng)網(wǎng)絡(luò)也會受到欺騙。
在尋找問題的過程中，研究人員發(fā)現(xiàn)了 DNN 失效的很多原因?！干疃壬窠?jīng)網(wǎng)絡(luò)本質(zhì)的脆弱性是無法修復(fù)的，」谷歌 AI 工程師 François Chollet 指出。Chollet 及其他研究者認(rèn)為，為了克服這些缺陷，研究者需要借助其他力量來鞏固模式匹配 DNN：例如，讓 AI 能夠自己探索世界、自己寫代碼并保留記憶。一些專家認(rèn)為，這類系統(tǒng)將成為未來十年 AI 研究的主題。
接受現(xiàn)實(shí)的檢驗(yàn)
2011 年，谷歌推出了一個(gè)能識別貓的系統(tǒng)，從此掀起了 DNN 分類系統(tǒng)的研究高潮。人們驚呼：計(jì)算機(jī)終于可以理解世界了！
但 AI 研究者知道，DNN 其實(shí)并不理解這個(gè)世界。它們粗略地模仿大腦結(jié)構(gòu)，其實(shí)是一種由分布在很多層上的數(shù)字神經(jīng)元組成的軟件結(jié)構(gòu)。每個(gè)神經(jīng)元與其相鄰層的神經(jīng)元相連接。
其基本思想是，原始輸入（如圖像的像素）的特征進(jìn)入底層，觸發(fā)一些神經(jīng)元，然后根據(jù)簡單的數(shù)學(xué)規(guī)則將信號傳到上層的神經(jīng)元。訓(xùn)練一個(gè) DNN 網(wǎng)絡(luò)需要將其暴露在大量樣本中，然后每次調(diào)整神經(jīng)元的連接方式，最終由上層得出想要的答案，比如把某頭獅子的圖像識別為獅子，盡管 DNN 從未見過這一頭獅子的照片。
對 DNN 進(jìn)行的首次重大檢驗(yàn)發(fā)生在 2013 年。當(dāng)時(shí)，谷歌的研究者 Christian Szegedy 及其同事發(fā)表了一篇名為「『Intriguing properties of neural networks」的預(yù)印版論文。該團(tuán)隊(duì)表明，通過修改幾個(gè)像素就能誤導(dǎo) DNN 將獅子識別為圖書館等其他物體。他們將修改后的圖像稱之為「對抗樣本」（adversarial example）。
一年之后，Clune 等人組成的團(tuán)隊(duì)表明，讓 DNN 看到不存在的物體也是可能的，如在波浪形線條中看到企鵝?！溉魏螐氖逻^機(jī)器學(xué)習(xí)研究的人都知道，這些系統(tǒng)經(jīng)常會犯一些低級錯(cuò)誤，」Yoshua Bengio 說道，「但這種錯(cuò)誤令人驚訝，而且出人意料?！?/p>
新型錯(cuò)誤層出不窮。去年，Nguyen 證明，簡單地旋轉(zhuǎn)物體就能淘汰一波當(dāng)前最好的圖像分類器。今年，Hendrycks 等人報(bào)告稱，即使是未經(jīng)篡改的自然圖片也能騙到當(dāng)前最好的分類器，使其將蘑菇識別為餅干。
這個(gè)問題不止在目標(biāo)識別中出現(xiàn)：任何使用 DNN 對輸入進(jìn)行分類的 AI 都能被騙到，如使用強(qiáng)化學(xué)習(xí)的游戲 AI，在屏幕上隨機(jī)添加幾個(gè)像素就能讓智能體輸?shù)舯荣悺?/p>
DNN 的弱點(diǎn)會給黑客接管 AI 系統(tǒng)提供可乘之機(jī)。去年，谷歌的一個(gè)團(tuán)隊(duì)表明，使用對抗樣本不僅可以迫使 DNN 做出某種錯(cuò)誤決策，也可能徹底改變程序，從而有效地將一個(gè)訓(xùn)練好的 AI 系統(tǒng)用于另一項(xiàng)任務(wù)。
許多神經(jīng)網(wǎng)絡(luò)理論上都能用來編碼任何其他計(jì)算機(jī)程序?！咐碚撋蟻碚f，你可以將一個(gè)聊天機(jī)器人轉(zhuǎn)化為任何你想要的程序，」Clune 表示。在他的設(shè)想中，不遠(yuǎn)的將來，黑客就能夠劫持云中的神經(jīng)網(wǎng)絡(luò)，運(yùn)行他們自己的垃圾郵件躲避算法。
加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家 Dawn Song 認(rèn)為，DNN 很容易受到攻擊，但防守卻非常困難。
能力越大越脆弱
DNN 非常強(qiáng)大，因?yàn)樗鼈冇泻芏鄬?，也就意味著它們可以識別出輸入的不同特征模式。經(jīng)過訓(xùn)練，用于識別飛行器的 AI 算法有可能會找到諸如色塊、紋理、背景等因素與預(yù)測目標(biāo)具有關(guān)聯(lián)性。但這也意味著輸入內(nèi)容的很小變化就可以讓 AI 的識別結(jié)果出現(xiàn)明顯的變化。
解決方法之一就是簡單地給 AI 投喂更多數(shù)據(jù)，特別是多訓(xùn)練出錯(cuò)的情況以糾正錯(cuò)誤。在這種「對抗性訓(xùn)練」的情況下，一個(gè)網(wǎng)絡(luò)學(xué)會識別目標(biāo)，另一個(gè)網(wǎng)絡(luò)嘗試修改第一個(gè)網(wǎng)絡(luò)的輸出，并制造錯(cuò)誤。通過這種方法，對抗樣本成為了 DNN 訓(xùn)練數(shù)據(jù)的一部分。
Hendrycks 等研究者建議測試 DNN 在各種對抗樣本的性能，從而量化 DNN 對犯錯(cuò)的魯棒性。他們表明，訓(xùn)練能抵御一種攻擊的神經(jīng)網(wǎng)絡(luò)可能會削弱它對其他攻擊的抵抗力，而魯棒性的 DNN 不應(yīng)該因其輸入的微小擾動(dòng)而改變其輸出。這種因擾動(dòng)而改變最終結(jié)果的屬性，很可能是在數(shù)學(xué)層面上引入神經(jīng)網(wǎng)絡(luò)的，它限制了 DNN 學(xué)習(xí)的方式。
然而在當(dāng)時(shí)，沒有人可以解決所有 AI 都很脆弱這一問題。問題的根源，根據(jù) Bengio 的說法，深度神經(jīng)網(wǎng)絡(luò)中沒有一個(gè)很好的可以選擇什么是重要的模型。當(dāng) AI 觀察一個(gè)將獅子篡改為圖書館的圖片，人類依然可以看到獅子，因?yàn)樗麄冇幸粋€(gè)思維模型，能夠?qū)?dòng)物視為更高級的特征——如耳朵、尾巴、鬃毛等。而其他低級別的細(xì)節(jié)則會被忽略掉?！肝覀冎缽南闰?yàn)知識中學(xué)習(xí)什么特征是重要的，」Bengio 說，「而這來自于對結(jié)構(gòu)化的世界的深度理解?！?/p>
解決此問題的一種嘗試是將 DNN 與符號 AI 結(jié)合起來。符號 AI 也是機(jī)器學(xué)習(xí)之前，人工智能的主要方法。借助符號 AI，機(jī)器可以使用關(guān)于世界如何運(yùn)作的硬編碼規(guī)則進(jìn)行推理，例如它包含離散的對象，之間以各種方式相互關(guān)聯(lián)。一些研究人員，例如紐約大學(xué)的心理學(xué)家 Gary Marcus 說，混合 AI 模型是前進(jìn)的方向?！干疃葘W(xué)習(xí)在短期內(nèi)非常有用，以至于人們對長期發(fā)展視而不見，」一直以來對當(dāng)前深度學(xué)習(xí)方法持批評態(tài)度的馬庫斯說。
今年 5 月，他在加利福尼亞州帕洛阿爾托聯(lián)合創(chuàng)立了一家名為 Robust AI 的初創(chuàng)公司，該公司旨在將深度學(xué)習(xí)與基于規(guī)則的 AI 技術(shù)相結(jié)合，以開發(fā)可以與人一起安全操作的機(jī)器人。公司正在做工作仍處于保密狀態(tài)。
即使可以將規(guī)則嵌入到 DNN 中，這些規(guī)則的效果也只是能與學(xué)習(xí)一樣好。Bengio 說，AI 智能體需要在更豐富的可探索環(huán)境中學(xué)習(xí)。例如，大多數(shù)計(jì)算機(jī)視覺系統(tǒng)無法識別一罐啤酒是圓柱形的，因?yàn)樗鼈冎辉?2D 圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練。這就是 Nguyen 等研究者發(fā)現(xiàn)我們可以通過不同角度的對象來愚弄 DNN 的原因。
但是，AI 的學(xué)習(xí)方式也需要改變。Bengio 說：「了解因果關(guān)系必須在現(xiàn)實(shí)世界做一些任務(wù)，智能體可以實(shí)驗(yàn)并探索現(xiàn)實(shí)世界?！沽硪晃簧疃葘W(xué)習(xí)的先驅(qū)，Jürgen Schmidhuber 說，模式識別非常強(qiáng)大，足以使阿里巴巴、騰訊、亞馬遜、Facebook 和 Google 等企業(yè)成為世界上最有價(jià)值的公司。他說：「但是將會有更大的浪潮，其涉及智能體操縱真實(shí)世界并通過自己的行動(dòng)創(chuàng)建自己的數(shù)據(jù)?！?/p>
從某種意義上來講，使用強(qiáng)化學(xué)習(xí)在人工環(huán)境中搞定計(jì)算機(jī)游戲的方式已經(jīng)是這樣了：通過反復(fù)試錯(cuò)，智能體以規(guī)則允許的方式操縱屏幕上的像素點(diǎn)，直到達(dá)成目標(biāo)為止。然而，真實(shí)世界要比當(dāng)今大多數(shù) DNN 訓(xùn)練所依據(jù)的模擬環(huán)境或數(shù)據(jù)集要復(fù)雜得多。
即興表演的機(jī)器人
如下圖所示，在加州大學(xué)伯克利分校 (University of California, Berkeley) 的一個(gè)實(shí)驗(yàn)室里，一只機(jī)器人手臂在雜物中翻找。它拿起一個(gè)紅色的碗，然后用它把一只藍(lán)色的烤箱手套向右推幾厘米。它放下碗，拿起一個(gè)空的塑料噴射器，然后估量著平裝書的重量和形狀。經(jīng)過連續(xù)幾天的篩選，機(jī)器人開始對這些陌生的物體有了感覺，知道它們各自用來做些什么。
機(jī)器人手臂正在使用深度學(xué)習(xí)來教自己使用工具。給定一盤物體，它依次撿起并觀察每一個(gè)物體，觀察當(dāng)它移動(dòng)它們并將一個(gè)物體撞向另一個(gè)物體時(shí)會發(fā)生什么。
當(dāng)研究人員給予機(jī)器人一個(gè)目標(biāo)，例如向它展示一張幾乎空的托盤圖像，并指定機(jī)器人安排物體來匹配狀態(tài)。這樣，機(jī)器人可以與其之前未見過的物體交互并即興做出行動(dòng)，例如用海綿將桌子上的物體抹干凈。機(jī)器人還能意識到，用塑料水壺清理掉擋道的物體要比直接拿起它們要快。
伯克利實(shí)驗(yàn)室的研究員 Chelsea Finn 認(rèn)為，一般而言，這種學(xué)習(xí)可以使得 AI 更深入地了解物體和世界。如果你曾經(jīng)只在照片上見過水壺或海綿，則或許能夠在其他圖像中識別出它們。但是，你不會真正地理解它們是什么或它們用來做什么。因此，F(xiàn)inn 表示，只有你真正地與它們接觸才可以更深入地了解它們。
但是，這種學(xué)習(xí)過程很慢。在模擬環(huán)境中，AI 可以非?？焖俚貫g覽示例。例如，2017 年，DeepMind 的 AlphaZero 自學(xué)習(xí)游戲軟件接受訓(xùn)練在圍棋、國際象棋和日本象棋領(lǐng)域大殺四方。那時(shí)，AlphaZero 針對每場賽事進(jìn)行了 2000 多萬場訓(xùn)練游戲。
AI 機(jī)器人學(xué)習(xí)這種能力很慢。AI 和機(jī)器人公司 Ambidextrous 聯(lián)合創(chuàng)始人 Jeff Mahler 表示，在深度學(xué)習(xí)領(lǐng)域，幾乎所有的結(jié)果都極度依賴大量數(shù)據(jù)。他說道：「在單個(gè)機(jī)器人上收集數(shù)以千萬計(jì)的數(shù)據(jù)點(diǎn)將需要連續(xù)數(shù)年的執(zhí)行時(shí)間。」此外，數(shù)據(jù)或許不可靠，因?yàn)閭鞲衅餍?zhǔn)會隨時(shí)間出現(xiàn)變化，硬件也會退化。
因此，大多數(shù)涉及深度學(xué)習(xí)的機(jī)器人工作仍然使用模擬環(huán)境來加速訓(xùn)練。亞特蘭大佐治亞理工學(xué)院機(jī)器人專業(yè)的博士生 David Kent 認(rèn)為，你能學(xué)到什么取決于模擬器有多好。模擬器一直在改進(jìn)，研究人員也正在把從虛擬世界學(xué)到的經(jīng)驗(yàn)更好地轉(zhuǎn)移到現(xiàn)實(shí)世界。然而，這樣的模擬仍然無法應(yīng)對現(xiàn)實(shí)世界的復(fù)雜性。
Finn 認(rèn)為，使用機(jī)器人學(xué)習(xí)最終要比使用人工數(shù)據(jù)學(xué)習(xí)更容易擴(kuò)展。她制作的會使用工具的機(jī)器人花了幾天時(shí)間學(xué)會了一項(xiàng)相對簡單的任務(wù)，但不需要大量的監(jiān)控。她說:「你只要運(yùn)行這個(gè)機(jī)器人，每隔一段時(shí)間就需要檢查一下?！顾胂笾幸惶欤澜缟嫌泻芏鄼C(jī)器人可以使用自己的設(shè)備，晝夜不停地學(xué)習(xí)。這應(yīng)該是可能的——畢竟，這是人們理解世界的方式?！感『⒉荒芡ㄟ^從 Facebook 下載數(shù)據(jù)來學(xué)習(xí)，」Schmidhuber 說。
從較少的數(shù)據(jù)中學(xué)習(xí)
需要指出的一點(diǎn)是，一個(gè)小孩也可以通過一些數(shù)據(jù)點(diǎn)識別出新的物體：即使他們之前從來沒有見過長頸鹿，但依然可以在看過它們一兩次后識別出來。識別如此之快的部分原因是，這個(gè)小孩已經(jīng)看過很多除長頸鹿之外的其他生物，所以熟悉了這些生物的顯著特征。
將這些能力賦予 AI 的一個(gè)統(tǒng)稱術(shù)語是遷移學(xué)習(xí)：即將之前通過訓(xùn)練獲得的知識遷移到其他任務(wù)上。實(shí)現(xiàn)遷移的一種方法是在新任務(wù)訓(xùn)練時(shí)將所有或部分預(yù)訓(xùn)練任務(wù)再次用作起點(diǎn)（starting point）。例如，再次使用已經(jīng)被訓(xùn)練用來識別一種動(dòng)物（如識別基本體型的層）的部分 DNN 可以在學(xué)習(xí)識別長頸鹿時(shí)為新網(wǎng)絡(luò)帶來優(yōu)勢。
一種極端形式的遷移學(xué)習(xí)旨在通過向新網(wǎng)絡(luò)展示少量示例（有時(shí)甚至只有一個(gè)示例）來訓(xùn)練它。此類已知的 one-shot 或 few-shot 學(xué)習(xí)極度依賴預(yù)訓(xùn)練的 DNN。舉例而言，如果你想要構(gòu)建一個(gè)能夠識別出犯罪數(shù)據(jù)庫中人的人臉識別系統(tǒng)，則利用包含數(shù)以百萬計(jì)人臉（并不一定是數(shù)據(jù)庫中的那些人）的 DNN 可以幫助該識別系統(tǒng)了解主要特征，如鼻子和下巴的形狀。
所以，擁有此類預(yù)訓(xùn)練記憶可以幫助 AI 在未見過大量模式的情況下識別出新示例，這樣可以加速機(jī)器人的學(xué)習(xí)速度。但是，如果面臨一些它們經(jīng)驗(yàn)范圍外的任務(wù)，此類 DNN 或許依然表現(xiàn)不佳。這些網(wǎng)絡(luò)能夠?qū)崿F(xiàn)多大程度的泛化也依然不清楚。
例如，DeepMind 的 AlphaZero 等最成功的 AI 系統(tǒng)所擁有的專業(yè)知識也極其有限。AlphaZero 雖然可以接受訓(xùn)練來下圍棋和國際象棋，但無法同時(shí)進(jìn)行。
學(xué)會如何學(xué)習(xí)
AlphaZero 在游戲領(lǐng)域的成功不僅僅歸功于有效的強(qiáng)化學(xué)習(xí)，還要得益于一種算法（用到了蒙特卡洛樹搜索技術(shù)的一種變體），這種算法可以幫助 AlphaZero 縮小下一步的選擇范圍。換言之，AI 學(xué)習(xí)如何以最好的方式從環(huán)境中學(xué)習(xí)。Chollet 認(rèn)為，AI 的下一步重大進(jìn)展將是賦予 DNN 編寫各自算法的能力，而不僅僅是使用人類提供的代碼。
Chollet 還說道，為基礎(chǔ)的模式匹配補(bǔ)充推理能力將使得 AI 能夠在它們的舒適區(qū)（comfort zone）外更好地處理輸入。計(jì)算機(jī)科學(xué)家們多年來一直都在研究程序合成（program synthesis），讓一臺計(jì)算機(jī)自動(dòng)生成代碼。所以，在他看來，將這一領(lǐng)域與深度學(xué)習(xí)相結(jié)合可以生成更接近人類所使用的抽象心智模型的 DNN 系統(tǒng)。
例如，在機(jī)器人領(lǐng)域，F(xiàn)acebook AI 研究所（FAIR）的計(jì)算機(jī)科學(xué)家 Kristen Grauman 正在教機(jī)器人自身如何最有效地探索新環(huán)境。
該領(lǐng)域的研究人員表示他們在修復(fù)深度學(xué)習(xí)缺陷方面取得了一些進(jìn)展，但他們也在探索一些新技術(shù)來使得 DNN 不那么脆弱。Song 認(rèn)為，深度學(xué)習(xí)背后沒有太多的理論可遵循。如果出了故障，則很難找出原因。整個(gè)領(lǐng)域依然以實(shí)證為主，所以研究人員必須親自嘗試著解決。
目前，盡管科學(xué)家們意識到了 DNN 的脆弱性以及他們對數(shù)據(jù)的過度依賴，但大多數(shù)人認(rèn)為 DNN 技術(shù)將繼續(xù)存在和發(fā)展。需要承認(rèn)的一點(diǎn)是，近十年來，與大量計(jì)算資源相結(jié)合的神經(jīng)網(wǎng)絡(luò)可以在接受訓(xùn)練的情況下很好地識別模式。但遺憾的是，Clune 認(rèn)為，沒有人真正知道如何改進(jìn) DNN 技術(shù)。
【責(zé)任編輯：張燕妮 TEL：（010）68476606】