雷鋒網(wǎng)AI科技評論按：8 月 16 日，第二十八屆國際聯(lián)合人工智能大會（IJCAI 2019）在澳門成功閉幕。
本屆 IJCAI 正值 IJCAI50 周年，主辦方組織了一系列的主題活動。除了論文、Tutorial、Workshop、demo、展覽等常規(guī)環(huán)節(jié)之外，還舉辦了包括 IJCAI 50 周年紀念、AI in China、用戶數(shù)據(jù)隱私等極具特色的 panel 環(huán)節(jié)。而在這諸多內(nèi)容中，「聯(lián)邦學(xué)習(xí)」無疑是最值得關(guān)注的內(nèi)容之一。
在 8 月 12 日的 Workshop Day 中，由微眾銀行與 IBM 等機構(gòu)舉辦的「首屆聯(lián)邦學(xué)習(xí)國際研討會」成為了當(dāng)天最受歡迎的 Workshop，研討會尚未開始就已爆滿，還有不少參會者擠在門外旁聽，聽眾的熱情超出了主辦方的預(yù)期。
雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))了解，本次「首屆聯(lián)邦學(xué)習(xí)國際研討會」由微眾銀行、IBM Research 主辦，并得到了愛思唯爾、創(chuàng)新工場、松鼠 AI 的贊助和中國人工智能開源軟件發(fā)展聯(lián)盟（AIOSS）及 IEEE 等機構(gòu)的支持。
在 IJCAI 大會期間同時還舉辦了「IEEE P3652.1(聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用) 標準工作組第三次會議」，另外「AI 安全專題研討會」、「AI 與用戶隱私」圓桌會上微眾銀行也分享了聯(lián)邦學(xué)習(xí)的相關(guān)內(nèi)容。這恐怕也是自 2017 年聯(lián)邦學(xué)習(xí)概念提出以來，聯(lián)邦學(xué)習(xí)研究人員首次在人工智能國際頂會上如此密集的發(fā)聲，以微眾銀行為代表的諸多企業(yè)的參與也標志著聯(lián)邦學(xué)習(xí)已經(jīng)逐步從基礎(chǔ)研究走向落地應(yīng)用，而「首屆聯(lián)邦學(xué)習(xí)國際研討會」的召開則標志了聯(lián)邦學(xué)習(xí)國際社區(qū)的正式成立，聯(lián)邦學(xué)習(xí)進入了一個新的階段。
聯(lián)邦學(xué)習(xí)為何成為備受產(chǎn)業(yè)界關(guān)注的熱點？
2006 年以來，隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的提出、算法改善和算力的提升、以及大數(shù)據(jù)的廣泛應(yīng)用，人工智能迎來了一波新的高峰。2016 年的「人機大戰(zhàn)」AlphaGo 戰(zhàn)勝圍棋世界冠軍李世石，不僅展示了以大數(shù)據(jù)驅(qū)動的人工智能的巨大潛力，也讓人們更加期待一個人工智能在各行各業(yè)中得以實現(xiàn)的新時代的到來。
然而理想很豐滿，現(xiàn)實很骨感——在實際應(yīng)用中，大多數(shù)應(yīng)用領(lǐng)域均存在數(shù)據(jù)有限且質(zhì)量較差的問題，在某些專業(yè)性很強的細分領(lǐng)域（如醫(yī)療診斷）更是難以獲得足以支撐人工智能技術(shù)實現(xiàn)的標注數(shù)據(jù)。同時在不同數(shù)據(jù)源之間存在難以打破的壁壘，「大數(shù)據(jù)」往往只是越來越多的「數(shù)據(jù)孤島」的總稱。
同時隨著大數(shù)據(jù)的發(fā)展，重視數(shù)據(jù)隱私和安全已經(jīng)成為一種世界性的趨勢，而歐盟「數(shù)據(jù)隱私保護條例」（General Data Protection Regulation，GDPR）等一系列條例的出臺更是加劇了數(shù)據(jù)獲取的難度，這也給人工智能的落地應(yīng)用帶來了前所未有的挑戰(zhàn)。
「聯(lián)邦學(xué)習(xí)」（Federated Learning）就是為解決傳統(tǒng)機器學(xué)習(xí)方法所面臨的數(shù)據(jù)困境的一種新的嘗試。這是一種在保護數(shù)據(jù)隱私、滿足合法合規(guī)要求的前提下，多參與方或多計算結(jié)點之間開展高效率的機器學(xué)習(xí)的新型人工智能基礎(chǔ)技術(shù)。聯(lián)邦學(xué)習(xí)具有以下特點：
在聯(lián)邦學(xué)習(xí)的框架下，各參與者地位對等，能夠?qū)崿F(xiàn)公平合作；
數(shù)據(jù)保留在本地，避免數(shù)據(jù)泄露，滿足用戶隱私保護和數(shù)據(jù)安全的需求；
能夠保證參與各方在保持獨立性的情況下，進行信息與模型參數(shù)的加密交換，并同時獲得成長；
建模效果與傳統(tǒng)深度學(xué)習(xí)算法建模效果相差不大。尤其在聯(lián)邦遷移學(xué)習(xí)過程中可做到「無損失」，避免了遷移學(xué)習(xí)的負遷移；
聯(lián)邦學(xué)習(xí)是一個「閉環(huán)」的學(xué)習(xí)機制。模型效果取決于數(shù)據(jù)提供方對自己和他人的貢獻，有助于激勵更多機構(gòu)加入數(shù)據(jù)聯(lián)邦。
聯(lián)邦學(xué)習(xí)的上述特點對于打破數(shù)據(jù)孤島、推動人工智能在更多的行業(yè)落地上有著重要的意義。為了給用戶提供更好的服務(wù)，在人工智能應(yīng)用中需要多方整合數(shù)據(jù)迫切性達到了一個前所未有的程度。
但如果在公司間無法交換數(shù)據(jù)，除了少數(shù)幾家擁有海量用戶、具備產(chǎn)品和服務(wù)優(yōu)勢的「巨無霸」公司外，大多數(shù)企業(yè)難以以一種合理合法的方式跨越人工智能落地的數(shù)據(jù)鴻溝，或者對于他們來說需要付出巨大的成本來解決這一問題。
聯(lián)邦學(xué)習(xí)正是在現(xiàn)有的機制和流程無法改變的情況下，希望通過技術(shù)手段建立一個虛擬的共有模型，從而達到好像大家把數(shù)據(jù)聚合在一起建立的最優(yōu)模型一樣的效果。
值得一提的是，這種數(shù)據(jù)聚合并不是簡單地將各方數(shù)據(jù)進行合并，而是在各參與方自有數(shù)據(jù)不出本地、通過加密機制下的交換方式，從而在各參與方一端均建立起高質(zhì)量的模型（例如說，企業(yè) A 建立一個分類任務(wù)模型，企業(yè) B 建立一個預(yù)測任務(wù)模型）。相比起各數(shù)據(jù)主體擁有私有數(shù)據(jù)「各自為政」的傳統(tǒng)方式，「聯(lián)邦」包含著將多方以平等的地位團結(jié)起來，有「君子和而不同」的意義。
關(guān)于「聯(lián)邦學(xué)習(xí)」的名字還有一個故事：在早期國內(nèi)將「FederatedLearning」大多翻譯為「聯(lián)合學(xué)習(xí)」，現(xiàn)多稱為「聯(lián)邦學(xué)習(xí)」。其中的區(qū)別是，如果用戶是個人，確實是把他們的模型「聯(lián)合」起來學(xué)習(xí)；而如果用戶是企業(yè)、銀行、醫(yī)院等大數(shù)據(jù)擁有者，這種技術(shù)則更像是將諸多「城邦」結(jié)合起來，「聯(lián)邦」一詞則更為準確。這一名字的變化，也反映著聯(lián)邦學(xué)習(xí)的研究主體從理論轉(zhuǎn)向?qū)嶋H應(yīng)用的變化趨勢。
聯(lián)邦學(xué)習(xí)的進化之路
2017 年，為解決安卓手機用戶個人終端設(shè)備上的模型（如輸入法預(yù)選詞的推薦模型）訓(xùn)練引發(fā)的數(shù)據(jù)安全和大量數(shù)據(jù)傳輸問題，谷歌提出了一種新的數(shù)據(jù)聯(lián)合建模方案，使得用戶在使用安卓手機時在本地更新模型參數(shù)，并將參數(shù)上傳到云上，從而使得具有相同特征維度的數(shù)據(jù)方聯(lián)合建立模型。它能夠解決兩個數(shù)據(jù)集的樣本特征重疊部分較大、樣本重疊部分較小的數(shù)據(jù)集分布情況。這種聯(lián)合建模方案被稱為橫向聯(lián)邦學(xué)習(xí)，也是最早的聯(lián)邦學(xué)習(xí)的方式。
聯(lián)邦學(xué)習(xí)的分類
針對不同的數(shù)據(jù)樣本類型，除了橫向聯(lián)邦學(xué)習(xí)，還有縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)兩種不同的方式。
前者用于解決樣本重疊部分較大，而樣本特征重疊部分較小的數(shù)據(jù)集、需要縱向切分的情況，而針對數(shù)據(jù)集的樣本和樣本特征重疊部分都比較小、或沒有重疊部分的情況。
香港科技大學(xué)講席教授、微眾銀行首席人工智能官楊強教授帶領(lǐng)微眾銀行 AI 團隊將遷移學(xué)習(xí)和聯(lián)邦學(xué)習(xí)結(jié)合起來提出了聯(lián)邦遷移學(xué)習(xí)，不是通過對數(shù)據(jù)進行切分進行訓(xùn)練，而是通過遷移學(xué)習(xí)進行訓(xùn)練。
從業(yè)務(wù)場景上具體舉例來說，相同業(yè)務(wù)類型、不同區(qū)域的場景（如兩家不同地區(qū)的區(qū)域性銀行）適用橫向聯(lián)邦學(xué)習(xí)，同一區(qū)域、不同業(yè)務(wù)類型的場景（如深圳的一家銀行和超市）適合縱向聯(lián)邦學(xué)習(xí)，而區(qū)域和業(yè)務(wù)不同的機構(gòu)（如一家美國超市和一家中國的銀行）則通過引入聯(lián)邦遷移學(xué)習(xí)來解決單邊數(shù)據(jù)規(guī)模和標簽樣本不足的問題。
由此也可見，微眾銀行 AI 團隊提出的聯(lián)邦遷移學(xué)習(xí)針對的情景更加具有普適性，也更符合未來大數(shù)據(jù)、多企業(yè)、跨行業(yè)的應(yīng)用需求。
楊強教授領(lǐng)導(dǎo)下的微眾銀行AI團隊則是成為了中國乃至國際聯(lián)邦學(xué)習(xí)的主要推動者。
從 2018 年起，微眾銀行 AI 團隊不僅在 CCAI、AAAI、CCF 青年精英大會、IJCAI 等各類學(xué)術(shù)交流會議上多次交流聯(lián)邦學(xué)習(xí)成果，還與 CCF、IEEE 等專業(yè)組織多次舉辦研討會，與業(yè)界共探聯(lián)邦學(xué)習(xí)的創(chuàng)新突破；在近期發(fā)表的多篇論文中，微眾 AI 團隊介紹的聯(lián)邦學(xué)習(xí)思路下針對有安全需求的有監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)、決策樹的具體方法，包括安全的聯(lián)邦遷移學(xué)習(xí)、聯(lián)邦強化學(xué)習(xí)以及 SecureBoost 安全樹模型受到了研究者和業(yè)界的關(guān)注。
在技術(shù)落地上，微眾銀行還將聯(lián)邦學(xué)習(xí)應(yīng)用于自身的信貸風(fēng)控、客戶權(quán)益定價等多項金融業(yè)務(wù)流程；與此同時，微眾銀行還與鵬城實驗室、瑞士再保險、極視角等多家企業(yè)及機構(gòu)簽署合作，將聯(lián)邦學(xué)習(xí)技術(shù)推廣應(yīng)用于更多領(lǐng)域。
微眾銀行 AI 團隊還致力于推動聯(lián)邦學(xué)習(xí)的標準化。這也是一項技術(shù)走向成熟并逐步落地時的必要過程，聯(lián)邦學(xué)習(xí)要想真正實現(xiàn)落地應(yīng)用，就必須建立一種企業(yè)之間的對話語言，并且是得到國際法律法規(guī)體系支持的對話語言。
去年 10 月份微眾銀行 AI 團隊向 IEEE 標準協(xié)會提交了關(guān)于建立聯(lián)邦學(xué)習(xí)標準的提案——「Guide forArchitectural Framework and Application of Federated Machine Learning」(聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用標準)，并于 2018 年 12 月獲批。
隨后在楊強教授的主導(dǎo)下成立了 IEEE P3652.1(聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用) 標準工作組，工作組在今年 2 月和 6 月分別召開了第一次、第二次會議，分別梳理了各自領(lǐng)域內(nèi)的聯(lián)邦學(xué)習(xí)典型案例，對聯(lián)邦學(xué)習(xí)標準的具體形式及內(nèi)容進行了討論，對標準草案的制定提出了建設(shè)性意見。
在本次的 IJCAI 會議上，微眾銀行再次聯(lián)合 20 余家國內(nèi)外企業(yè)、單位共同舉辦了 IEEE P3652.1(聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用) 標準工作組第三次會議，這次會議的主要內(nèi)容是聚焦聯(lián)邦學(xué)習(xí)各項指標的評估如何量化、標準如何體現(xiàn)聯(lián)邦學(xué)習(xí)技術(shù)的合規(guī)性、聯(lián)邦學(xué)習(xí)應(yīng)用案例的分類歸納等議題。
聯(lián)邦學(xué)習(xí)進入國際標準流程，其意義在于讓加入聯(lián)邦學(xué)習(xí)聯(lián)盟的企業(yè)能夠在同一個框架上對話，同時如果新的企業(yè)或機構(gòu)想要加入聯(lián)邦學(xué)習(xí)，也必須按照這一標準的規(guī)定應(yīng)用同樣的框架，這樣反過來又能夠推動聯(lián)邦學(xué)習(xí)生態(tài)的擴大，可以說是給整個聯(lián)邦學(xué)習(xí)的生態(tài)建設(shè)打下了一個基石，意義巨大。
走出金融場景，用開源平臺打造AI大數(shù)據(jù)生態(tài)
一直以來，金融行業(yè)是大數(shù)據(jù)與人工智能落地最具潛力的行業(yè)之一。金融行業(yè)是數(shù)據(jù)密集型行業(yè)，金融數(shù)據(jù)具有更高的實時性、安全性和穩(wěn)定性的要求，結(jié)構(gòu)化數(shù)據(jù)占比高，應(yīng)用場景廣泛。但與此同時，金融行業(yè)還有賴于利用第三方數(shù)據(jù)來為客戶提供更好的服務(wù)，自身業(yè)務(wù)特點也對金融數(shù)據(jù)的數(shù)據(jù)安全和個人隱私保護帶來了極大的困難，數(shù)據(jù)孤島現(xiàn)象嚴重，這也是為何聯(lián)邦學(xué)習(xí)首先在微眾銀行這樣的創(chuàng)新金融企業(yè)落地和開花結(jié)果的原因。
但聯(lián)邦學(xué)習(xí)所適用的場景不僅僅是金融行業(yè)。在其他行業(yè)，數(shù)據(jù)孤島的問題也同樣普遍存在。如何利用聯(lián)邦學(xué)習(xí)的能力做到「學(xué)習(xí)如何學(xué)習(xí)」，在積累了很多領(lǐng)域的學(xué)習(xí)經(jīng)驗后將遷移的例子做成訓(xùn)練集，讓人工智能來規(guī)劃如何在不同領(lǐng)域中實現(xiàn)遷移，對人工智能的落地具有指導(dǎo)性的意義。而在此過程中，積累的領(lǐng)域越多，可獲得的訓(xùn)練集（即不同領(lǐng)域間相互遷移的例子）將會呈指數(shù)型的增長，因此建立一個聯(lián)邦學(xué)習(xí)的生態(tài)系統(tǒng)至關(guān)重要。
基于此種思考，微眾銀行 AI 團隊發(fā)起了一個旨在開發(fā)和推廣安全和用戶隱私保護下的 AI 技術(shù)及其應(yīng)用的項目「聯(lián)邦學(xué)習(xí)生態(tài)」（FedAI Ecosystem）。項目在確保數(shù)據(jù)安全及用戶隱私的前提下，建立基于聯(lián)邦學(xué)習(xí)的 AI 技術(shù)生態(tài)，使得各行業(yè)更充分發(fā)揮數(shù)據(jù)價值，推動垂直領(lǐng)域案例落地。
對技術(shù)推進的另一種方式是開源。
今年 6 月份微眾銀行開源了工業(yè)級聯(lián)邦學(xué)習(xí)技術(shù)框架Federated AI Technology Enabler（簡稱 FATE）。之所以稱之為「工業(yè)級」，在于它能夠解決包括計算架構(gòu)可并行、信息交互可審計、接口清晰可擴展在內(nèi)的三個工業(yè)應(yīng)用常見問題。
FATE 項目并不僅僅提供了一系列開箱即用的聯(lián)邦學(xué)習(xí)算法、比如 LR、GBDT、CNN 等等，更重要的是給開發(fā)者提供了實現(xiàn)聯(lián)邦學(xué)習(xí)算法和系統(tǒng)的范本，大部分傳統(tǒng)算法都可以經(jīng)過一定改造適配到聯(lián)邦學(xué)習(xí)框架中來，通過項目開源，對相關(guān)機構(gòu)進行 AI 賦能，提升機構(gòu)自身的建模技術(shù)和能力，為工業(yè)界人員快速開發(fā)應(yīng)用提供一種簡潔有效的解決方案，支持在多場景下的開拓和應(yīng)用采用聯(lián)合共建、平臺服務(wù)等方式進行解決方案落地。
盡管聯(lián)邦學(xué)習(xí)為諸多之前人工智能難以落地的應(yīng)用場景提供了一個可行的思路，在具體的落地上，不同行業(yè)也還存在一系列不同的問題。如在「首屆聯(lián)邦學(xué)習(xí)國際研討會」現(xiàn)場，一位來自華為的技術(shù)人員對雷鋒網(wǎng)表示，他來參加這個研討會的目的是希望解決他在實際應(yīng)用中相關(guān)技術(shù)的兩個困惑，一是在智慧城市的場景中，如何利用有標注的數(shù)據(jù)，通過聯(lián)邦學(xué)習(xí)幫助利用本地攝像頭無標注數(shù)據(jù)進行學(xué)習(xí)，二是在醫(yī)療場景中，在拉通兩個醫(yī)院的交換模型之前，是否可能初步預(yù)測交換得到的性能得到提升。在聯(lián)邦學(xué)習(xí)進一步推廣的路上，還需要更多的人加入生態(tài)的建設(shè)。
令人欣喜的是，本次研討會收到了很多來自各高校機構(gòu)、企業(yè)的優(yōu)秀論文，聯(lián)邦學(xué)習(xí)的社區(qū)在進一步壯大。同時在研討會第二天，微眾銀行再次升級了 FATE，推出首個可視化聯(lián)邦學(xué)習(xí)工具 FATEBoard，以及聯(lián)邦學(xué)習(xí)建模 pipeline 調(diào)度和生命周期管理工具 FATEFlow，并對 FederatedML 進行了重大升級，在算法上也有了更新。新版的 FATE 還加入可部分支持多方的功能，在后續(xù)版本中，微眾銀行 AI 團隊將會對支持多方功能做進一步的加強
IJCAI 上舉辦的首屆聯(lián)邦學(xué)習(xí)國際研討會是聯(lián)邦學(xué)習(xí)的一個重要時間節(jié)點。
在此之前，盡管關(guān)于聯(lián)邦學(xué)習(xí)有過許多論文、演講和新聞報道，但外界幾乎沒有一個能夠一窺全貌的機會，聯(lián)邦學(xué)習(xí)的研究者也極少能有機會匯聚一堂了解聯(lián)邦學(xué)習(xí)當(dāng)前發(fā)展的全貌。IJCAI 上開展的首屆國際聯(lián)邦學(xué)習(xí)研討會，是聯(lián)邦學(xué)習(xí)社區(qū)的第一次集中發(fā)聲，也同時吸引了大量各界人士的關(guān)注。而在今年 12 月在溫哥華舉行的機器學(xué)習(xí)頂會 NeurIPS 上，微眾銀行也將再度舉辦聯(lián)邦學(xué)習(xí)研討會，向大眾分享更多聯(lián)邦學(xué)習(xí)方面的研究進展及實踐經(jīng)驗。
展望
自從 2012 年的第三波人工智能浪潮洶涌而來，在最初的新鮮勁褪去后，我們與人工智能已遭遇「七年之癢」式的審美疲勞。
盡管人工智能領(lǐng)域依然有持續(xù)性的進展，但在大眾的眼里，人工智能的承諾仍然大部分沒有實現(xiàn)。研究者已經(jīng)意識到，在人工智能領(lǐng)域的突破極度依賴標注數(shù)據(jù)，像 ImageNet 這樣的開放式高質(zhì)量數(shù)據(jù)集已經(jīng)成為創(chuàng)新的動力之源。
未來人工智能的挑戰(zhàn)依然在數(shù)據(jù)方面：隨著互聯(lián)網(wǎng)、5G 技術(shù)的進步和廉價傳感器的更多應(yīng)用，未來的數(shù)據(jù)將會呈現(xiàn)海量碎片化的趨勢，在訓(xùn)練數(shù)據(jù)集上要求更低的技術(shù)，包括生成對抗網(wǎng)絡(luò)、強化學(xué)習(xí)、遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)，將會成為研究者們寄予厚望的方向。
那么，聯(lián)邦學(xué)習(xí)未來是否可期？
本次研討會爆滿的場面也是一個極強的信號，面向?qū)嶋H問題的人工智能解決方案要能有效解決數(shù)據(jù)不足、割裂、小數(shù)據(jù)的數(shù)據(jù)困境，更一定要解決安全、合規(guī)、隱私保護的問題，并且還要能夠提高模型的效率。目前這樣一個 AI 技術(shù)時代，用戶隱私保護將成為社會的一個強約束，越來越多的人和企業(yè)開始意識到「數(shù)據(jù)孤島」的嚴重性以及數(shù)據(jù)共享的迫切性。聯(lián)邦學(xué)習(xí)能夠同時兼顧解決這兩個問題（隱私保護與共享），為我們建立一個跨企業(yè)、跨數(shù)據(jù)、跨領(lǐng)域的大數(shù)據(jù) AI 生態(tài)提供了良好的技術(shù)支持，而連接更多行業(yè)和應(yīng)用場景的聯(lián)邦學(xué)習(xí)生態(tài)系統(tǒng)，也將是聯(lián)邦學(xué)習(xí)得以脫穎而出的利器。
