雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))消息，日前，英偉達(dá)與倫敦國王學(xué)院以及一家法國初創(chuàng)公司Owkin合作，在新成立的倫敦醫(yī)學(xué)影像與人工智能中心中應(yīng)用了聯(lián)邦學(xué)習(xí)技術(shù)。
這項(xiàng)技術(shù)論文在今年的MICCAI 2019大會上發(fā)布，英偉達(dá)與倫敦國王學(xué)院研究人員在大會上介紹了聯(lián)邦學(xué)習(xí)技術(shù)的實(shí)施細(xì)節(jié)。
研究人員表示：“聯(lián)邦學(xué)習(xí)在無需共享患者數(shù)據(jù)的情況下，即可實(shí)現(xiàn)協(xié)作與分散化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。各節(jié)點(diǎn)負(fù)責(zé)訓(xùn)練其自身的本地模型，并定期提交給參數(shù)服務(wù)器。服務(wù)器不斷累積并聚合各自的貢獻(xiàn)，進(jìn)而創(chuàng)建一個全局模型，分享給所有節(jié)點(diǎn)?！?/p>
研究人員進(jìn)一步解釋道，雖然聯(lián)邦學(xué)習(xí)可以保證極高的隱私安全性，但通過模型反演，仍可以設(shè)法使數(shù)據(jù)重現(xiàn)。為了幫助提高聯(lián)邦學(xué)習(xí)的安全性，研究人員研究試驗(yàn)了使用ε-差分隱私框架的可行性。這個框架是一種正式定義隱私損失的方法，可以借助其強(qiáng)大的隱私保障性來保護(hù)患者與機(jī)構(gòu)數(shù)據(jù)。
據(jù)了解，試驗(yàn)是基于取自BraTS 2018數(shù)據(jù)集的腦腫瘤分割數(shù)據(jù)實(shí)施的。BraTS 2018 數(shù)據(jù)集包含有285位腦腫瘤患者的MRI掃描結(jié)果。
NVIDIA團(tuán)隊(duì)解釋到，聯(lián)邦學(xué)習(xí)有望有效聚合各機(jī)構(gòu)從私有數(shù)據(jù)中本地習(xí)得的知識，從而進(jìn)一步提高深度模型的準(zhǔn)確性、穩(wěn)健性與通用化能力。
以下為論文詳細(xì)內(nèi)容，由雷鋒網(wǎng)AI掘金志學(xué)術(shù)組編譯。關(guān)注AI掘金志公眾號，在對話框回復(fù)關(guān)鍵詞“英偉達(dá)”，即可獲取原文PDF。
摘要
由于醫(yī)療數(shù)據(jù)的隱私規(guī)定，在集中數(shù)據(jù)湖中收集和共享患者數(shù)據(jù)通常是不可行的。這就給訓(xùn)練機(jī)器學(xué)習(xí)算法帶來了挑戰(zhàn)，例如深度卷積網(wǎng)絡(luò)通常需要大量不同的訓(xùn)練示例。聯(lián)邦學(xué)習(xí)通過將代碼帶給患者數(shù)據(jù)所有者，并且只在他們之間共享中間模型訓(xùn)練的信息，從而避開了這一困難。盡管適當(dāng)?shù)鼐酆线@些模型可以獲得更高精度的模型，但共享的模型可能會間接泄漏本地訓(xùn)練數(shù)據(jù)。
在本文中，我們探討了在聯(lián)邦學(xué)習(xí)系統(tǒng)中應(yīng)用微分隱私技術(shù)來保護(hù)病人數(shù)據(jù)的可行性。我們在BraTS數(shù)據(jù)集上應(yīng)用并評估了用于腦腫瘤分割的實(shí)用聯(lián)邦學(xué)習(xí)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，模型性能與隱私保護(hù)成本之間存在一種折衷關(guān)系。
1.介紹
深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（DNN）在多種醫(yī)學(xué)應(yīng)用中都顯示出很好的效果，但它高度依賴于訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性[11]。在醫(yī)學(xué)成像方面，這構(gòu)成了一種特殊困難：例如，由于患者數(shù)量或病理類型的原因，所需的訓(xùn)練數(shù)據(jù)可能無法在單個機(jī)構(gòu)中獲得。同時，由于醫(yī)療數(shù)據(jù)隱私規(guī)定，在集中數(shù)據(jù)湖中收集和共享患者數(shù)據(jù)通常是不可行的。
解決此問題的一個最新方法是聯(lián)邦學(xué)習(xí)（FL）[7,9]：它允許在不共享患者數(shù)據(jù)的情況下對DNN進(jìn)行合作和分布式訓(xùn)練。每個節(jié)點(diǎn)都訓(xùn)練自己的本地模型，并定期將其提交給參數(shù)服務(wù)器。服務(wù)器收集并聚合各個節(jié)點(diǎn)模型以生成一個全局模型，然后與所有節(jié)點(diǎn)共享。
需要注意的是，訓(xùn)練數(shù)據(jù)對每個節(jié)點(diǎn)都是私有的，在學(xué)習(xí)過程中不會被共享。只共享模型的可訓(xùn)練權(quán)重或更新，從而保持患者數(shù)據(jù)的私密性。因此，F(xiàn)L簡潔地解決了許多數(shù)據(jù)安全挑戰(zhàn)，將數(shù)據(jù)放在需要的地方，并支持多機(jī)構(gòu)協(xié)作。
雖然FL可以在隱私方面提供高水平的安全性，但它仍然存在危險，例如通過模型逆推來重建單個訓(xùn)練模型。一種應(yīng)對措施是在每個節(jié)點(diǎn)的訓(xùn)練過程中注入噪聲并對更新進(jìn)行扭曲，以隱藏單個模型節(jié)點(diǎn)的貢獻(xiàn)并限制訓(xùn)練節(jié)點(diǎn)之間共享信息的粒度。[3,1,10]然而，現(xiàn)有的隱私保護(hù)研究只關(guān)注一般機(jī)器學(xué)習(xí)基準(zhǔn)，如MNIST和隨機(jī)梯度下降算法。
在這項(xiàng)工作中，我們實(shí)現(xiàn)并評估實(shí)用的聯(lián)邦學(xué)習(xí)系統(tǒng)，用于腦腫瘤分割。通過對BraTS 2018的一系列實(shí)驗(yàn)，我們證明了醫(yī)學(xué)成像隱私保護(hù)技術(shù)的可行性。
我們的主要貢獻(xiàn)是：（1）盡我們所知，實(shí)現(xiàn)并評估第一個用于醫(yī)學(xué)圖像分析的隱私保護(hù)聯(lián)邦學(xué)習(xí)系統(tǒng)；（2）比較和對比聯(lián)合平均算法處理基于動量的優(yōu)化和不平衡訓(xùn)練節(jié)點(diǎn)的各個方面；（3）對稀疏向量技術(shù)進(jìn)行了實(shí)證研究，以獲得一個較強(qiáng)的微分隱私保證。
2.方法
我們使用聯(lián)合平均算法研究基于客戶端-服務(wù)器架構(gòu)（如圖1（左）所示）的FL系統(tǒng)[7]，其中集中服務(wù)器維護(hù)全局DNN模型并協(xié)調(diào)客戶端的局部隨機(jī)梯度下降（SGD）更新。本節(jié)介紹客戶端模型訓(xùn)練過程、服務(wù)器端模型聚合過程以及部署在客戶端的隱私保護(hù)模塊。
2.1客戶端模型訓(xùn)練過程
我們假設(shè)每個聯(lián)合客戶端都有一個固定的本地數(shù)據(jù)集和合適的計算資源來運(yùn)行小批量SGD更新?？蛻舳艘补蚕硐嗤腄NN結(jié)構(gòu)和損失函數(shù)。訓(xùn)練程序詳見 Algorithm 1圖中。在聯(lián)合訓(xùn)練t輪中，通過從服務(wù)器讀取全局模型參數(shù)w（t）初始化本地模型，并通過運(yùn)行多次SGD迭代將其更新為w（l，t）。在固定次數(shù)的迭代n（本地）之后，將模型差異△w（t）與聚合服務(wù)器共享。
醫(yī)學(xué)圖像的DNN通常采用基于動量的SGD進(jìn)行訓(xùn)練。在優(yōu)化過程中引入基于動量的梯度，在計算當(dāng)前步驟時將上一步SGD步驟納入計算。它有助于加速訓(xùn)練，減少振蕩。我們探索了在FL中處理這些步驟的設(shè)計選擇。在我們提出的過程（Algorithm1；以ADAM Optimiser[5]為例）中，我們在每輪聯(lián)合訓(xùn)練開始時（第3行；表示為m.restart）重新初始化每個客戶端的基于動量的梯度。
由于本地模型參數(shù)是從聚合其他客戶端信息的全局模型參數(shù)初始化的，因此重新啟動操作有效地清除了可能干擾訓(xùn)練過程的客戶端本地狀態(tài)。經(jīng)驗(yàn)性的與以下兩種方式進(jìn)行比較（a）客戶端在不共享的情況下保留一組本地動量變量；表示為baseline m；（b）將動量變量視為模型的一部分，即變量在本地更新并由服務(wù)器聚合（表示為m.aggregation）。雖然m.aggregation在理論上是合理的[12]，但它需要將動量變量傳送到服務(wù)器。這增加了通信開銷和數(shù)據(jù)安全風(fēng)險。
2.2客戶端隱私保護(hù)模型
客戶端被設(shè)計為對共享的數(shù)據(jù)進(jìn)行完全控制，并且本地訓(xùn)練數(shù)據(jù)永遠(yuǎn)不會離開客戶端的站點(diǎn)。不過，像參考文獻(xiàn)[4]中這樣的模型逆推侵襲可以從更新的△w（t） 或者聯(lián)合訓(xùn)練中的全局模型w（t）提取中出病人隱私信息。我們采用選擇性參數(shù)更新和稀疏向量技術(shù)（SVT）來提供對間接性數(shù)據(jù)泄漏的強(qiáng)大保護(hù)。
選擇性參數(shù)更新：客戶端訓(xùn)練結(jié)束時的完整模型可能會過擬合，并記憶了本地訓(xùn)練示例。共享此模型會帶來暴露訓(xùn)練數(shù)據(jù)的風(fēng)險。選擇性參數(shù)共享方法限制客戶端共享的信息量。這是通過（1）只上傳△w（t）k的一部分：如果abs（wi）大于閾值τ（t）k，則共享△w（t）k的分量wi；（2）通過將值剪裁到固定范圍[-γ，γ]來進(jìn)一步替換△w（t）k來實(shí)現(xiàn)的。這里abs（x）表示x的絕對值；τ（t）k是通過計算abs(△w（t）k)的百分位數(shù)來選擇的；γ獨(dú)立于特定的訓(xùn)練數(shù)據(jù)，并且可以在訓(xùn)練前通過一個小型的公共可用驗(yàn)證集來選擇。梯度剪裁作為一種模型正則化方法也被廣泛應(yīng)用，以防止模型過擬合。
微分隱私模型：利用SVT可以進(jìn)一步改善選擇性參數(shù)共享，使其具有很強(qiáng)的微分隱私保證。Algorithm 2描述了wi選擇和共享被打亂分量的過程。直觀地說，共享wi的每一個查詢都是由Laplacian機(jī)制控制的，而不是簡單地對abs（△w（t）k）進(jìn)行閾值化并共享分量wi。這是首先通過比較剪接及加入噪聲的abs（wi）和噪聲閾值τ（t）+Lap（s/ε2）（第8行，Algorithm 2），然后僅共享噪聲結(jié)果（wi+Lap（qs/ε3），γ）（如果滿足閾值條件）。這里L(fēng)ap（x）表示從由x參數(shù)化的laplace分布中采樣的隨機(jī)變量；clip（x，γ）表示x的剪裁到[-γ，γ]的范圍內(nèi)；s表示在這種情況下由γ限定的聯(lián)合梯度的靈敏度。重復(fù)選擇程序，直到釋放△w（t）k的q分?jǐn)?shù)。此過程滿足（ε1+ε2+ε3）-差異隱私。
2.3服務(wù)器端模型聚合
服務(wù)器分布一個全局模型，并在每個聯(lián)合輪次接收來自所有客戶端的同步更新（Algorithm 3）。不同的客戶端可能有不同數(shù)量的本地迭代用于生成△w（t）k，因此客戶端的貢獻(xiàn)可以是不同訓(xùn)練速度下的SGD更新。很重要的一點(diǎn)是要求客戶端提供一個n（local），并在聚合它們時對貢獻(xiàn)進(jìn)行加權(quán)（第9行，Algorithm 3）。在部分模型共享的情況下，利用△w（t）k的稀疏特性來減少通信開銷是將來需要做的工作。
3.實(shí)驗(yàn)
本節(jié)介紹了實(shí)驗(yàn)配置，包括每個FL系統(tǒng)使用的常見超參數(shù)。
數(shù)據(jù)準(zhǔn)備：BraTs 2018數(shù)據(jù)集包含285例腦腫瘤患者的多參數(shù)術(shù)前MRI掃描。每個受試者用四種方式掃描，即：（1）T1加權(quán)，（2）T1加權(quán)增強(qiáng)，（3）T2加權(quán)，（4）T2液體衰減反轉(zhuǎn)恢復(fù)（T2-FLAIR）。掃描結(jié)果被配準(zhǔn)到相同的解剖模板上，重新取樣到1×1×1 mm3的空間分辨率，并剝離顱骨。每個受試者數(shù)據(jù)還有經(jīng)驗(yàn)豐富的神經(jīng)放射學(xué)專家的像素級標(biāo)注，標(biāo)注出“整個腫瘤”、“腫瘤核心”和“增強(qiáng)腫瘤”。有關(guān)數(shù)據(jù)采集和注釋協(xié)議的詳細(xì)信息，請參閱Bakas等人。這個已完全標(biāo)注的腫瘤分割數(shù)據(jù)集以前用于評估機(jī)器學(xué)習(xí)算法的標(biāo)準(zhǔn)，并且是公開的。我們選擇使用它來評估具有多模態(tài)和多分類分割任務(wù)的FL算法。對于客戶端本地訓(xùn)練，我們采用了最先進(jìn)的訓(xùn)練方法，最初是作為Nvidia Clara Train SDK3的一部分設(shè)計和實(shí)施的，用于數(shù)據(jù)集中訓(xùn)練。
為了在受試者中測試模型泛化能力，我們將數(shù)據(jù)集隨機(jī)分成一個模型訓(xùn)練集（n=242名患者）和一個驗(yàn)證測試集（n=43名被試）。這些掃描圖像是從13個具有不同設(shè)備和成像協(xié)議的機(jī)構(gòu)采集的，從而導(dǎo)致圖像特征分布的不均勻性。為了使我們的聯(lián)合訓(xùn)練更真實(shí)，我們進(jìn)一步將訓(xùn)練集分為13個不相交的子集，這些子集根據(jù)圖像數(shù)據(jù)的來源和分配給每個聯(lián)合客戶端。這種設(shè)置對FL算法來說是一個挑戰(zhàn)，因?yàn)椋?）每個聯(lián)合客戶端只處理來自單一機(jī)構(gòu)的數(shù)據(jù)，與數(shù)據(jù)集中訓(xùn)練相比，該機(jī)構(gòu)可能會遭受更嚴(yán)重的域轉(zhuǎn)移和過擬合問題；（2）它反映了數(shù)據(jù)集的高度不平衡性（如Fig1所示）。最大的機(jī)構(gòu)擁有的訓(xùn)練數(shù)據(jù)是最小機(jī)構(gòu)的25倍。
聯(lián)合模型配置：FL的評估過程與卷積網(wǎng)絡(luò)結(jié)構(gòu)的選擇是垂直的。在不失通用性的前提下，我們選擇Myronenko[8]提出的分割骨干作為底層聯(lián)合訓(xùn)練模型，對所有實(shí)驗(yàn)使用相同的局部訓(xùn)練超參數(shù)集：網(wǎng)絡(luò)的輸入圖像窗口大小為224×224×128像素，第一卷積層的空間丟棄率為0.2。與[8]類似，我們使用ADAM Optimiser將soft Dice loss 最小化，學(xué)習(xí)率為10-4，批量大小為1，β1為0.9，β2為0.999，l2重量衰減系數(shù)為10-5。對于所有聯(lián)合訓(xùn)練，我們將聯(lián)合訓(xùn)練輪次的數(shù)量設(shè)置為300，每個聯(lián)合訓(xùn)練輪次中每個客戶端運(yùn)行兩個本地epoch。本地epoch被定義為每個客戶端“看到”其本地訓(xùn)練數(shù)據(jù)一次。在每個epoch的開始，在聯(lián)合訓(xùn)練中，數(shù)據(jù)被本地打亂后給每個客戶端。為了比較模型的收斂性，我們還做了600個epoch的數(shù)據(jù)集中的訓(xùn)練作為參考基準(zhǔn)。
在計算代價方面，分割模型的參數(shù)約為1.2×106；使用nvidia tesla v100 gpu進(jìn)行的訓(xùn)練迭代大約需要0.85s。
模型評估：我們使用三種腫瘤區(qū)域和所有測試對象的平均Dice score來測量模型在測試集上的分割性能。對于FL系統(tǒng)，我們公布聯(lián)合客戶端之間共享的全局模型的性能。
隱私保護(hù)模塊設(shè)置：選擇性參數(shù)更新模塊有兩個系統(tǒng)參數(shù)：模型q的分?jǐn)?shù)和梯度限幅值γ。我們通過改變兩者來測試模型性能。對于微分隱私模塊，我們根據(jù)文獻(xiàn)[6]將γ固定為10-4，靈敏度s固定為2γ，以及ε2 to（2qs）2／3ε1。下一節(jié)將介紹通過改變q、ε1和ε3而獲得的模型性能。
４. 結(jié)果
聯(lián)合VS數(shù)據(jù)集中訓(xùn)練：將FL系統(tǒng)與Fig.2（左）中的數(shù)據(jù)集中訓(xùn)練進(jìn)行比較。在不共享客戶數(shù)據(jù)的情況下，我們提出的FL程序可以獲得不錯的分割性能。從訓(xùn)練時間上看，數(shù)據(jù)集中模型在約300個訓(xùn)練時段收斂，F(xiàn)L模型訓(xùn)練在約600個訓(xùn)練時段收斂。在我們的實(shí)驗(yàn)中，使用Nvidia Tesla V100 GPU進(jìn)行數(shù)據(jù)集中訓(xùn)練（n=242）的時間為0.85s×242=205.70s/epoch。FL訓(xùn)練時間由最慢的客戶端（n=77）決定，它需要0.85s×77=65.45s再加上用于客戶端-服務(wù)器通信的少量時間。
動量重啟和權(quán)值平均：Fig.2（左）中也比較了FL程序的變體。對于處理動量變量，在每一輪聯(lián)合循環(huán)中重新啟動它們的效果優(yōu)于所有其他變量。這表明（1）每一個客戶端維護(hù)一組獨(dú)立的動量變量會減慢聯(lián)合模型的收斂速度；（2）平均每個客戶端的動量變量會提高baseline m的收斂速度，但仍然得出比集中數(shù)據(jù)更差的全局模型。在服務(wù)器端，模型參數(shù)的加權(quán)平均優(yōu)于簡單的模型平均。這表明加權(quán)版本可以處理跨客戶端的不平衡本地訓(xùn)練迭代次數(shù)。
局部模型共享：Fig.2（右）通過改變要共享的模型的比例和梯度剪切值來比較局部模型共享。這個數(shù)字表明，共享更大比例的模型可以獲得更好的性能。局部模型共享不影響模型的收斂速度，當(dāng)客戶端共享整個模型的40%時，性能下降幾乎可以忽略不計。對梯度進(jìn)行剪裁有時可以提高模型性能。但是，需要仔細(xì)調(diào)整該值。
微分隱私模型：通過改變微分隱私（DP）參數(shù)的模型性能如Fig.3所示。正如預(yù)期的那樣，DP保護(hù)和模型性能之間存在權(quán)衡。在相同的DP設(shè)置下，共享10%模型比共享40%模型表現(xiàn)出更好的性能。這是因?yàn)榭偟碾[私成本ε是由訓(xùn)練過程中增加的噪聲量和共享的參數(shù)數(shù)共同定義的。通過固定每個參數(shù)DP成本，共享較少的變量具有更少的總體DP成本，從而獲得更好的模型性能。
5. 結(jié)論
我們提出了一個用于腦腫瘤分割的聯(lián)邦學(xué)習(xí)系統(tǒng)，探索了聯(lián)合模型共享的各個實(shí)際應(yīng)用方面，重點(diǎn)研究如何保護(hù)患者數(shù)據(jù)隱私。雖然提供了強(qiáng)大的差異性隱私保護(hù)措施，但隱私成本分配是保守的。在未來，我們將探索用于醫(yī)學(xué)圖像分析任務(wù)的微分隱私SGD算法（如參考文獻(xiàn)[1]）。雷鋒網(wǎng)
參考文獻(xiàn)
1. Abadi, M., et al.: Deep Learning with Differential Privacy. ACM SIGSAC Conference on Computer and Communications Security pp. 308–318 (2016)
2. Bakas, S., et al.: Identifying the best machine learning algorithms for brain tumor segmentation, progression assessment, and overall survival prediction in the BRATS challenge. arXiv:1811.02629 (2018)
3. Geyer, R.C., Klein, T., Nabi, M.: Differentially private federated learning: A client level perspective. arXiv:1712.07557 (2017)
4. Hitaj, B., Ateniese, G., Perez-Cruz, F.: Deep models under the GAN: information leakage from collaborative deep learning. In: SIGSAC. pp. 603–618. ACM (2017)
5. Kingma, D.P., Ba, J.: Adam: A method for stochastic optimization.
arXiv:1412.6980 (2014)
6. Lyu, M., Su, D., Li, N.: Understanding the sparse vector technique for differential privacy. Proceedings of the VLDB Endowment 10(6), 637–648 (2017)
7. McMahan, H.B., et al.: Communication-Efficient Learning of Deep Networks from Decentralized Data. arXiv:1602.05629 [cs] (Feb 2016)
8. Myronenko, A.: 3D MRI brain tumor segmentation using autoencoder regularization. In: International MICCAI Brainlesion Workshop. pp. 311–320 (2018)
9. Sheller, M.J., et al.: Multi-institutional deep learning modeling without sharing patient data: A feasibility study on brain tumor segmentation. In: MICCAI Brain-lesion Workshop. pp. 92–104 (2018)
10. Shokri, R., Shmatikov, V.: Privacy-Preserving Deep Learning. In: ACM SIGSAC Conference on Computer and Communications Security. pp. 1310–1321 (2015)
11. Sun, C., Shrivastava, A., Singh, S., Gupta, A.: Revisiting Unreasonable Effectiveness of Data in Deep Learning Era. arXiv:1707.02968 [cs] (Jul 2017)
12. Yu, H., Jin, R., Yang, S.: On the linear speedup analysis of communication efficient momentum sgd for distributed non-convex optimization. arXiv:1905.03817 (2019)
