雷鋒網(wǎng)消息，近日，第四屆嶺南眼科論壇暨第二屆全國眼科人工智能大會在廣州舉辦。大會以“Eye+AI”為主題，由廣東省醫(yī)師協(xié)會眼科分會、中國醫(yī)藥教育協(xié)會智能醫(yī)學(xué)專委全國智能眼科學(xué)組主辦，中山大學(xué)中山眼科中心、廣東省醫(yī)師協(xié)會眼科醫(yī)師分會青年委員會、廣東省眼科診斷與治療創(chuàng)新工程技術(shù)研究中心承辦。
本次大會設(shè)置了近80個主題演講，與人工智能相關(guān)的主題有“AI技術(shù)與眼科實踐”、“Eye+AI”、“眼科AI技術(shù)應(yīng)用”，涉及青光眼、白內(nèi)障、角膜病、糖尿病視網(wǎng)膜病變等多個關(guān)注度較高的病種。
目前，南方科技大學(xué)的唐曉穎教授與中山大學(xué)中山眼科中心的袁進教授進行合作，共同開發(fā)面向眼科的AI診療系統(tǒng)，系統(tǒng)的數(shù)據(jù)主要來自中山大學(xué)中山眼科中心，研究項目關(guān)注的病變主要有三類：出血、滲出以及微動脈瘤。
病變檢測從本質(zhì)上而言仍然屬于目標(biāo)檢測領(lǐng)域，而目標(biāo)檢測不能繞開的一個話題就是深度學(xué)習(xí)技術(shù)。
唐曉穎表示，對于醫(yī)學(xué)的任務(wù)而言，最重要的因素就是Big Data，而且是Big Good Data，數(shù)據(jù)的質(zhì)量控制是非常重要的，醫(yī)生在其中發(fā)揮重要作用。而手工標(biāo)注的方式又會耗費醫(yī)生大量時間，并且存在漏標(biāo)和誤標(biāo)的問題。因此，團隊的一個重要工作就是研究用自動化的方法對不精準(zhǔn)的標(biāo)注進行校正。
研究中最重要的一部分是如何模擬生成粗略標(biāo)注數(shù)據(jù)。唐曉穎說到，由于IDRiD 數(shù)據(jù)集是像素級別的分割，所以對于任何一個病變，首先得到可以包含病變的最小長方形作為標(biāo)注金標(biāo)準(zhǔn)，然后將標(biāo)注金標(biāo)準(zhǔn)的長和寬隨機擴大10%-50%，并在始終包含病灶的基礎(chǔ)上做隨機的平移，由此生成模擬的粗略標(biāo)注數(shù)據(jù)集。
最后，在一種相對“粗糙”的標(biāo)注方法下，團隊生成了6164份訓(xùn)練集以及1436份數(shù)據(jù)集，回歸網(wǎng)絡(luò)模型訓(xùn)練后評估指標(biāo)IoU達到0.8615。“將訓(xùn)練好的標(biāo)注回歸網(wǎng)絡(luò)運用于粗略標(biāo)注數(shù)據(jù)集，我們可以去生成一個標(biāo)注更加精準(zhǔn)的數(shù)據(jù)集?！?/p>
以下為唐曉穎教授的演講內(nèi)容，雷鋒網(wǎng)做了不改變原意的編輯
唐曉穎：糖尿病視網(wǎng)膜?。―iabetic retinopathy ，DR)是全世界范圍內(nèi)首要的致盲因素。檢測和診斷DR主要用到的檢查方式是數(shù)字彩色眼底攝像。在我國需要被篩查和檢查的眼底圖像是非常巨大的，一方面是因為我們的病人數(shù)量非常多，另一方面專業(yè)的醫(yī)生數(shù)量相對是比較少的。
回到我演講報告的主題，我們?yōu)槭裁聪胍鲆粋€眼底病變自動篩查工具？首先，因為DR的癥狀表現(xiàn)為眼底的病變，包括微動脈瘤和出血；其次DR的嚴(yán)重程度可以根據(jù)這些病變的位置，還有病變的數(shù)量去做一個判別，像我們下圖里展示的這樣。
然而對于一些微小的病變，像微動脈瘤，即使一名資深醫(yī)生來鑒別，可能都特別容易忽視。在這種情況下，如果我們利用一些自動檢測的算法，是否會達到一些比較好的效果？這是我們所研究方向的研究背景。
病變檢測從本質(zhì)上而言仍然屬于目標(biāo)檢測領(lǐng)域，談到目標(biāo)檢測我們不能繞開的一個話題—深度學(xué)習(xí)技術(shù)（Deep Learning ）。最近幾年隨著計算機視覺的發(fā)展，深度學(xué)習(xí)的研究如火如荼，在計算機視覺的很多應(yīng)用方向得到了非常成功的推廣。
我們舉三個簡單的例子，一是行為識別，二是物體追蹤，三是和我們更加相關(guān)的生物信號的檢測，如虹膜識別。在這些目標(biāo)檢測的任務(wù)中，深度學(xué)習(xí)其實都做到了非常好的應(yīng)用。
在我個人看來，深度學(xué)習(xí)有三個主要的要素。第一個是大數(shù)據(jù)（Big Data），第二個是高性能的計算機配置，第三個是如何去設(shè)計更加高級的深度學(xué)習(xí)模型。
對于醫(yī)學(xué)的任務(wù)而言，我認為最重要的因素就是Big Data，而且是Big Good Data，像剛才楊院長所說，數(shù)據(jù)的質(zhì)量控制是非常重要的。但是非常遺憾，在醫(yī)學(xué)任務(wù)里面，特別是涉及到病變分割，要獲得高質(zhì)量的數(shù)據(jù)其實是非常難，所以研究者們一直在強調(diào)醫(yī)學(xué)數(shù)據(jù)難以獲取，非常寶貴。
以眼底病變的檢測任務(wù)為例，如果我們想去做像素級別的分割，就是把眼底圖像中每一個有病變的像素都標(biāo)注出來。
對于很多醫(yī)生來說，將眼底病變手工標(biāo)注出來是非常耗時的。我們與中山眼科中心醫(yī)生團隊討論過，對于這樣的一張2D圖像，醫(yī)生如果想去做像素級的標(biāo)注，手動的分割出來，可能需要花至少六個小時。
我們既需要這種高質(zhì)量的數(shù)據(jù)，又需要數(shù)據(jù)量比較大，這個是很難同時去滿足的。
我們的研究項目關(guān)注的病變主要是有三類，第一個是出血，第二個是滲出，第三個是微動脈瘤。所以我們采用了一個折中的方案。
我們讓醫(yī)生用圖中這種圓圈盡量去把病變的區(qū)域框出來。相對于像素級標(biāo)注來說，它要節(jié)約大概六倍的時間。在我們的項目中醫(yī)生以這種方式手動地將病變畫出來，比像素級別標(biāo)注要輕松。
我們收集了590張眼底出血病變的數(shù)據(jù)集，600張滲出病變數(shù)據(jù)集，296張微動脈瘤數(shù)據(jù)集。這種標(biāo)注方式相對比較粗糙，我們把它稱之為coarse annotation。
Coarse annotation會帶來一些問題。首先是這種畫圈方式不是非常精準(zhǔn)，我們也去看了很多張圖像，發(fā)現(xiàn)實際病變比勾畫的bounding box 更小，所以它是比較粗糙的標(biāo)注。比如說圖中的出血灶，還有下面這個圖里的微動脈瘤，即使達不到像素級別的分割，標(biāo)注框也需要改進。
第二個問題是我們發(fā)現(xiàn)醫(yī)生在標(biāo)注的時候，即使是這樣比較粗略的一個標(biāo)注方式，仍然會有漏標(biāo)的情況存在，當(dāng)然這也是在所有的手動標(biāo)注工作里面都不可避免的一個問題。比如下面圖里面，我們會發(fā)現(xiàn)有一些出血和滲出灶被醫(yī)生漏標(biāo)了。
第三個問題是有一些錯誤的標(biāo)注，比如第一個圖里面，醫(yī)生把這一塊用黃色框標(biāo)注出來，認為它是出血，其實是攝像時候的偽影。第二個圖是醫(yī)生把出血誤判為微動脈瘤。
以上是三類在醫(yī)生手工標(biāo)注工作中可能存在的問題，最好的辦法是讓不同的醫(yī)生去標(biāo)注和檢查，最后達成一致。
但這樣仍然是非常耗時的，也違背了我們的初衷。有沒有可能用一種自動化的方法去把這些不精準(zhǔn)的標(biāo)注做校正呢？首先如果我們能夠讓數(shù)據(jù)集更準(zhǔn)確，對后面的深度學(xué)習(xí)的結(jié)果肯定有很大提升；其次像素級分割的數(shù)據(jù)集是非常有限的，公共數(shù)據(jù)集的病人數(shù)量是非常少的；第三用同一來源的數(shù)據(jù)訓(xùn)練模型一般結(jié)果會更好。
我們的研究主要分為以下三個部分。首先將非精確標(biāo)注的數(shù)據(jù)集進行改進，接著進行圖像預(yù)處理，最后輸入目標(biāo)檢測CNN模型進行訓(xùn)練，我們采用了目標(biāo)檢測領(lǐng)域一些經(jīng)典的網(wǎng)絡(luò)模型。
首先第一步就是怎么樣去改進我們的粗略標(biāo)注數(shù)據(jù)集。我們?nèi)斯ど梢唤M模擬粗略標(biāo)注的數(shù)據(jù)集，并采用CLAHE預(yù)處理技術(shù)去增強眼底圖片病灶的對比度。我們使用的是IDRiD 數(shù)據(jù)集來人工生成標(biāo)注，這是一個像素級別標(biāo)注的非常優(yōu)質(zhì)的數(shù)據(jù)集，主要包括出血等眼底病灶，但是只有81份數(shù)據(jù)。
下圖是眼底圖片采用CLAHE預(yù)處理前后對比，我們可以發(fā)現(xiàn)處理后病灶與正常區(qū)域的對比度明顯增加，這是一種比較基礎(chǔ)的做法，也有其他的方法可以達到這種效果，比如GAN技術(shù)。
接下來是我們研究中最重要的一部分，我們?nèi)绾文M生成粗略標(biāo)注數(shù)據(jù)呢？由于IDRiD 數(shù)據(jù)集是像素級別的分割，所以對于任何一個病變，首先得到可以包含病變的最小長方形，作為標(biāo)注金標(biāo)準(zhǔn)(ground-truth bounding box)。然后將ground-truth bounding box的長和寬隨機擴大10%-50%，并在始終包含病灶的基礎(chǔ)上做隨機的平移，由此生成模擬的粗略標(biāo)注數(shù)據(jù)集。
上述生成的數(shù)據(jù)分別有一組ground-truth bounding box和coarse bounding box。我們以coarse bounding box作為模型輸入，ground-truth bounding box作為模型輸出，來訓(xùn)練一個標(biāo)注回歸網(wǎng)絡(luò)（Bounding box regression network ）。
經(jīng)過我們的這種處理，最后生成6164份訓(xùn)練集，1436份數(shù)據(jù)集，回歸網(wǎng)絡(luò)模型訓(xùn)練后評估指標(biāo)IoU達到0.8615，是一個比較好的結(jié)果。右圖中可以發(fā)現(xiàn)模型預(yù)測的病變標(biāo)注框和金標(biāo)準(zhǔn)是比較接近的。
我們將訓(xùn)練好的標(biāo)注回歸網(wǎng)絡(luò)運用于我們的粗略標(biāo)注數(shù)據(jù)集，去生成一個標(biāo)注更加精準(zhǔn)的數(shù)據(jù)集。下圖可以看出經(jīng)回歸網(wǎng)絡(luò)改進后病變標(biāo)注框更加精確和標(biāo)準(zhǔn)了，達到了我們想要的效果。
我們將上述標(biāo)注經(jīng)過refining的數(shù)據(jù)集輸入目標(biāo)檢測模型中，經(jīng)CNN提取特征圖片，接著分為兩個子網(wǎng)絡(luò)，其中一個是目標(biāo)定位，找到病變的位置，另一個是做病變分類，判斷該病灶屬于哪種病變。
目標(biāo)檢測模型我們采用經(jīng)典的模型—RetinaNet ，在ResNet基礎(chǔ)上建立特征金字塔網(wǎng)絡(luò)（FPN），之后分成目標(biāo)定位和目標(biāo)分類兩個子網(wǎng)絡(luò)。其中我們用到兩個技巧，一個是遷移學(xué)習(xí)，另一個是Label smoothing ，用來降低模型置信度。
這是我們最終的模型訓(xùn)練結(jié)果，可以看出相對于基礎(chǔ)算法，疊用了CLAHE和Label smoothing 的方法，取得了更好的效果，mAP為54.13%。圖中示例可見模型對眼底病變的檢測效果比較理想，經(jīng)過refined的訓(xùn)練數(shù)據(jù)的模型結(jié)果明顯比原始數(shù)據(jù)好，此外，與醫(yī)生手工標(biāo)注相比，我們的模型還可以檢測出一些漏標(biāo)的病灶。
這些就是我今天要講的內(nèi)容，非常感謝我們眼科醫(yī)生的合作團隊，中山眼科中心袁進教授團隊，以及我的課題組，主要包括中山大學(xué)和南方科技大學(xué)的學(xué)生們，謝謝大家！雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))
