AI+醫學影像,是將人工智能技術具體應用在醫學影像的診斷上,在國外主要分為兩部分:一是圖像識別,應用於感知環節,其主要目的是將影像這類非機構化數據進行分析,獲取一些有意義的信息;二是深度學習,應用於學習和分析環節,是AI應用的最核心環節,通過大量的影像數據和診斷數據,不斷對神經元網絡進行深度學習訓練,促使其掌握“診斷”的能力[1]。
其中,深度學習方法在醫學領域的圖像識別中應用最廣、研究最深的當屬卷積神經網絡(簡稱CNN),下面分享一個改進的卷積神經網絡模型——自適應卷積神經網絡模型,在圖像識別中的案例。
自適應卷積神經網絡模型(Adaptive convolutional neural network model,簡稱ACNN)[2]是採用批量歸一化算法和參數化線性修正單元對卷積神經網絡結構進行的一種提升改進。本文以乳腺腫瘤的良惡性識別為例,對自適應卷積神經網絡算法過程給予展示。
首先,我們先看一下自適應卷積神經網絡模型的工作流程,如下圖1-1所示:
用戶將乳腺鉬靶X線圖像輸入該網絡模型中,經過卷積操作進行特徵提取、依次採用批量歸一化算法和參數化線性修正單元激活函數進行輸出,再通過池化層降維、進一步進行特徵提取,最後通過全連接層進行分類識別。
乳腺癌數據庫描述
本文所用的乳腺鉬靶X線影像數據是由DDSM[3]提供,該數據包括2600多個病例,如圖1-2所示,每個病例都包含左右乳房頭足位(CC View)和側斜位(MLO View)兩個角度共四張圖像,即分別是左乳腺頭足位(LCC)、左乳腺側斜位(LMLO)、右乳腺頭足位(RCC)和右乳腺側斜位(RMLO),每張圖像大小約為3000x5000像素。
圖像預處理過程
為提高卷積神經網絡的表現性能,在構建數據集時,預處理是必需的步驟。本文將病灶區域提取為固定大小的感興趣區域(Region Of Interest,ROI),然後使用全局對比度歸一化對它們進行定位。下圖1-3說明了用於提取和歸一化ROI的預處理步驟:
如上圖所示,第一行和第二行分別給出了良性乳腺腫瘤和惡性乳腺腫瘤的示例圖:其中(a)表示原始乳腺鉬靶X線圖像;(b)表示根據專家註釋標出的病灶位置和邊界;(c)表示裁剪後的ROI。
1、感興趣區域提取
感興趣區域是指以方框等形式圈出圖像中需要處理的區域。本文中,感興趣區域即是病灶區域。為簡化訓練過程,可以使用DDSM中提供的座標來對ROI進行自動定位,並剪裁為227x227像素。將該區域作為卷積神經網絡模型的輸入,其中選擇良性腫塊圖像634張、惡性腫塊圖像599張,將數據集分為訓練集和測試集,並通過五折交叉驗證來評估CNN模型識別效果。部分ROI區域如圖1-4:
2、數據增強
讓卷積神經網絡模型泛化得更好的辦法是使用更多的數據進行訓練,但在實際情況中,乳腺腫瘤和普通乳腺組織很難分辨,現有的數據量有限。在這種情況下訓練CNN模型,會使得網絡收斂較慢,識別效果也相對較差,解決這個問題的方法就是數據增強。實現數據增強的常用方法是添加噪聲或對現有圖像做幾何變換。本文采用集合變換方法來做數據增強。
通過對訓練集中乳腺圖像進行隨機平移、旋轉和翻轉操作,使訓練數據擴展為4932張:其中隨機平移是在範圍內進行;旋轉是通過二維旋轉。這樣一種數據的增強不僅可以使CNN更容易提取腫瘤特徵,而且腫瘤特徵也會維持不變。
自適應卷積神經網絡模型
本文所用適應卷積神經網絡模型的結構示意圖如下:
該模型主要由3個卷積層(C1、C3、C5)、3個池化層(S2、S4、S6)和1個全連接層(F7)組成。網絡的輸入為乳腺圖像,包含每個圖像塊的R通道信息、G通道信息及B通道信息。輸出層的類別數是兩種,即乳腺腫瘤的良性和惡性。
輸入層:227x227像素大小的樣本圖像;
卷積層C1:擁有16個尺寸為33的卷積核,步長為2,一個卷積核會得到一個特徵映射圖,因此該層由16個特徵映射圖組成,每個特徵映射圖的大小為113x113((227-3)/2+1=113);
池化層S2:S2採用最大池化策略,是C1層經過下采樣後得到的。S2中池化區域大小為3x3,步長為2,該層由16個大小為56x56的特徵映射圖組成;
卷積層C3:擁有16個4x4的卷積核,步長為1,卷積後將得到16個大小為53x53的特徵映射圖((56-4)/1+1=53);
池化層S4:S4採取最大池化策略,是C3層經過下采樣後得到的。池化區域大小為3x3,步長為2,由16個大小為27x27的特徵映射圖組成;
卷積層C5:擁有16個5x5的卷積核,步長為1,由16個大小為23x23的特徵映射圖組成((27-5)/1+1=23);
池化層S6:S6採取最大池化策略,是C5層經過下采樣後得到的。池化區域大小為3x3,步長為2,由16個大小為12x12的特徵映射圖組成;
輸出層:該層是全連接層,包含2個神經元,每個神經元對應一種乳腺腫瘤類別:Benign為良性,Malignant為惡性。
注:[1]https://www.sohu.com/a/210655584_99952800
[2]Heath M,Bowyer K,Kopans D.et al.Current Status of the DigitalDatabase for Databas Screening Mammography [M]//DigitalMammography. Springer Netherlands 1998:457-460
[3]該文參考自《深度學習在醫學圖像識別中的研究與應用,張騫予》