中科院田捷教授:基於 AI 和醫療大數據的影像組學研究及其臨牀應用 丨CCF-GAIR 2018

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

2018 全球人工智能與機器人峰會(CCF-GAIR)於6月29日在深圳召開。本次大會共吸引超過2500餘位 AI 業界人士參會,其中包含來自全球的 140 位在人工智能領域享有盛譽的演講與圓桌嘉賓。

在大會第二天的 【計算機視覺專場】中,上午計算機視覺前沿與智能視頻環節的演講嘉賓有:ICCV 2011和CVPR 2022大會主席權龍教授、曠視科技首席科學家孫劍等人。

下午環節為計算機視覺與醫學影像分析,出席的嘉賓分別是包攬7大模式識別與醫學影像Fellow的田捷教授,國際頂級醫學影像分析大會MICCAI 2019 聯合主席沈定剛教授,微軟亞洲研究院副院長張益肇博士,飛利浦中國首席技術官王熙博士等。

作為計算機視覺與醫學影像分析環節的重量級嘉賓,本次大會,田捷教授向與會觀眾分享了題為“基於人工智能和醫療大數據的影像組學研究及其臨床應用”的精彩專題報告。

田捷教授現任中國科學院自動化所研究員、分子影像重點實驗室主任。自2010年起,田捷教授連續獲得計算機視覺與醫學影像分析領域的7大Fellow:IEEE Fellow、IAMBE Fellow、SPIE Fellow、AIMBE Fellow、IAPR Fellow、OSA Fellow、ISMRM Fellow。同時也是兩項國家重點基礎研究發展計劃(973計劃)首席科學家。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

田捷教授認為,人工智能等技術給醫學領域帶來的改變是毋庸置疑的,並列舉了幾個醫學常見案例進行輔證。

田捷教授在研究學術的同時,也在積極探索AI技術的應用前景。他認為,AI技術只有跟臨床掛鉤才有價值,經過企業家的轉化才能變成生產力。

現在我們需要更多人工智能和大數據在醫療問題上的典型應用,來拉動產業,拉動人工智能進一步深度應用。這是相輔相成的,空喊方法,不形成規模化、典型應用,是解決不了問題的。只有得到外科、內科大夫承認的技術和臨床應用,才能更加有意義。

與此同時,他還表示,人工智能在醫學上應用一定要“醫工交叉”,工科的人要穿上醫學的馬甲,瞭解醫學的問題,參加醫學的會,瞭解醫生的需求;作為醫生也要對工科的方法知其然,這樣才能源於臨床,高於臨床,又迴歸臨床。

我下面彙報的是人工智能和醫療大數據在醫學上的應用,這是大家比較關注的熱門話題,我想從“臨床”和“商業”兩個方面來做一下簡要的歸納。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

人工智能在醫學上的應用和傳統中醫非常相像。我國中醫幾千年以來,通過“望聞問切”的方式積累了幾百萬人甚至幾千萬人的醫療大數據,後期主要通過人腦來“加工”這些數據;現代社會與此前不同的是,我們使用電腦加人腦,利用此前積累的經驗以及大數據與人工智能技術,實現了現在所說的智能醫療。

人工智能目前是國家戰略,健康中國2030也是國家戰略。從這兩個角度來說,通過人工智能技術和醫療大數據,提高人們的健康水平是國家下一步的重點發展戰略;與此同時,國家也有計劃要將我們的醫療和健康佔GDP的比重從3%提升到30%。

從商業角度出發,人工智能在醫學上的應用機會很多,包括通過計算能力驅動肺癌、糖網、乳腺癌等疾病的篩查。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

今天,我想重點與大家分享的是人工智能對於臨床醫療的重要性,它能提高我們的臨床醫療水平,實現精準醫療,具體涉及到術前、術中、術後三個方面。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

從目前醫學發展背景來看,人工智能、大數據等技術在醫學上的應用是眾勢所趨。去年北美放射醫學大會上給出描述:未來的影像中心就像飛機駕駛艙一樣,是各種各樣信息的綜合體;而未來的醫生則相當於飛行員,要處理各種各樣的信息。這裡還需重點闡述一個觀點:如今很多聲音表示,AI未來將要替代醫生。在我看來,AI不會替代醫生,只會更有效地輔助醫生。而醫生也不應懼怕新興技術,而是積極地去利用它,使用它。

當今,我們處於信息變革的時代,醫學大數據也在不斷的增長和積累,平均每73天,醫學數據就會增長一倍。因此,基於醫療大數據的人工智能醫療必將輔助甚至改變傳統的臨床診療流程。

國際影像戰略策略研討會副主席Donoso說了一句很經典的話,人工智能是否會完全替代影像科醫生無法下定論,但我們肯定的是,那些使用人工智能技術的影像科醫生,勢必會代替那些不使用人工智能技術的醫生。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

不跟隨時代的發展,面臨的就是殘酷的淘汰,無論是北美放射年會,還是歐洲放射年會,都不斷的在突出人工智能在影像學中的異軍突起的作用。

所以,未來的影像科醫生,不僅僅要會看片子,還要從影像大數據中挖掘大量的潛在知識,學會利用人工智能技術,站在科技潮流的前端,不是懼怕新興的人工智能技術,而是利用它,使用它,成為新時代下的影像信息學專家。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

上個月剛剛結束的美國臨床腫瘤年會ASCO2018,該年會的參與者大多為內科大夫、腫瘤大夫,他們也提出,要

將人工智能技術作為輔助新一代無創診療技術發展的重要工具。

Dana-Farber癌症研究所首席研究員Geoffrey指出,無創的液體活檢技術可以更加便捷的實現肺癌的早期檢測和篩查,血液中游離DNA可以成功檢測出早期肺癌。而隨著這種無創檢測手段的進步,醫學數據不斷積累,機器學習方法將有效提高檢測精度、提高測試性能。

此外,南加州大學生物科學學院院長在大會指出,在腫瘤療效評估中,結合基於液體活檢技術的基因蛋白組學和基於深度學習方法的智能影像評估可有效預測患者的預後生存。

一、影像組學的本質

中科院田捷教授:基於 AI 和醫療大數據的影像組學研究及其臨床應用 丨CCF-GAIR 2018

那麼,人工智能在醫學領域到底如何應用,接下來我會舉一些例子說明。

舉例之前,我們首先必須瞭解影像組學概念,其2012年就被提出,是由英文“組學+放射”組合出來的新詞:“radiomics”,我們當年認為把它翻譯成“放射組學”比較準確。

當年為什麼用了放射這樣一個詞彙?它是基於CT進行掃描的數據,然後在PET和超聲上得到應用,所以我們認為將“radiomics”翻譯成影像組學可能更為精準,它不僅僅融合了醫學影像、基因、臨床大數據,它也把組學的概念和組學的方法融合在一起。

它的工作流程與醫生日常讀片完全是一模一樣的方法,針對影像數據,提取特徵,人工智能建模,然後再進行臨床應用、輔助決策。這個流程也是一個標準的計算機視覺流程,也是標準的模式識別流程。

但它相比醫生的高能之處在於計算機看到了高維信息,可能看到了蛋白基因在宏觀影像上的變化,這樣的寶貴數據可以輔助醫生提升臨床診斷的正確性和準確性。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

需要注意的是,人工智能技術在醫學上的研究、應用,不是寫文章、不是談概念、也不是紙上談兵、更不僅僅是做篩查,而是要將技術與臨床緊密結合,解決實際臨床問題。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

二、典型臨床應用

下面我就從臨床和技術兩個方面談一下人工智能在醫學上的具體應用。

首先我想談談人工智能在臨床上的應用,在座各位很多都是技術人員,對於技術方法比較瞭解。其實我們在瞭解技術本身的同時,更需要了解技術到底能夠解決什麼問題,或者說目前醫學需要解決什麼問題。所以我先從問題為導向,觀察臨床上有何需求。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

第一個例子是結直腸癌。

外科大夫在為病患做手術之前都會為患者做一個輔助化療,以控制癌症的發展,之後再為他進行手術。

在這個過程中,一部分病患非常不幸,經過輔助化療之後,他們病理上完全緩解,體內也沒有癌細胞存在,但外科大夫無法憑藉他的經驗來肯定判斷他們體內是否還有癌細胞潛藏,所以不得不還為這些病人開刀(實際上病患身上已經沒有癌細胞存在)。

從這來看,我們能否通過其他方式來準確判別病人的實際數據,讓他們在外科大夫的經驗無法準確判定、常規的影像磁共振無法精確判別時,能夠非常肯定地判定病人的數據。

通過人工智能分析,目前我們有90%的把握能把這些PCR緩解的病人挑選出來。換句話說,系統能夠將經過輔助化療以後,體內沒有癌細胞的病人找出來。後期,這部分病人就可以免受開刀,只需密切觀察隨訪即可。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

第二個例子還是結直腸癌。

如果病患經過化療之後並沒有PCR緩解(佔比70%左右),那麼他們是需要進行手術的。開刀之後,醫生需要對他們做淋巴清掃,以防止癌細胞轉移。

問題是:清掃完之後顯示,70%的淋巴是假陽性。

這裡需要說明的是,假陽性結果與中國醫生的開刀技術沒有直接關係,美國大夫開刀假陽性也有70%左右。而這個問題也可以用人工智能技術解決。

我們用人工智能技術處理500例臨床病理、影像數據完整的結直腸癌患者數據,經過病理、影像,提取特徵以後,在實測中,能把70%的淋巴假陽性降到30%,這是醫學上非常巨大的進步。

目前這項研究也發表在臨床腫瘤的頂級雜誌JCO上。需要指出的是,其第一作者只是一個碩士二年級的小女孩,所以我們在醫學領域的研究並不需要多少臨床經驗,關鍵是先要找到臨床問題,以問題為導向來解決它,並不是一味的低頭專耕技術。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

第三個例子依舊是結直腸癌。

剛才我已經講了術前及術中,術前有沒有病理學的緩解,術中要不要進行淋巴清掃。我們再來看術後,結直腸癌患者做了手術之後,外科大夫還可以給他做一個放化療控制遠端轉移。

這裡又出現了一個問題,經過手術後的結直腸癌患者遠端轉移的概率只有20%,換句話說,有80%的患者花了錢,忍受了放化療的痛苦,而去做在他身上也許不可能發生或者概率非常小的遠端轉移。

就此,我們能否用人工智能技術把這些概率大的人挑選出來,再去做放化療,控制他遠端轉移;而概率不大的人也就沒必要做遠端轉移,後期觀察即可。

目前我們正在做相關的人工智能技術落地實驗,希望這個概率可以提升更高,預測得更為精準。

綜上,我舉了一個非常完整的例子,從術前、術中、術後來說明人工智能、影像組學、醫療大數據到底怎麼改變我們的醫學,改變我們的精準診療。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

剛才我所提到的都是手術方面的內容。那麼,人工智能能否解決不用開刀也能解決的問題呢?也就是說,其能否既可以輔助外科大夫,也可以輔助內科大夫。

如果後期發現他無進展,這時候我們就提醒他不要再用這個靶向藥,價格昂貴不說,效果也不大。目前這項研究發表在CCR上,也是國內學者解決的重點醫學工作。

舉例來說,系統可以對病患的鼻菸癌給出判斷及生存期預測。

針對臨床指標對晚期鼻咽癌的放療後預測精度低的現狀,我們對118例晚期鼻咽癌T1和DCE MR圖像做了超過3年時間的隨訪,並結合970個影像組學特徵,和臨床病理信息進行分析,在此有效預測該類患者的預後,準確度超臨床指標的10%。

再舉一個例子,我國是肝癌大國,肝纖維化、肝硬化、肝癌是肝癌患者的病變三步曲。

問題來了:能不能用人工智能技術來處理這些數據,不做肝穿也能達到跟它一樣的病理學效果。

三、影像組學新模態應用

在後來的研究過程中,有相關醫生提出,炎症會不會對結果產生影響。可以肯定地說,人工智能在對輕度炎症困擾上沒有差別;對於重度炎症有一些差別,但是影響不大,準確率還是會遠遠高於人工判斷。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

在這裡我必須強調一點,人工智能在醫學上的應用最好是以問題導向,有了問題再找方法,再去解決。我們可以源於臨床,高於臨床,這時候我們再商業化應用,醫生們就不會牴觸,他會主動來使用,因為可以很好地幫助他們輔助診斷。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018
中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

以上是從臨床角度講了人工智能在醫學上的應用。接下來我再從技術角度來講人工智能、模式識別、大數據在醫學上應用的進展。

四、影像組學的關鍵技術

中科院田捷教授:基於 AI 和醫療大數據的影像組學研究及其臨床應用 丨CCF-GAIR 2018

首先是腫瘤分割,一般可能需要醫生先進行勾畫,然後可以用機器學習的方法進行半自動或者全自動的分工,這些分割都可以提取相關的影像組學的特徵,使得我們用人工智能的方法來建模分析。這一塊的技術方法有很多,但是坦率說,哪種方法好,還得針對你遇到的問題。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

第二方面是特徵描述,影像組學、人工智能並不是比人更加聰明,只不過醫生讀片時,人眼提取的信息永遠是以形狀為主的,以結構為主的。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

而從影像組學提取的特徵,是強度、紋理、小波,最大值、標準方差、灰度矩陣這些特徵,人眼是沒法看的,同時人腦也難以加工。

對於計算機來說,恰恰是它最為擅長的。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

所以在特徵選擇上,計算機選擇的特徵和人眼識別的特徵形成了互補關係。如果我們能用計算機提取高維特徵,包括毛刺、分葉等信息,再融合年齡、性別、家族史等信息,肯定是1+N>N,我們就能實現人機交互、計算機和人協同工作,從而使得我們的醫學更為精準。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

選擇特徵的時候切記要多多益善,特別是把這些高維特徵提取得越多越好。還有一個非常重要的點,為什麼現在影像組學、人工智能熱,就是這些高維特徵含有基因蛋白這些微觀信息,在這些宏觀的影像上的體現,只不過過去人眼提取不了,但現在計算機提取了,把這些信息來進行系統加工,使得我們的預測更加精準

提取特徵之後,還有一項非常重要的工作是降維。共有四類主要特徵降維方法:稀疏選擇、空間映射、神經網絡、遞歸排除。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

針對具體臨床問題,業界還採用建立計算機定量影像特徵與所研究臨床研究問題標籤之間的分類模型。主要運用了兩類模型:

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

SVM模型:從影像大數據原始像素出發,提取高維手工設計特徵並進行特徵選擇,構建影像特徵與臨床問題的分類模型。

CNN模型:在影像大數據的原始像素的基礎上,該模型可自主挖掘與臨床問題相關的影像組學特徵,構建影像特徵與臨床問題的分類模型。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

至於建模部分,前面很多講者也講了很多模型,人工智能、深度學習有一系列的模型,無所謂哪種模型好,關鍵是針對你的問題,你是要做生存期預測,還是要做療效評估,針對我們在醫學上不同的使用的對象和問題,我們應該選擇不同的方法。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

有了方法之後,我們構建的模型可以提高分類精度,甚至能達到主治醫生的水平,大家已經看到了很多例子,我就不展開細說。

但是這裡面還有一個非常重要的環節,是我們做計算機、做工科最容易忽視的:我們往往把模型建出來,就直接把這些結果拿給醫生去看,希望醫生可以去使用。

這時候,你一定會吃閉門羹,因為醫生肯定會說這不是我需要的東西,你這些模型我看不懂,我根本沒法用。

所以後期非常重要的步驟就是:要讓他們看圖識字,要把這些數據可視化。你給醫生們一大堆模型,他會覺得很難懂,換成圖片之後,他就覺得非常好用,我們要從醫生的角度看問題,把模型可視化。

另外,計算機處理離不開數據,這些數據質量到底怎麼樣,我們也要從醫生的觀點來看待它。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

去年臨床腫瘤學雜誌上發表了一篇文章,是以荷蘭大夫為主發表的,他在談數據質量標準的評價,給出了16個評價標準,36分是滿分,進行數據質量打分,而且他也會編程序,編一些簡單的程序,把它放到網上,你直接填表打分,最後告訴你數據質量是怎麼樣的,我覺得目前也是對醫學用人工智能判斷,用影像組學第一個比較公開的數據標準,值得大家借鑑、參考。

五、人工智能+醫學影像的未來展望

剛才我從技術方面談了人工智能怎麼針對醫療問題,用什麼樣的方法解決。涉及分割、特徵提取、模型構建、模型可視化、質量控制5個環節。

最後我想提一下人工智能在醫學影像應用未來的發展方向,主要涉及到人工智能的方法、數據、軟件、共享平臺。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

我們現在不缺方法,也有很多數據,也有各種各樣的軟件,但是我缺乏交流共享的平臺,我們這個會議也是一個交流共享的平臺,我也建議我們相關企業在會後把相關的資源共享出來,這樣可以更好地促進人工智能在醫學領域的應用。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

我先從模型講起,這幾年人工智能的模型有很多,有卷積神經網絡、遷移學習、博弈進化模型,數據也在不斷地增多,智能程度也在不斷地提高,所以我做了一個二維的方陣來說明這個問題。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018
中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

遷移學習經過大數據訓練,我們可以在醫學的小數據上提取到複雜的影像特徵,而且這些特徵還有很好的解釋性。與此同時,我們所提取的高維特徵又會帶來一個挑戰,臨床醫生表示看不懂且不知道有何意義。

此時,我們無法對於醫生的困惑做出解釋,因為這是計算機分析出的結果,我們不能說它跟肝的哪個血管對應,跟腎的哪個細胞對應。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

與此同時,我們還可以用遷移學習的深度學習方法來提高肺癌基因突變預測的精度。

遷移學習模型是經過128萬張圖片訓練出來的,我們做肺癌的時候可能沒有這麼多圖像,但是如果我們想要提高它的預測精度,我們用前面圖像訓練過的模型可能也會得到比較好的效果。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

另外,大家知道現在博弈進化模型比較熱,它可以讓機器學習提高智能程度,這在醫學上的應用也非常重要。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

需要指出的是,我們用人工智能做組學分析,我們需要多病種、多模態、多中心、多參數的數據融合,在這一塊,還有非常重要的點是數據標準,雖然我們國家這一塊現在已經非常重視,做了一系列的籌備,但是目前為止還沒有出來一個影像大數據的數據標準,或者數據規範化的行業標準,所以依然是一個挑戰。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

所以在這裡我也想說,前面我舉的那些例子,淋巴清掃的工作,原來我們是想做生存期預測的,但生存期預測我們需要兩年以上的病人隨訪,因此很多信息的提取還需要醫療從業人員去科普,需要讓患者知道,我們做臨床研究需要大量的信息才能做綜合。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018
中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

有了數據,我們還需要軟件,我們可以開發各種各樣的軟件,特別是醫學圖象處理的軟件,我們實驗室有三個軟件,第一個是MITK,是醫學軟件的集成平臺,包含重建、分割可視化;還有一個是3D軟件;另外我們還有一個影像組學的軟件,全部是開源的,在我們的網站上可以下載。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018
中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

人工智能在醫學上的應用一定要醫工交叉,我們工科的人要穿上醫學的馬甲,瞭解醫學的問題,參加醫學的會,瞭解醫生的需求,作為醫生也要對工科的方法知其然,你也許不知其所以然,但是你要知其然,這樣我們才能源於臨床,高於臨床,又迴歸臨床,不只是看一個病,不只是一個軟件。

中科院田捷教授:基于 AI 和医疗大数据的影像组学研究及其临床应用 丨CCF-GAIR 2018

我就彙報到這裡,敬請各位批評指正,謝謝大家。(完)

觀眾提問:剛才您說了要從影像裡面提取高維信息,並且說了要源於臨床,最後還要回歸臨床,這些高維信息是由誰來提?是醫生來提,還是我們工科的人來提?我還聽說您那裡面有的有400個高維信息,我看到有的文章好像更多,這些信息是怎麼提出來的?

田捷教授:這個問題提得非常好,也非常關鍵。如果用計算機去做,還是停留在結構特徵上,我們能彌補一些醫生的錯誤,但是不能輔助診斷。

剛才舉例子講的這些高維信息,它到底有沒有用,醫生也不知道,我們也不知道,但是用計算機、深度學習把它提取之後,我們只能嘗試,有些問題可能能很好地解決,有些問題現在還解決不了,我們只是提取這幾百個甚至上千個特徵,跟那些特徵、病理信息融合在一起,我們再去篩選,把關鍵的信息提取出來,這是降維,最後再建模,然後取得一個好的結果。

我們這些特徵不僅僅說明它有用,還要想辦法跟醫生溝通,把這些特徵變成可視化的,讓醫生能接受,說明它的臨床意義。這也是一個痛苦的交互過程。

觀眾提問:剛才我看到您的遷移學習的工作,把上百萬張自然圖像遷移到肝臟的醫學圖像上,但是我看到有文章說遷移學習必須要有醫學的意義,如果您這樣做的話,讓自然圖象遷移到醫學圖像上,它的臨床意義在哪兒?醫生會接受這樣做嗎?

田捷教授:醫生能不能接受,關鍵看臨床效果,關鍵看你能不能針對臨床解決問題。

我沒有去計算機視覺的會議,我現在反而是跑到美國臨床腫瘤學會、美國腫瘤學會的會議上,你要到臨床醫生那裡,讓他們“折磨”你,找出他們能接受的臨床效果和臨床意義,這時候你的模型才真正起作用,我們老在計算機視覺會議上談我的方法和參數好,我覺得意義不大,當然能寫文章,只是把紙變成錢。

所以我說我們技術人員要穿上醫生的馬甲,到醫學的會議上交流。我是工科生,但近些年我沒有發表一篇計算機方面的文章,都是醫學的文章。這一點我非常自豪,我能在醫學的雜誌上發文章,就非常具有臨床意義,因為審稿人都是醫生,說明我已經穿上醫生的馬甲了。

我認為,這是所有想在醫學領域深耕的工科生都需要做出的轉變,必須站在醫生的角度去思考問題,讓他們來當裁判,讓他們來鑑別。雷鋒網雷鋒網


分享到:


相關文章: