理论丰满难抵现实骨感!谷歌眼疾筛查AI临床首测遇滑铁卢

在医学领域,尤其是在疾病筛查方面,人工智能常常被认为是奇迹创造者。但是,新的技术在实验室获得成功是一回事,在现实生活中成功运用又是另外一回事。


Google此前有一个可以协助诊断糖尿病性视网膜病变(Diabetic Retinopathy,下称DR)的AI工具,可以透过查看眼睛的图片并寻找糖尿病性视网膜病的证据,在实验室里可以达到90%左右的准确率。近日,他们把这个AI工具投入到了实际应用环境里面进行测试,不过结果却不尽人意。

先说明一点,那就是这种测试尽管结果可能与预期差很远,但是对于改进这个AI以及相配套的测试流程是非常重要的,并且Google大方公开这次失败的举措也是值得嘉许。


根据Google公布的实验报告,这次的测试是在泰国的几所诊所进行的。诊断过程一般是这样的:护士每次为糖尿病患者的眼睛拍照,然后分批发给眼科医生,在评估后反馈…由于需求较多,通常至少需要4-5周的时间。

而Google这个AI则是可以在几分钟内得到结果。如果确诊,护士可以实时向患者提供初步建议而不用让他们等上1个月时间。理论上听起来不错,理想情况下,系统会快速反馈结果,与患者共享。

但是,在研究者接触到实际病例后,这个理论就土崩瓦解了。


正如该研究所描述的:在实际应用测试当中,由于每间诊所供拍照采样的环境以及条件都不同,再加上护士在这个筛查流程中有很大的自主权,因此AI诊断的实际效果不太好。


例如说,在众多参加测试的诊所中,只有两所有足够暗的独立房间,保证病人的瞳孔可以足够放大来拍出准备度高的照片,因此其他诊所有很多照片都因为模糊或者有拍得不完整而被服务器拒收,简单来说就是不符合系统的标准要求。


另外一点是,参与测试的诊所的网速也是比较不稳定,有部分图像需要最多一分半钟才能够完成上传,这使得整个测试的样本图片也少了很多。同样地,有40%至50%的病人认为他们最后还是要去医院测查所以没参与到测试当中,正如其中一位护士表示:


“比起测试准确度,病人更关心的是这需不需要额外的时间、需不需要去别的地方等等的检查体验。”


这次的测试最终的结果可以说是与AI本身的准确无关,而是更多的关于这个AI的实际应用环境。


谷歌团队也深切地认识到了这个问题:


当出现新技术时,设计师、政策制定者等未必可以预测到所有随时变化的问题以及它们的突发性。因此,作者认为在计划这些测试的部署时,与各方提前沟通好,了解他们的价值观、工作流程及规范是至关重要的。


如果即时的、易于理解的自动评估运行良好,自然会得到病人和医护的青睐。同时,减少对有限资源(眼科医生)的依赖也能给社会带来根本性的变革。

论文作者似乎对人工智能系统的这种不成熟且不全面的应用有清醒的认识。

正如他们所说:


这篇论文非常值得一读,它既可以作为了解AI是如何在临床中工作的入门读物,也可以作为了解AI工具面临哪些障碍的入门读物,该论文既适用于开发人工智能技术的人,也包括那些打算采用人工智能技术的人。


原文链接:

http://www.dailymagazine.news/google-medical-researchers-humbled-when-ai-screening-tool-falls-short-in-real-life-testing-nid-1169658.html


论文链接:

file:///Users/yanna/Downloads/3313831.3376718.pdf


分享到:


相關文章: