原创 英伟达医疗副总裁Kimberly专访,如何以联邦学习算法保护医疗数据隐私?
2019年10月21日 【健康号】 动脉网     阅读 7913

短短7年的时间,AI的计算规模就增长了30万倍。为了应对这种强烈的计算需求,继续达成“现代AI架构发动机”的目标,英伟达主动作出了很多改变,不仅仅是做芯片,也包含了硬件集成系统和各种各样的软件堆栈,并且希望能够在尽可能短的时间内完成。

作为全球最高端的医学影像会议之一,MICCAI 2019(Medical Image Computing and Computer Assisted Intervention,国际医学图像计算和计算机辅助干预年会)于2019年10月13-17日在深圳市举行。这也是继2010年之后该会议第二次落地中国。

 

作为主要的计算机图形设备供应商,英伟达(NVIDIA)也在会议上与伦敦国王学院联合发布了首个面向医学影像的隐私保护型联邦学习系统。受此影响,英伟达的股价应声大涨。10月15日开盘价190.16美元,一度冲高至199.29美元,距离200大关仅有一步之遥。最终,英伟达当日收盘价为196.37美元,较前一日186.53美元的收盘价大涨5.27%,也是自2018年11月15日以来的最高股价。


 

动脉网=记者被邀请参加了英伟达于MICCAI 2019期间举行的媒体沟通会。英伟达医疗副总裁Kimberly Powell、英伟达中国高性能计算、产业AI业务总经理刘通及英伟达资深研究科学家Nicola Rieke在沟通会上对首个面向医学影像的隐私保护型联邦学习系统进行了介绍。与此同时,我们也对英伟达过去一段时间在医疗上的进展进行了整理。


英伟达医疗副总裁Kimberly Powell

 

切中深度学习痛点的联邦学习


为了训练出与医学专家水平相同的模型,达到临床应用所需的精度,需要对AI算法提供大量的能够充分代表临床环境的病例用于训练。我们以放射科医生为例,要想成为某一特定领域的专家,放射科医生通常每年经手至少15000个病例,需要工作15年才能达到专家的水准——累计需要22.5万个病历。也就是说,人工智能需要对同等规模病历的学习才能达到与放射科专家的水平。遗憾的是,目前最大的开放数据库仅有10万病例的规模,离满足人工智能训练的要求尚有一定距离。

 

如果考虑到罕见病就更麻烦了。这类影响千分之一人群的疾病,即使是一个有三十年经验的专家也只会看到大约100个特定疾病的病例。

 

各个医疗机构可能拥有包含数十万条记录和图像的档案,但因为隐私和法规的原因,这些数据完全是彼此孤立无法使用的,形成一个个“数据孤岛”。无论是人工智能企业,或是正在使用人工智能的医疗机构都只能依赖手头仅有的数据来源。这导致人工智能在实际应用中的瓶颈愈发明显。高质量标注数据的缺失状况如果持续下去,甚至有可能导致这一波人工智能在医疗上的热潮衰退。

 

为了解决这个问题,联邦学习应运而生。不同于以往需要将所有数据上传至中心服务器的方式,联邦学习可以让多个机构利用自己的数据进行多次迭代训练模型,随后将模型上传共享。这个过程并不会涉及到敏感的临床数据或病人隐私。

 

我们用一个具体的案例来加以说明。假设三家医院决定联合起来建立一个中心深度神经网络用于帮助自动分析脑肿瘤图像。如果他们选择使用客户机-服务器的联邦学习,则集中的服务器将维护全局深度神经网络。每个参与的医院将获得一个这个神经网络模型的副本,以便使用自己的数据进行训练。

 

一旦在本地对模型进行了几次迭代训练,参与者就会将模型的更新版本发送回集中式服务器。这个过程只发送训练完成的模型,而不会像以往的方式发送病理数据。在收到各地上传的更新模型后,服务器将根据各地上传的模型对全局模型进行更新。随后,服务器会与参与机构共享更新后的模型,以便它们能够继续进行本地培训。


 

事实上,在几次训练迭代的过程中,共享模型接触到的数据范围比任何单个组织内部拥有的数据范围都要大得多,训练也更为有效。与此同时,因为只需要传输模型,网络传输带宽的要求也降低了很多。

 

由于全局模型的训练并不依赖于特定的数据,因此,如果其中一家医院离开模型训练团队也不会停止模型的训练。同样,一家新医院可以随时选择加入该计划以加速模型训练。

 

联邦学习使几个组织能够在模型开发上进行协作,但不需要彼此共享敏感的临床数据及病人隐私。业界希望这种新的方式能够解决目前AI遇到的数据困境。相比传统的模式,联邦学习还可以鼓励不同的机构合作创建一个可以使所有人受益的模型。

 

谷歌是第一个在实际开发中应用联邦学习的。在Google I/O 2019大会上展示的G-Board输入法便使用了这种新的模型训练方式。在以往,由于输入法的本地输入会包含大量的用户隐私信息,因此没有办法将这些信息上传用于预测用户输入的智能输入法的模型训练。通过联邦学习,每部安卓手机可以在本地训练模型,随后将模型上传汇总,从而帮助加快输入法开发。

 

正因为联邦学习有着解决现有AI困境的潜力,行业内越来越重视联邦学习。在MICCAI 2019上,IEEE TMI和Medical Image Analysis期刊编委会成员、CVPR和MICCAI的领域主席、MICCAI 2020程序委员会联席主席周少华将联邦学习认为是未来AI三个可能发展的方向之一。

 

英伟达这次与伦敦国王学院的合作成果则是首个面向医学影像的隐私保护型联邦学习系统。除了对用于处理基于动量的优化和不平衡训练节点的联邦算法的各个方面进行比较对比外,这一系统还在隐私保护上进行了优化。

 

联邦学习可以保证极高的隐私安全性,但也并非无懈可击。理论上而言,在了解到底层的运行逻辑后通过模型反推,的确可以设法使数据重现。因此,英伟达和伦敦国王学院的研究人员在这个模型上引入了稀疏向量技术(SVT,Sparse Vector Technique)。通过对数据加入“噪点”使数据变得模糊,并改变原有数据的颗粒度使得模型反推的难度大大增加。

 

在整个训练与推理的过程中都用到了英伟达V100 Tensor Core GPU。这一技术成果也将被引入到去年底发布的Clara SDK之中供开发者更好地使用。与此同时,显而易见的是,由于联邦学习将原本集中于中心服务器的模型训练过程分散到了各地。这对于参与机构的硬件提出了一定的需求,一定程度上会增加需要的GPU数量。

 

与此同时,大规模的联邦学习项目正在启动。总部位于英国的MELLODDY组织主要目的是药物研究。它汇集了17家合作伙伴:10家领先的制药公司,如安进、拜耳、葛兰素史克、杨森和诺华;两所欧洲顶尖大学——鲁汶大学和布达佩斯科技经济大学以及四家初创企业。

 

英伟达就和MELLODDY合作,希望利用英伟达的AI平台改善药物发现。同时,通过联邦学习在不牺牲数据隐私的情况下,利用世界上最大的合作药物化合物数据集对模型进行训练。

 

尽管联邦学习具有诸多优势,但一些政策上的限制仍然需要突破。比如,包括我国在内的多数国家和地区要求数据必须存储在本地。从理论上说,跨地区的联邦学习并未违反这类法令,但实际执行起来显然问题会复杂得多。

 

“英伟达现在主要是做工具和整个基础架构的工作,由各地区自己建立训练中心更合理一点。同时,我们内部也在打造中国本土的医疗团队。之所以我们来参加MICCAI 2019,除了有成果需要发表,其实也会见了一些潜在的合作伙伴。” Kimberly认为在本地设立网络是最符合各方利益的方案。

 

英伟达中国高性能计算、产业AI业务总经理刘通也对此做了解释。他表示英伟达的主要目标还是要用GPU为AI产业赋能。是否建设共享的联邦学习数据中心完全取决于各地或各个机构自己的考虑。“我们只是为大家提供这样一个实施技术的便利方式。一个省里面可能有30家医院。是否要共享数据去训练一个模型,是不是要建立一个共享的中心,是用私有云还是公有云,这些细节都是由他们自己决定。”

 

“当然,我们见了很多AI初创企业,他们正在帮助临床医疗合作伙伴搭建训练平台。也可以说我们是用帮助这些初创企业搭建平台的方式来帮助到大家。”他进一步解释道。

 

Clara的如意算盘


2012年,时任多伦多大学教授的Geoffrey Hinton和他的学生Alex Krizhevsky设计的AlexNet将计算机图像识别的正确率提升了一个数量级,获得了2012年ImageNet竞赛冠军。从那以后,开启了深度学习的新时代。AlexNet使用了两块英伟达GeForce GTX 580显卡对深度卷积网络训练进行加速,展示了GPU在AI应用中的巨大潜力。

 

从那时起,英伟达就成为了AI加速最为重要的硬件之一。GPU特别擅长处理并行工作负载的特点使其可让卷积神经网络提速10~20倍,从而将各个数据训练迭代周期从几个星期缩短为几天。在经历了几代硬件升级后,如今的CUDA-X平台在AI领域无处不在。英伟达已经如英伟达医疗副总裁Kimberly Powell所说的那样,成为了AI产业的发动机。

 

AI发动机这一愿景贯穿了英伟达过去几年在医疗领域的布局。2016年底,英伟达发布了首款人工智能超级计算机DGX-1。它的计算性能相当于一个含有250个节点的高性能计算集群,可将网络训练用时从数周缩短至几天。2018年3月,英伟达又推出了基于新一代Tesla V100 GPU的DGX-2,将算力在半年时间内提升了10倍,成为首个突破2 Petaflop算力的深度学习系统。

 

吸收早年在游戏市场的经验,英伟达还尤其注重配套软件及API的开发。2018年,英伟达发布了Clara AI平台。该平台可满足入门级设备扩展到要求最苛刻的3D影像设备,能将AI带入下一代医疗仪器,成为疾病早期检测、诊断和治疗的工具。包括GE Healthcare的Edison AI平台和Nuance的AI Marketplace都引入了Clara AI平台。

 

Clara AI平台也可以利用AI为老旧设备赋能。比如,某家医院有一台15年机龄的CT机,完全不支持重构算法或者人工智能分析算法。在安装了Clara平台后,这台CT机只需要用网络连接到服务器,就可以借助Clara AI平台用到最新的算法了。

 

没过几个月,英伟达又发布了Clara SDK。这个软件开发套件为开发者提供了一套用于计算、高级可视化和 AI加速的GPU加速库,并可随后续更新提供可用于构建硬件抽象应用程序的容器。前面提到的联邦学习就会加入到Clara SDK中。


 

Kimberly还介绍了Clara SDK的其他更新——自从Clara SDK的第一个版本以来,它已经进行了多项更新。最新的版本已经完全提前设定好了整个工作流,开发者可以将自己的模型带到这个平台来做训练,对于开发者更加友好。

 

新版本的Clara SDK还整合了一些开源工具。比如,新的医疗影像浏览器能从三个视角观察图像,相当于是一个AI助理分析工具。所以,从用户的角度而言,使用更方便。

 

最后便是性能上的优化,尤其改善了数据加载训练的时间——根据开发者的反映,数据加载的时间有时候可能比模型训练的时间还要长。另外,新版SDK还实现了自动化的多GPU训练,不再需要用户的干涉。

 

对于英伟达来说,Clara SDK无疑是手上的一个大杀器。汲取早期在游戏市场的开拓经验,英伟达对于开发工具和API极为重视。在通过硬件的性能吸引开发者后,这些开发工具和API可以极大地帮助开发者,进而让英伟达的产品对开发者形成巨大的粘性,从而建立起自己的生态。这套软硬结合的打法让英伟达在GPU的道路上一路披荆斩棘,击败了众多敌手,成长为如今的GPU及通用计算领域的巨头。

 

显然,英伟达希望在AI加速的竞争中复制过往的成功。Clara SDK的存在将使得英伟达取得巨大的竞争优势,甚至有可能在未来成为行业标准。这也是为何英伟达目前对于建立统一的行业标准并不积极的主要原因所在。如果把英伟达GPU形容成为AI产业的发动机,Clara AI平台及Clara SDK可能就是这台发动机在AI医疗领域提供强劲动力的增压涡轮。

 

在被问到是否有计划与业界合作打造统一高效的AI框架时,Kimberly Powell表示,英伟达并没有这个计划。毕竟,英伟达在GPU领域的投入很大,已经成为了公认的AI发动机。再加上Clara SDK这样为AI医疗所打造的、目前最为先进的软件堆栈,使得英伟达GPU成为训练及部署最先进的AI平台。

 

“如果有人想用CPU来做推理和训练,从成本和时间上来说,都是不划算的。也许有一些模型比较简单可以用CPU来做,但是医疗图像这种计算非常复杂的模型就是另外一回事了。所以,很多人还是会选择使用GPU。”Kimberly Powell这样表示。

 

因为架构的不同,Clara SDK不可能支持其他厂商的GPU。英伟达显然也没有任何动力来与业界合作搭建这样一套通用的API或者软件工具——毕竟,好不容易建立起如此明显的优势,谁会愿意拿来做慈善呢?事实上,通用的工具为了兼容性的考虑,往往在效率上不如专用工具。以前几年的通用计算之争为例,能够支持包括AMD、Intel、高通等一大票GPU的通用的OpenCL最终就并未敌过英伟达自家专用的CUDA。

 

不过,前段时间英特尔发布的One API可能会对英伟达构成强劲挑战。根据英特尔的介绍,One API支持API编程和直接编程,通过提供统一的语言和库,可以在包括CPU、GPU、FPGA和AI ASIC等多种硬件平台当中提供完整的代码性能,从而大大简化了开发过程。考虑到英特尔目前在CPU、FPGA和ASIC都有布局,以及即将推出GPU加速卡;如果One API的确有这样强大的功能,对于英伟达而言不是一个好消息。

 

当然,即使对手所言不虚,仍然需要付出很多的努力才能赶上英伟达建立的优势。NVIDIA执行已久的“初创加速计划”有超过700家初创的医疗企业,并且集合了大量的临床领域的合作伙伴。

 

同时,就在前不久的2019年4月,英伟达与美国放射学会(American College of Radiology)达成合作协议,通过将Clara AI平台整合到ACR Data Science Institute新近发布的ACR AI-LAB中,从而使得超过38000的美国放射学会会员可以使用各自的数据来创建满足自己需求的AI工具。对于英伟达的医疗布局来说,这是一个重大利好。


 

写在最后


依靠硬件的不断提升,英伟达作为AI发动机的地位短期内牢不可破。2019年8月,英伟达的AI平台在自然语言模型上又获得重大突破。要知道,BERT是目前最好的NLP模型之一,对算力要求非常高。与2012年的AlexNet相比,它的计算规模提升了30万倍。

 

英伟达仅仅使用一台包含1472个V100 GPU的服务器将训练BERT(Bidirectional Encoder Representations from Transformers)模型的时间从数天缩短至53分钟。随后仅用2.2ms完成AI界面——10ms就可以满足大多数应用的实时需求。即使经过高度优化,CPU在执行这一任务时仍然需要超过40ms。

 

短短7年的时间,AI的计算规模就增长了30万倍。为了应对这种强烈的计算需求,继续达成“现代AI架构发动机”的目标,英伟达主动作出了很多改变,不仅仅是做芯片,也包含了硬件集成系统和各种各样的软件堆栈,并且希望能够在尽可能短的时间内完成。12月16-19日,英伟达GTC大会将在苏州举办,会议上又会拿出什么新的杀手锏,动脉网也将持续关注。


为深入探讨《联邦学习在医疗影像中的应用》,英伟达将于10月30日20:00-21:00举行在线研讨会,感兴趣的朋友可以报名参加:https://info.nvidia.com/228247-reg.html?ncid=em-webi-98845#cid=ix03_em-webi_zh-cn#sfdcid=IX03


提示x

您已经顶过了!

确认
''
|
请选择举报原因
垃圾广告信息
色情低俗内容
违规有害信息
侵犯隐私、虚假谣传