评估生成对抗网络Circumpapillary合成图像生成高分辨率的光学相干断层扫描图像青光眼

要点

问题可以正常的现实circumpapillary光学相干断层扫描和青光眼的眼睛,生成,这些可以用于培训的学习(DL)青光眼检测模型?

发现862年这990年横断面研究正常的眼睛和青光眼的眼睛,从合成图像识别的图像2临床医生出现类似。DL检测模型对合成图像导致青光眼专门训练与表现独立的内部和外部的测试集与训练模型真实图像。

意义生成模型能够综合实际的光学相干断层扫描,可以用来训练DL青光眼检测模型和数据共享。

重要性深度学习(DL)网络需要大数据集进行训练,可以挑战收集临床。生成模型可以用来生成大量的合成光学相干断层扫描(OCT)图像训练DL网络青光眼检测。

客观的评估是否生成模型可以综合circumpapillary视神经头10月的图像正常,青光眼的眼睛和确定培训DL合成图像模型的可用性青光眼检测。

设计,设定和参与者逐步增长生成对抗网络模型训练生成circumpapillary 10月扫描。图像爬坡能力和真实性评估在临床的100 100年的真实和合成图像2临床专家。DL青光眼检测的网络训练与实际或合成图像和评估在独立的内部和外部的测试数据集140年和300年的真实图像,分别。

主要结果和措施评估的临床专家之间的比较。青光眼DL网络评估使用的检测性能曲线下的面积(AUC)分析。类激活地图提供了可视化的地区导致了各自的分类。

结果共有990名正常和862年青光眼的眼睛进行了分析。爬坡能力评估的临床组相似(专家1:92.0%;专家2:93.0%)和真实性(专家1:51.8%;专家2:51.3%)。表现最好的DL网络训练在合成图像AUC分数为0.97 (95% CI, 0.95 - -0.99)在内部测试数据集和0.90 (95% CI, 0.87 - -0.93)的外部测试数据集,AUC为0.96 (95% CI, 0.94 - -0.99)在内部测试数据集和0.84 (95% CI, 0.80 - -0.87)的外部测试网络训练与真实图像数据集。增加的AUC合成DL观察网络使用较大的合成数据集的大小。类激活地图显示区域的合成图像导致青光眼检测通常是类似的图像。

结论和意义DL网络训练与青光眼10月合成图像检测是类似与真实图像进行网络训练。这些结果表明生成模型的潜在使用DL网络的训练和跨机构的数据共享患者信息保密问题。万博manbetx平台首页

青光眼是一种进步的眼睛疾病,导致不可逆转的损害视网膜神经节细胞,¹导致失明。²由于无症状疾病的性质,直到晚期视力丧失常常意识不到。到2040年,估计有1.118亿人³会有青光眼,使得早期检测至关重要。

基于人工智能算法^{4- - - - - -7}已成为一个潜在的工具来提高临床工作流程和管理⁸在眼科检测模式与年龄相关性黄斑变性等疾病有关,⁹糖尿病性视网膜病变,^5,6和青光眼。⁷发展的深度学习疾病检测(DL)模型需要大量的高质量的标签数据。病人数据采集往往是阻碍由于时间的限制,隐私问题,和制度限制。最近,生成对抗网络(甘斯)⁹已广泛应用于人工智能社区的人工合成图像和已成为一个潜在的技术解决数据稀缺性在生物医学应用的挑战。¹⁰甘在眼科研究中,模型在分割,^{11- - - - - -14}数据增加,^{15- - - - - -19}域转移,^{20.- - - - - -22}图像增强,^{23- - - - - -26}和其他人。²⁷在数据增加甘斯,之前的研究合成眼底^15,28,29日和光学相干断层扫描(OCT)图像生成^16,30.也主要集中在视网膜疾病,评估病变的存在。然而,研究使用图像合成的甘斯青光眼,视神经疾病的特点是进步的损失,仅限于眼底摄影¹⁸和前节OCT成像¹⁷和尚未公布10月视神经头(eTable 3的图片补充),评估神经纤维层变薄经常在青光眼进行评估。^31日,32在这项研究中,我们评估使用的甘斯代circumpapillary 10月扫描正常和青光眼的眼睛和他们的潜能训练神经网络用于青光眼检测。

这个回顾横断面研究从2012年1月至2021年3月,包括中国参与者与青光眼4临床研究(2009 - 2021)^32,33从新加坡眼科疾病的流行病学和控制计划,³⁴以人群为基础的研究(2009 - 2021)执行在新加坡新加坡眼科研究所。额外的数据从一个临床研究的非西班牙裔白人参与者卡罗尔·戴维拉大学的医学和制药、布加勒斯特,罗马尼亚(2020 - 2021),也包括在内。这两项研究被各自的审查委员会批准,依法执行赫尔辛基宣言的原则,³⁵从所有参与者和书面知情同意了。旅游津贴提供给参与者。本研究遵循透明报告个人的多变量预测模型预测或诊断(三脚架)报告指南。

新加坡和布加勒斯特的研究方法都是相同的网站。性别和种族自我报告。参与者被排除在外,如果他们表现出非青光眼视网膜和视神经疾病的征兆,视网膜手术或激光疗法的历史,如果他们有系统性疾病可能会影响视网膜或视野。青光眼是基于临床评估,同时拥有青光眼性视神经病变和青光眼的视野损失。严重的青光眼是基于平均偏差(MD)和定义为轻度青光眼(医学博士,≥−6 dB),中度青光眼(医学博士,−6.01−12.00 dB),或高级青光眼(医学博士,<−12 dB)。正常对照组个体自由从青光眼和其他临床相关的眼部条件如黄斑或施行视网膜疾病,包括外层膜、糖尿病视网膜病变、老年性黄斑变性等视网膜病变,可能会影响视网膜厚度。

卷云spectral-domain 10月(卡尔蔡司Meditec制造)进行使用6×6毫米²扫描协议集中在瞳孔放大后视神经头。10月Circumpapillary横断面图像得到3.46毫米直径圆的圆心在视神经的头上。每个扫描手动检查和排除,如果信号强度低于6或含有大量运动的文物。

在这项研究中,我们调查了使用甘斯生产的合成图像。从参与者进入新加坡学习网站(验证组84正常和84青光眼的眼睛和一个内部测试集70正常和70年的青光眼的眼)最初随机选择和使用预留DL的发展模式。眼睛从一个参与者不允许在不同的子集,并且参与者完全验证或内部测试集。剩余的990名健康眼睛和862青光眼的眼睛被用来开发2单独的氮化镓模型来生成合成正常或青光眼circumpapillary OCT图像。青光眼DL模型检测被训练使用完全真实的或合成图像。检测这些DL模型的性能进行评估的内部测试集和一个独立的外部测试集基于布加勒斯特数据。整个工作流的研究在eFigure 1提供补充。

图像合成,生成模型的类型被称为进步GAN (PGGAN)使用。³⁶甘斯使用对抗训练中生成的图像匹配的概率真实图像随着训练的进行,使用一台发电机,这需要在一个随机的潜在的噪声向量,和鉴频器,将图像作为真正的或合成。PGGAN包括增量添加层,它允许更稳定的训练来生成高分辨率合成图像。在这项研究中,一个输出图像分辨率为256×256像素定义。的发展在Pytorch PGGAN模型。PGGAN模型训练了大约72小时使用NVIDIA帕工作站(λ实验室)与4 t V100图形处理单元。

一次训练,潜在的向量作为输入提供给PGGAN模型生成一个合成图像,这种方法可以扩展到任意数量的生产合成图像。两个不同PGGAN模型,10月1代的正常图像和1代的青光眼10月图像,分别开发。

二百年10月的图像组成的真正的青光眼图像(n = 50),真正的正常图像(n = 50),合成青光眼图像(n = 50)和合成正常图像(n = 50)随机选择和被2手动评估专家临床医学家提供超过10年(专家1:R.S.C.)和20年(专家2:J.G.S.)的经验。专家们被允许查看图片的设置和时间方便。没有先验信息数据分万博manbetx平台首页布的临床医生,以避免任何偏见。这些照片是准备与输入数字分级形式对爬坡能力和真实性要求如下:(1)爬坡能力评价:本实验的目的是评估OCT图像的质量,包括真实的和合成图像,可分级的或nongradable和(2)真实性评价:2临床医生被要求确定10月出现真正的或合成图像。

评估是否合成图像使用正常的PGGAN模型生成和青光眼的眼睛足以用于训练DL算法,我们比较DL训练分类模型的诊断性能只与真实图像或合成图像。使用VGG 11 DL模型架构³⁷从头开始训练。随机梯度下降法优化学习速率为0.001,0.9,势头交叉熵损失函数和批处理大小为16。培训,早期停止耐心使用10倍和检查点与最佳性能验证数据集被保存为最终的模型。

DL分类模型基于真实图像被训练使用600正常眼睛和600青光眼的眼睛,从GAN训练数据随机抽样。DL模型训练与合成图像产生的氮化镓模型,不同大小的数据集被用来评估合成数据集大小对DL检测性能的影响。 总数据集大小1200,000,60 000年,000年和200年 使用氮化镓生成模型,与同等分裂生成的合成正常和青光眼的眼睛在每个数据集的大小。DL训练数据的摘要eTable 2中可以找到的补充。真实和合成图像DL模型测试和评估在看不见的真正的内部和外部的测试图像。为了避免任何偏见,PGGAN模型训练不包括任何的测试集的照片。基线曲线下的面积(AUC)评分得到使用circumpapillary青光眼检测视网膜神经纤维层厚度(cpRNFL)。

评估的分布生成的合成图像和真实图像,一个DL-based UNet分割³⁸模型被用来测量视网膜神经纤维层(RNFL)厚度层。此外,生成的图像真实图像的相似性是评估使用邻初始距离(FID)评分,³⁹FID得分越低,表明财富在更大的相似性。类激活地图(摄像头)⁴⁰生成和可视化为热量地图覆盖的OCT图像可视化区域影响DL的分类模型。

评价指标为青光眼检测AUC,敏感性和特异性。95%独联体使用引导集群生成intraeye参与者调整水平的相关性。由双向Delong AUC模型之间的差异进行对比测试,⁴¹与P被认为具有统计显著性值小于0。。比较各个模型之间进行P值并没有纠正为多个比较。所有的统计分析是使用Python和scikit-learn图书馆完成的。

共有1016名青光眼的眼睛从728年亚洲中国参与者和1144年的眼睛从806年亚洲中国正常对照组从新加坡注册网站,而150青光眼的眼睛从77年非西班牙裔白人参与者和150年的眼睛从83年非西班牙裔白人正常对照组为布加勒斯特的网站。进一步的特点参与者eTable 1中可以找到的补充。

图像爬坡能力的结果,评估的2临床医生,介绍了表1。图像质量评分由临床专家几乎是类似的:临床专家临床专家1 92.0%和93.0% 2。然而,合成图像有更好的图像质量评估与真实图像相比,这主要是因为很小的青光眼图像在现实图像数据集。此外,所有的合成图像生成的正常控制眼睛使用PGGAN方法可分级的。真实性评价的结果所示表2,类似的准确性分数51.8%临床专家1 51.3%,临床专家2,表明两个临床医生发现很难确定真实图像的合成图像。

青光眼检测DL模型提出了不同的性能表3。平均cpRNFL厚度导致基线内部测试数据集(AUC 0.92意味着(SD) cpRNFL:正常的眼睛,03.0[14.0]µm;青光眼的眼睛,0.83 71.4[17.7]µm)和外部测试数据集(意味着(SD) cpRNFL:正常的眼睛,103.0[8.7]µm;青光眼的眼睛,83.5[17.7]µm)。AUC DL模型训练的真实图像内部测试数据集是0.96和0.84的外部测试数据集,而AUC DL模型训练的合成图像范围从0.95到0.97的内部测试数据集和0.86到0.90的外部测试数据集。在外部测试数据集,表现最好的DL模型训练与合成图像(n = 200 000)导致更高的AUC为0.90 (95% CI, 0.87 - -0.93;P= .002)与DL模型(AUC), 0.84(95%可信区间,0.80 - -0.87))训练与实际图像。然而,在内部测试数据集,AUC成绩表现最好的DL模型训练与合成图像(AUC), 0.97(95%可信区间,0.95 - -0.99))并没有统计上的不同(P= 49)从DL模型(AUC, 0.96(95%可信区间,0.94 - 0.99))训练与实际图像。

样品的真实和生成的图片所示图(青光眼的眼)和eFigure 2的补充(正常的眼睛)。评估量化生成的合成图像与实际图像相似性,FID分数计算。²⁴4的合成数据集和增加数据集大小、FID分数范围从15.8到16.7为正常的眼睛,12.0到15.6 (eTable 2在青光眼的眼睛补充)。此外,摄像头视觉显示区域,导致生成各自的分类为DL网络。可以观察到,DL模型相对一致的真实和合成图像,主要地区通常位于颞circumpapillary伪劣区域的图像,主要在RNFL层,符合预期的地区青光眼的损害⁴²在凸轮用红色突出显示的地图(eFigure 4的补充)。

在这项研究中,我们开发和评估生成高分辨率的甘斯circumpapillary OCT图像正常,青光眼的眼睛。10月质量评价的结果表明,合成图像很难辨别真实图像的有经验的临床医生。当合成图像被用来训练DL青光眼模型检测,结果表明,青光眼检测性能模型的训练有足够的合成图像相当与一个模型训练使用真实的数据,在内部测试和外部测试数据集。深层网络的发展对青光眼检测基于综合生成circumpapillary OCT图像是一种史无前例的方法,据我们所知,还没有报道。这些发现表明生成逼真的合成图像的潜力为青光眼,深层网络的训练以及可能意味着privacy-agnostic机构之间的数据共享。此外,青光眼的技术目前的工作可能对DL翻译方法在遗传性视网膜疾病等罕见的疾病。

深模型很大程度上依赖于输入数据的数量和质量,提供更多的高质量的数据通常与改进的性能相关联。然而,大规模数据采集往往是资源密集型和涉及病人数据机密性的担忧,另一种模型,该模型有效地和有效地产生可用的数据为DL发展独立的约束是可取的。甘斯看到迅速增加对其产生现实的合成图像的能力。具体来说,PGGANs³⁶已报告在以前ophthalmology-related研究为referrable眼底图像的生成和nonreferrable年龄相关性黄斑变性¹⁵和10月黄斑扫描紧急和nonurgent推荐¹⁶眼睛的黄斑、脉络膜neosvacularization和糖尿病黄斑水肿。最近的一项研究也证明了使用合成图像生成前segment-OCT成像角度评估在青光眼。¹⁷之前的有前景的结果描述的方法在这些作品鼓励我们采取PGGANs在这项研究中。爬坡能力评估,整体图像质量评估的2临床医生是相似的。合成图像表现真实的图像的图像质量,很大程度上是因为真正的青光眼爬坡能力较差的图像。临床医生也同样在评估图像的真实性相比,这表明所生成的图像足够现实从真实数据难以辨别。

DL的发展模型的一个关键挑战是大型数据集的要求。虽然低射破门方法可以作为可行的策略来解决偏见与较小的数据集,通过更好的数据表示⁴³在这项研究中生成模型评估。我们生成的合成图像正常,青光眼的眼睛,数据集的大小从1200年到200年 000年和我们实验的结果表明,青光眼检测改进随着数据集的大小增加,实现类似性能的真实图像训练DL模型。FID分数(范围12.0 - -16.7),虽然适度高于价值报道了自然图像,³⁶提供了一个合成图像的质量。凸轮eFigure 3所示补充帮助识别分类的区域cpRNFL 10月正常扫描或青光眼的,并且它可以观察到,真实和合成图像,突出显示的区域是一致的,主要关注RNFL层上级伪劣区域。这个一般同意青光眼的破坏的模式,逐渐变薄的RNFL与青光眼的眼睛。^42,44

先前的研究^15,16业绩下降模型训练时完全集中在合成图像和真实图像进行测试。在我们的研究中,DL模型训练导致类似200 000合成图像分类性能的DL模型训练1200在内部测试真实图像数据集。DL的概括性评价模型在我们的研究中,我们评估了DL的性能模型在一个独立的外部数据集。我们观察时提高性能DL模型训练200 000合成图像外部数据集上进行了测试,与cpRNFL基线模型和青光眼检测模型训练的真实图像。时提高性能的可能的解释应用于外部数据集可能是提取甘内在特征空间,其次是使用特定于任务的培训提高了抽象的特征空间表征可概括的潜在空间青光眼的特点培训DL模型。然而,需要进一步的实验来更好地评估这更严格的方式。

两个单独的氮化镓模型正常和青光眼图像开发,和未来的研究可能涉及使用条件GAN-based模型来生成合成图像对特定的清规戒律和正常的眼睛在一个氮化镓模型。因为学习的潜在空间歧管甘斯,焦点变化发展的青光眼模型可能很难。虽然模型评估内部和独立的外部测试集,测试图像的数量相对较小,和研究更大的数据集,特别强调隐性混杂的情况下,将是有用的。只在视神经circumpapillary图像从10月(卷)。在这项研究中使用的方法也可以与其他10月的数据和在青光眼、黄斑这不是评估,也没有结合来自不同10月的数据的影响。然而,目前很难生成三维卷基于氮化镓的方法。这也是为什么我们包括circumpapillary 10月扫描而不是体积视神经头数据。合成图像还可以包含内在嵌入式特征不是视觉可感知的但可能偏见歧视的性能,这样的效果可能需要评估在研究结合实际和合成数据模型的发展。

合成circumpapillary OCT图像的评价青光眼临床专家和检测模型开发这些图像表明,甘斯可以生成现实的合成图像,可用于训练网络。合成图像生成与甘斯可能促进privacy-agnostic数据共享。

发表:2022年7月8日。

网上发表:2022年9月1日。doi:10.1001 / jamaophthalmol.2022.3375

相应的作者:达蒙Wong博士(damon.wong@ntu.edu.sg),利奥波德Schmetterer博士(leopold.schmetterer@seri.com.sg20),新加坡眼科研究所,大学路,学术界,6级,发现塔,新加坡,169856年。

开放:这是一个开放的分布式根据文章CC-BY许可证。©2022 Sreejith Kumar AJ et al。JAMA眼科。

作者的贡献:Drs Kumar和黄有完全访问所有的数据的研究,负责数据的完整性和数据分析的准确性。

概念和设计:Schmetterer Sreejith Kumar Ting,黄。

数据的采集、分析或解释:Crowston Sreejith Kumar Chong,蔡,侯赛因,Cheng昂,Popa-Cherecheanu, Schmetterer,黄。

起草的手稿:Sreejith Kumar昂,黄。

关键的修订手稿的重要知识内容:Crowston Sreejith Kumar Chong,蔡,侯赛因,Ting, Cheng昂,Popa-Cherecheanu, Schmetterer,黄。

统计分析:Sreejith库马尔,黄。

获得资助:程。

行政、技术或材料支持:Sreejith Kumar Crowston,蔡,昂,Schmetterer。

监督:Ting,昂山素季(Aung Popa-Cherecheanu Schmetterer,黄。

利益冲突的披露:吉拉尔博士是新加坡人工智能初创公司的创始人(深渊处理Pte Ltd),提供三维人工智能解决方案青光眼。程博士授予国家医学研究委员会报道,新加坡,在进行这项研究的。没有其他信息披露报告。

资金/支持:这项工作是由美国国立医学研究理事会(拨款CG / C010A / 2017 _seri OFLCG / 004 c / 2018 - 00,卫生部- 000249 - 00,卫生部- 000647 - 00,卫生部- 001001 - 00,卫生部- 001015 - 00,卫生部- 000500 - 00,和卫生部- 000707 - 00),新加坡国立研究基金会(赠款nrf2019 - the002 - 0006和nrf crp24 - 2020 - 0001), * *(格兰特A20H4b0141),新加坡南洋理工大学眼科研究所& (SERI-NTU高级眼部工程(立场)项目),和SERI-Lee基金会(格兰特LF1019-1)在新加坡。

资助者的角色/赞助商:资助者没有参与这项研究的设计和实施;的收集、管理、分析和解释数据;准备、审查或批准的手稿;并决定提交出版的手稿。