要点
问题深度学习如何用于脑肿瘤的分类和诊断?
发现在这项深度学习系统的诊断研究中，该系统使用来自37 871名患者的磁共振成像数据进行训练，在分类和识别脑肿瘤方面，该系统比神经放射学家表现得更好。在深度学习系统的帮助下，神经放射学家的准确率更高。
意义这些发现表明，深度学习可能有助于神经放射学家进行脑肿瘤的分类和诊断。
重要性深度学习可能能够使用患者磁共振成像(MRI)数据来帮助脑肿瘤分类和诊断。
客观的开发并临床验证一个深度学习系统，从患者MRI数据中自动识别和分类18种类型的脑肿瘤。
设计、设置和参与者这项诊断研究使用了2000年至2019年间从37 871名患者收集的MRI数据。开发并测试了基于T1、T2加权图像和T2 MRI造影序列的18种颅内肿瘤的深度学习分割分类系统。使用1个内部和3个外部独立数据集测试系统的诊断准确性。通过使用单独的内部测试数据集，比较神经放射学家在使用该系统和没有使用该系统的情况下的肿瘤诊断准确性，来评估该系统的临床价值。数据分析时间为2019年3月至2020年2月。
主要成果及措施评估了使用深度学习系统和不使用深度学习系统时，神经放射科医生临床诊断准确性的变化。
结果在37 871名患者中训练了深度学习系统(平均[SD]年龄41.6[11.4]岁;18 519名女性[48.9%])。对来自4个中心数据集的1339例患者进行18种肿瘤的诊断和分类，其受试者工作特征曲线下的平均面积为0.92 (95% CI, 0.84-0.99)。与神经放射科医生相比，在准确性和敏感性方面发现了更高的结果，在特异性方面也发现了类似的结果(天坛医院检测数据集中的300名患者:准确度为73.3% [95% CI, 67.7%-77.7%] vs 60.9% [95% CI, 46.8%-75.1%];敏感性,88.9%(95%可信区间,85.3% - -92.4%)和53.4%(95%可信区间,41.8% - -64.9%);特异性，96.3% [95% CI, 94.2%-98.4%] vs 97.9%;[95% ci, 97.3%-98.5%])。在深度学习系统的辅助下，神经放射医师在1166例患者中的平均准确率提高了12.0个百分点，从无辅助的63.5% (95% CI, 60.7%-66.2%)提高到有辅助的75.5% (95% CI, 73.0%-77.9%)。
结论与相关性这些发现表明，基于深度学习系统的自动化诊断可能与神经放射学家从MRI数据中改进颅内肿瘤的分类和诊断有关。
颅内肿瘤的病理范围很广。肿瘤的类型显著影响治疗过程和预后。治疗决策，包括手术、放疗和药物治疗，依赖于肿瘤的早期诊断和准确分类。1-3.
磁共振成像(MRI)和活检是诊断颅内肿瘤的常规手段，活检被认为是肿瘤类型分类的标准标准。4虽然活检是一种标准的做法，但因为它是侵入性的，所以也有相关的挑战。因此，通过MRI等非侵入性方法对肿瘤亚型进行识别和准确分类是非常必要的。然而，从MRI数据中识别肿瘤类型，特别是罕见类型一直具有挑战性，因为MRI扫描上多种肿瘤类型的表型相似。例如，从MRI扫描中区分原发性中枢神经系统(CNS)淋巴瘤样胶质母细胞瘤是具有挑战性的。5-7因此，通过MRI准确、可靠地术前确定肿瘤类型有助于快速临床决策和更好的治疗计划。
近9年来，随着放射组学和图像处理算法研究的快速发展，几种图像解译方法，特别是基于深度学习的方法，在医学领域显示出了潜在的实用价值。8从分割研究到放射基因组学研究，现代深度学习系统(dss)的应用已被发现在识别医学复杂模式方面具有显著优势。9-15研究还探索了DLS用于MRI扫描的肿瘤分割。16，172016年，Meier等人11提出了一种脑肿瘤分割系统。2017年，Young等人18开发了一种研究胶质母细胞瘤预后相关亚型的系统。与此同时，Kang等5为原发性中枢神经系统淋巴瘤的非典型表现开发了一套系统。
然而，据我们所知，之前没有研究探索多类别肿瘤的识别和分类任务，其中包括最常见的肿瘤类型，以及罕见的肿瘤类型。此外，大多数先前的研究都是在有限数量的患者中进行的，对于能够在多中心临床数据上取得良好性能的可推广系统的需求仍然没有得到满足。因此，我们研究了使用来自37 000多名患者的MRI数据训练的DLS对18种脑肿瘤分类的准确性和及时性，以提高MRI扫描脑肿瘤的诊断和分类准确性。
本诊断研究得到了中国北京天坛医院伦理委员会的批准。获得患者或患者合法授权代表的书面知情同意。
本研究回顾性分析了2000年至2019年在中国北京天坛医院收集的脑肿瘤患者的MRI数据。纳入标准为病理证实的单一脑肿瘤，并有预处理MRI扫描。肿瘤类型超过一种、MRI扫描质量较差、医学报告有类似肿瘤的情况(如梗死、感染和脱髓鞘)或未经书面知情同意的患者被排除。每个患者获取多个各向异性MRI序列，包括t1加权图像(T1WI)、t2加权图像(T2WI)和t1加权增强图像(T1C)。关于扫描仪类型和样本分布的更多详细信息见文献的表1补充．这项研究包括18种根据世界卫生组织(WHO)定义的中枢神经系统肿瘤。19标准。根据2016年WHO标准，在筛选和复查数据后，重新定义肿瘤。所有肿瘤的列表，以及它们的成像定义和示例图像，都在图表1和表2中补充．所选择的肿瘤亚型是根据其在临床环境中发生的频率来选择的。
真实肿瘤病变面具及类型的标记如下:病变面具由50名技术人员根据患者的MRI扫描、病理报告和电子健康记录进行标记。两名有超过18年经验的神经放射学家评估了标签口罩的质量。此外，在随机选择的纳入患者中，有四分之一(9468例患者[25.0%])在MRI扫描中标记准确的肿瘤区域，以精确定位肿瘤区域。这一标记过程的细节在方法1中补充．
为了独立测试所开发系统的肿瘤自动分类性能，按照上述方案分别从北京天坛医院、吉林大学附属医院、山西医院和301医院收集了1个内部和3个外部测试数据集。此外，为了评估提议的DLS辅助是否与神经放射科医生诊断准确性的提高相关，我们从北京天坛医院收集了一组单独的内部测试数据。2名神经放射科医生使用患者的MRI扫描、病理报告和电子健康记录对测试数据集进行真实诊断。
为了鉴别和准确分类脑肿瘤，我们开发了一种2阶段的DLS。完整的网络架构如图2所示补充．该架构的第1阶段设计为2维肿瘤分割网络，使用MRI序列的2维轴向切片分割与所有18种肿瘤相关的区域。分割后，将DLS的第2阶段设计为分类网络;使用第一阶段的肿瘤预测面具和原始MRI扫描，该网络将已识别的肿瘤分为18类中的1类。阶段1的分割网络使用肿瘤分割面具收集的数据进行训练，而分类网络则使用75%的训练数据进行训练。其余25%的数据保留为内部验证集，用于训练过程中的模型优化和超参数选择。训练数据的总体分布如图3所示补充， DLS训练的详细内容见补充．通过这种方式，使用训练好的DLS从测试数据集中对所有患者的肿瘤进行分割和分类。
在4个独立的测试数据集中，将所提出的DLS的肿瘤分类准确性与具有9至30年临床经验的神经放射医师(每家医院有2-3名神经放射医师)的诊断准确性进行比较。为了评估神经放射学家肿瘤分类准确性的提高，9名具有5至20年经验的神经放射学家被要求首先在没有DLS预测的情况下对肿瘤进行分类，然后在DLS预测的帮助下进行分类。支持本研究结果的数据可根据合理要求从通讯作者处获得。
通过绘制受试者工作特征(ROC)曲线并计算ROC值下面积(AUROC)来评估DLS的肿瘤分类性能。通过分类的准确性、敏感性和特异性进一步评估其表现。
使用平均准确性、敏感性和特异性比较DLS和神经放射学家在肿瘤分类性能上的差异，并使用二项检验进行统计评估。同时计算所有肿瘤类型的F1评分。根据Wilson评分区间公式计算95% ci，并根据需要进行连续性校正。
主要结果是有DLS辅助和无DLS辅助下神经放射学家诊断准确性的变化，并使用1样本精确数据进行统计评估t测试。一个Pvalue <。05被认为有统计学意义。所有的计算和统计分析都是使用Python 3编程语言3.22版(Python软件基金会)中的scikit-learn模块0.22版进行的。数据分析时间为2019年3月至2020年2月。
在37 871例患者中(平均[SD]年龄41.6[11.4]岁;训练数据集中包括18 519名女性[48.9%])，11 716名患者的数据被标记为精确的肿瘤面具，用于训练分割模型。训练数据集中患者年龄和肿瘤类型的分布见表3、表4和表5补充．4个试验数据集共纳入1339例患者(北京天坛医院:300例;吉林大学附属医院:71例;山西省医院:99例;301医院:869例)。为评估DLS援助而收集的内部测试数据集包括1166例患者。这些数据集的人口统计学特征载于表1，以及数字是病人流程图。此外，肿瘤类别在数据集中的分布见文献的表6补充．的表7给出了MRI制造商在测试数据集中的分布补充．
在北京天坛医院300例患者的试验数据集上，DLS的18类肿瘤分类准确率为73.3% (95% CI, 67.7%-77.7%)，比神经放射科医师的60.9% (95% CI, 46.8%-75.1%)的准确率高19.9% (表2)。DLS的敏感性和特异性分别为88.9% (95% CI, 85.3% ~ 92.4%)和96.3% (95% CI, 94.2% ~ 98.4%) (表1)，与神经放射学家的灵敏度和特异性分别为53.4% (95% CI, 41.8% ~ 64.9%)和97.9% (95% CI, 97.3% ~ 98.5)。从这些数字来看，DLS敏感性高于神经放射科医生，但DLS敏感性相似。因为敏感性是真阳性数除以阳性数，对于我们的目标来说，更高的敏感性值可能比特异性更重要。基线信息和该分析的万博manbetx平台首页更多细节将在表1而且表3．
文中给出了DLS在4个测试数据集上的分类性能表1．综上所述，在3个外部测试数据集上，根据数据集的不同，DLS的平均准确度、灵敏度和特异性分别为73.6% (95% CI, 70.5%-76.4%)至81.2% (95% CI, 70.4%-88.6%)、72.7% (95% CI, 62.1%-83.4%)至87.6% (95% CI, 81.0%-94.2%)和84.9% (95% CI, 76.3%-93.5%)至96.8% (95% CI, 93.0%-100.0%)。4个数据集中患者的DLS表现也通过平均AUORC为0.92 (95% CI, 0.84-0.99)进行可视化，每个脑肿瘤的AUROC如图3所示补充．对于每个肿瘤，DLS的平均诊断准确率(在DLS输出的前2个结果中)为85.1% (95% CI, 83.1%-87.0%)，灵敏度为84.2% (95% CI, 72.3%-93.2%)，特异性为99.1% (95% CI, 90.4%-100.0%)。DLS对每种肿瘤类型的分类性能在表4．
为了测试DLS与神经放射学家诊断表现的相关性，我们在常规临床环境中使用1166例患者的内部测试数据集进行了测试。该数据集分为9组，每组约130名患者;这9组由9名神经放射学家评估(每个神经放射学家1组)。神经放射科医生仅根据MRI特征对肿瘤进行诊断。接下来，再次对数据进行洗牌，神经放射科医生以DLS预测结果的可用性为参考进行肿瘤诊断。没有神经放射学家在随机分组后两次查看相同的数据。
在此分析中，DLS、无DLS辅助的神经放射学家和有DLS辅助的神经放射学家的性能以ROCs的形式呈现在图3中补充．有和没有DLS辅助的神经放射学家的详细表现呈现在表3．在没有DLS辅助的情况下，神经放射医师诊断18种肿瘤的平均准确率为63.5% (95% CI, 60.7%-66.2%)，灵敏度为63.8% (95% CI, 61.1% 65.8%)，特异性为95.3% (95% CI, 94.2% 96.1%)。当神经放射科医生能够获得DLS结果并对其诊断进行必要的修改和修正时，准确度提高到75.5% (95% CI, 73.0%-77.9%)，敏感性提高到81.4% (95% CI, 78.3% - 83.2%)，特异性提高到97.1% (95% CI, 96.4%-97.4%)。准确率提高了18.9%。
为了进一步分析诊断准确性的改善，在没有DLS分析帮助的情况下，基于神经放射学家的结果，将整个测试数据集细分为冲突和一致子集。前者包括诊断，其中一个DLS或评估者是错误的，而另一个是正确的。后者包括DLS和神经放射学家都错误的诊断(209例诊断[17.9%]，主要包括神经节细胞瘤、胚胎发育不良神经上皮肿瘤、血管周细胞瘤、淋巴瘤、成神经管细胞瘤和胶质瘤及其亚型)(见图4)补充)或两者均正确(631例诊断[54.1%])补充)。在冲突集中，当评估者单独做出错误诊断时，他们可以在DLS的帮助下参考神经放射学家分析的DLS结果后选择纠正自己的决定。在这项分析中，332例诊断(占总诊断的28.5%)被观察到存在于冲突子集;其中，DLS在219个诊断中是正确的(占冲突子集的66.0%)，神经放射学家在113个诊断中是正确的(34.0%)。在这些患者中，当神经放射学家在DLS的协助下，他们纠正了166例患者(占冲突子集的50.0%)的诊断，而其余53例患者(占冲突子集的16.0%)的神经放射学家忽略了DLS的建议。误诊未纠正的主要有:血管周细胞瘤型(24例[7.2%])、淋巴瘤(20例[6.0%])、成髓细胞瘤(4例[1.2%])、垂体腺瘤(3例[0.9%])、胶质瘤及其亚型(2例[0.6%])。
在这项诊断研究中，提出了一种用于从MRI扫描中自动分割和分类18种脑肿瘤的鲁棒DLS。该系统使用37 871例患者的大型训练数据集开发，并使用1个内部数据集和3个外部数据集(共包含1339例患者)测试其在肿瘤自动分类中的泛化性。结果表明，DLS在颅内肿瘤的识别和分类方面与有经验的神经放射科医生相匹配或超过。在肿瘤的自动分类中，DLS的分类准确率比有经验的神经放射学家高19.9% (60.9% vs 73.3%)。此外，该系统在协助神经放射学家诊断肿瘤方面的临床应用，还使用另一个1166例患者的独立内部测试数据集进行了评估。在提出的DLS的辅助下，神经放射学家的肿瘤分类准确率提高了18.9%(从63.5%提高到75.5%)。据我们所知，这是首批开发和验证临床可行系统的研究之一，该系统可自动辅助诊断18种类型的脑肿瘤。
从MRI扫描中分割脑肿瘤的任务已经被文献中的几个研究所尝试。20.-25然而，我们的研究比以前进行的研究更大，并且我们以不同的方式验证了我们的算法。据我们所知，这是第一个在多种类型的脑肿瘤(18种)上使用深度学习的大型研究，其中包含大量的训练诊断。研究结果表明，深度学习算法可能能够以较高的精度执行这一任务。在这项研究中，算法验证是独一无二的。我们的目标不仅是建立一个可靠的算法来检测脑肿瘤，而且还探索该系统在辅助神经放射学家方面的临床应用。我们进行了两次测试来评估DLS在不同情况下的性能。在第一个实验中，为了避免统计偏差，使用肿瘤类型分布近似相等的数据集评估DLS。该测试的目的是将DLS的性能与人类评估者的性能进行比较。第二个实验使用遵循脑肿瘤类型自然分布的数据集检查了DLS;它的目的是调查人类评估者是否可以在DLS的帮助下提高诊断的准确性。 These experiments complemented each other, and their findings suggest the practicality of applying a DLS in the clinical context.
在对DLS用于脑肿瘤自动诊断的评估中，DLS在所有测试数据集上都达到了较高的准确性。特别是，DLS的准确性高于所有有经验的神经放射学家的平均准确性。这些结果表明，DLS在脑肿瘤诊断方面可能能够达到与经验丰富的神经放射学家相当甚至更高的准确性。此外，DLS也可以比评估器更快地进行诊断。
在DLS辅助评估中，使用了一个不同的实验集来研究DLS如何帮助神经放射学家做出诊断决策。在这个数据集中，神经放射学家和DLS分别诊断肿瘤，然后神经放射学家在DLS的帮助下再次进行诊断。通过这种方式，神经放射学家可以使用DLS结果作为参考，试图提高整体诊断的准确性。研究结果表明，DLS可以整合到临床工作流程中，并帮助神经放射学家做出更准确的诊断。开发这种DLS的核心目标是帮助神经放射学家更准确地做出诊断。当然，有时DLS系统可能会误导神经放射科医生做出错误的诊断。我们和医生一起调查了这些诊断。得到的反馈是，他们对自己的诊断不自信，因为图像中没有足够的信息或独特的特征。万博manbetx平台首页通过大数据训练，本研究使用的算法达到了令人满意的精度水平，表明其有潜力作为临床实践的宝贵工具。
脑肿瘤患者的传统模式需要对病灶进行初步的放射学诊断，然后根据临床因素和外科医生或患者的偏好制定治疗计划。对于肿瘤，只有在有这些资源的中心进行活检和分子基因分型后，才能获得明确的组织病理学诊断。2这个过程通常很耗时。有了DLS，临床医生可以有机会在术前快速确定肿瘤类型，缩短治疗时间，获得宝贵的治疗时间，这与改善预后有关。此外，在全球各地神经放射专家有限的地方，DLS可能提供适应性的优势，因为它是使用广泛的中枢神经系统肿瘤数据开发的。
这项研究有几个局限性。所有的训练数据都是从一个中心获得的，使用多中心、多种族数据的训练可能与一个更通用、更健壮、更可靠的系统相关联。训练数据集中罕见肿瘤的数量相对较低，这种类别不平衡可能会对模型性能产生统计偏差。此外，所提出的系统仅使用轴向MRI切片进行训练。因此，在预测建模中包含不同的MRI视图和添加临床信息可能与系统性能的提高有关。万博manbetx平台首页在未来，所提出的系统可能会扩展到辅助治疗计划和功能预后。7，9
这项诊断研究提供了一个自动化、一致、可靠和强大的系统，可以高精度地诊断和分类18种类型的脑肿瘤，并帮助神经放射学家做出诊断。这些结果表明，DLS可能能够为医疗保健提供更准确的信息，并最终向改善肿瘤诊断迈出了一步。万博manbetx平台首页
接受出版:2022年6月16日。
发表:2022年8月8日。doi:10.1001 / jamanetworkopen.2022.25608
开放:这是一篇开放获取的文章，根据CC-BY许可证．©2022高鹏等。狗万体育下载地址JAMA网络开放．
相应的作者:江涛，医学博士，国家神经疾病临床医学中心，北京市丰台区南四环西路119号，100070 (taojiang1964@163.com）;吴振洲，医学博士，国家神经疾病临床医学中心，北京市丰台区南四环西路119号，100070 (joe.wu@biomind.ai)。
作者的贡献: Guo女士和Sheng Chan先生完全查阅了研究中的所有数据，并对数据的完整性和数据分析的准确性负责。高博士、单博士、王博士和郭女士对这项工作做出了同样的贡献，应该被视为共同第一作者。
概念及设计:高，山，郭，张，李伟，蒋，何，吴。
数据的获取、分析或解释:单，郭，王，孙，蔡，李宏，陈，刘，一，张，李伟，何。
文稿起草:高，山，郭，孙，李宏，张，李伟，何。
对重要知识内容的手稿的批判性修订:高，山，郭，王，蔡，陈，刘，一，张，李伟，江，何，吴。
统计分析:高，山，郭，王，孙，李华，刘，张，李伟，吴。
获得资助:Shan, Yi, W. Li。
支持:行政、技术或物质上的支持:郭伟，李伟，蒋，何。
监督:高，山，李宏，李伟，江，何，吴。
利益冲突披露:没有报道。
16.
Isensee f *， Kickingereder p *， Wick w*， Bendszus m*， Maier-Hein kh2 *。脑肿瘤分割和放射组学生存预测:对2017年顽童挑战的贡献。论文发表于:国际医学图像计算和计算机辅助干预脑损伤研讨会;2017年9月11-13日;魁北克,QC。