使用文本计算机断层扫描报告的自然语言处理来识别严重脑损伤的模型的开发和验证

要点

问题命名实体识别(NER)自然语言处理和解码模型能否提取计算机断层扫描头部扫描文本报告中描述的所有急性脑损伤的信息?万博manbetx平台首页

发现这项包括1152名患者数据的诊断研究发现，NER模型可以从放射文本报告中提取急性病理结果及其描述性诊断属性。

意义这些发现表明，头部放射学文本报告的大型数据集可以快速准确地分析，以推进各种损伤的调查，并有助于通过急性脑损伤住院患者的放射学特征。

重要性来自头部计算机断层扫描(CT)的临床文本报告代表了关于急性脑损伤和神经结局的丰富而不完全利用的信息。万博manbetx平台首页CT报告是非结构化的;因此，大规模提取信息需要自动化的自万博manbetx平台首页然语言处理(NLP)。然而，为每个损伤类别设计新的NLP算法是一个笨拙的命题。一个总结头部CT报告中所有损伤的NLP工具将有助于探索神经放射学发现的临床意义的大型数据集。

客观的目的:从头部CT报告中自动提取急性脑病理资料及其特征。

设计、设置和参与者本诊断研究开发了一个由两部分组成的命名实体识别(NER) NLP模型，用于从头部CT报告中提取和总结急性脑损伤的数据。该模型称为BrainNERD，提取和总结详细的脑损伤信息，用于研究应用。万博manbetx平台首页模型开发包括使用自定义术语字典(包括损伤类型、位置、大小和年龄)构建和比较2个NER模型，然后设计一个基于规则的解码器，使用NER输出来评估损伤亚型的存在与否。BrainNERD根据手动分类报告的独立测试数据集进行评估，包括2个外部验证集。该模型是在耶鲁急性脑损伤生物库的神经放射学家生成的1152名患者的头部CT报告上进行训练的。外部验证使用了2个外部机构的报告。分析于2020年5月至2021年12月进行。

主要成果及措施基于手动标记的独立测试数据集，使用精度、召回率和F1分数评估BrainNERD模型的性能。

结果共有1152例患者(平均[SD]年龄67.6[16.1]岁;586名[52%]男性)被纳入训练集。使用变压器架构和来自变压器的双向编码器表示的NER训练明显快于spaCy。对于所有指标，10倍交叉验证性能为93%至99%。NER测试数据集的最终测试性能指标，精密度为98.82% (95% CI, 98.37%-98.93%)，召回率为98.81% (95% CI, 98.46%-99.06%)，召回率为98.81% (95% CI, 98.40%-98.94%)F得分。专家评审比较指标精密度为99.06% (95% CI, 97.89%-99.13%)，召回率为98.10% (95% CI, 97.93%-98.77%)，召回率为98.57% (95% CI, 97.78%-99.10%)F得分。解码器测试集指标精密度为96.06% (95% CI, 95.01%-97.16%)，查全率为96.42% (95% CI, 94.50%-97.87%)，查全率为96.18% (95% CI, 95.151%-97.16%)F得分。外部机构报告验证(包括1053份负责人CR报告)的绩效大于96%。

结论与相关性这些发现表明BrainNERD模型准确地从头部CT文本报告中提取了急性脑损伤术语及其属性。这种免费的新工具可以通过整合容易收集的头部CT报告中的信息来推进临床研究，以扩展急性脑损伤影像学表型的知识。万博manbetx平台首页

急性脑损伤，包括缺血性中风、脑出血(ICHs)、蛛网膜下腔出血和创伤性脑损伤(tbi)，通常与发病率和死亡率相关，对患者及其家属都有影响。美国每年有超过100万人经历急性脑损伤。^1，2提高我们预测急性脑损伤并发症和长期结果的能力对于知情的医疗决策和最佳护理至关重要。调查人员越来越多地使用大型多机构数据集进行深入研究。

开发多机构数据集的一个主要障碍是有效和准确的数据提取和解释。放射成像在急性脑损伤中至关重要。这些图像中的特征^3.，4可以用机器学习(ML)技术进行分析，比如放射组学，^5，6图像分割,^7-9或者体积分析。^10，11然而，这些方法中的许多都不能广泛使用，并且需要专门的、高分辨率的图像和重要的图像处理基础设施。^12，13

放射学报告是由放射科医生总结临床影像学发现的自由文本报告，是关于影像学病理特征的丰富信息来源。万博manbetx平台首页然而，人工检查成像报告效率低下，容易出现人为错误。自然语言处理(NLP)使用ML技术来识别文本中的关键发现，在放射学报告评估的研究中越来越受欢迎。^14-16几乎每个急性脑损伤住院患者都要进行头部计算机断层扫描(CT)，生成数千行文本。随着对多中心患者数据的访问扩展，NLP可能成为从非结构化神经放射学报告中引出关键数据的越来越重要的手段。

命名实体识别(NER)是一种用于从自由文本中提取关键字的NLP技术。^17-20.单词、短语和数字是可以描述损伤、大小和位置的“实体”，并且适合使用ML算法进行分析。一个例子是EdIE-R系统，^21，22使用人工智能NER和基于爱丁堡中风研究报告的规则系统开发，以识别缺血性和出血性中风。该模型的输出仅限于少量与中风相关的实体，限制了其在其他神经系统疾病中的应用。在神经放射学中使用NLP技术的其他尝试同样集中在单一疾病上。^23-25一些研究专注于“正常”和“异常”报告的简单分类方案，没有进一步的粒度，如损伤位置、大小和慢性程度，^26，27从而限制了它们在详细研究损伤特征方面的实用性。将获取大量放射学报告数据集与大型、全面的NER字典结合起来，可以产生一个准确而灵活的NLP系统，能够提取和评估广泛的急性脑损伤表型。²⁸

我们的目标是使用NER和我们命名的基于规则的解码器构建一个公开可用的、新颖的、由两部分组成的NLP模型BrainNERD．我们假设BrainNERD可以从头部CT报告中准确地检测和提取大量关于脑损伤及其特征的信息，如大小或位置，用于各种研究应用。万博manbetx平台首页

BrainNERD包含两个部分:NER模型和基于规则的解码器模型。这项诊断性研究是对耶鲁急性脑损伤生物库前瞻性收集数据的回顾性分析，并得到了耶鲁机构审查委员会以及所有贡献数据的机构的批准，但放弃了知情同意，因为该研究没有对患者构成任何风险，也没有提供任何将数据与患者联系起来的可识别信息。万博manbetx平台首页本报告符合《诊断准确性报告标准》(标准)预测模型开发和验证的报告指南。

我们的衍生数据集包括耶鲁大学急性脑损伤纵向研究中1152名成年患者的3361份头部CT平扫报告。该数据库包含自2017年以来在耶鲁大学纽黑文医院神经科学重症监护室因急性脑损伤住院的4000多名患者的临床和人口统计数据。急性脑损伤患者在急性住院期间进行了头部CT扫描。

我们使用来自麻省总医院(MGH)的500份头部CT报告和来自威斯康星大学(UW)的553份头部CT报告对我们的模型进行了外部验证。MGH报告包含了患有神经系统疾病和全身性疾病的入院患者。华盛顿大学的队列包括急性脑损伤患者，与耶鲁大学的队列相似(前3名诊断:缺血性中风、脑外伤和脑出血)。

我们使用正则表达式算法去识别所有头部CT报告，删除文本中所有带有患者标识符的关键字和短语，使用Python软件3.7版(Python software Foundation)。在手工标记过程中确认完全去识别。

我们创建了一个自定义字典，将实体分为5个主要类别:损伤、大小、位置、时间和其他。每个实体中的实体和术语由委员会认证的急症护理神经学家(G.E.G.和J.A.K.)定义。另一类包括否定、不确定性和结束线(即“。”)术语。

为了帮助手动分配每个实体，我们使用了一个开源软件TagEditor，²⁹这允许用户预定义实体，并根据其实体类别标记或标记文本中发现的字典术语。我们在2轮审查中将数据分配给5名训练有素的注释人员(每轮20%的训练数据)，以减少错误标注错误并识别字典中缺失的术语。所有数据均由至少1名神经科医生(g.e.g.或J.A.K.)复查。差异由1名神经学家(J.A.K.)判定。

我们构建了2个NER系统来部署我们的NLP模型。我们使用spaCy版本2.3.2，一个来自Explosion和Pytorch (Meta AI)的开源Python库，来训练和部署我们的第一个NLP模型。^30.该体系结构³¹不是开源的，但被描述为类似于文档分类的分层注意力网络。³²我们的第一个NER模型基于使用固定超参数集进行标记、标记和解析的spaCy管道。鉴于变压器架构使用的增加，³²我们使用spaCy库构建了第二个NER模型，该库集成了来自变压器的双向编码器表示。³³来自变压器架构的双向编码器表示使用了注意机制³⁴改进了传统的递归神经网络的序列对序列方法³⁵通过理解上下文中的语言，这是传统的序列对序列方法无法做到的。我们能够在数据中比较这两种模型架构的性能。

基于句子的评估从3361个CT扫描中得出46 275个句子(包括不表明损伤的发现和异常发现)。我们将每个报告和患者的数据集分割为2521个ct(34 706句话(75%))用于训练，将840个ct(11 568句话(25%)用于测试。我们的训练集被分割为10倍交叉验证，用于参数优化和实体性能的中期评估。交叉验证后，使用整个训练数据集创建最终模型(图1)．测试集被分成两个相等的部分，一部分比较基于我们的字典的手动标记，另一部分用于评估我们的模型与专家评审(由J.A.K.执行)的性能。

最终的模型性能评估在我们的测试和外部数据集使用精度，召回和F分数的措施。精度计算为真阳性/(真阳性+假阳性)。召回率计算为真阳性/(真阳性+假阴性)。F评分按2 ×(精密度×召回率)/(精密度+召回率)计算。

我们创建了自定义函数，以2个矩阵或表格格式导出数据，以提供灵活性。一种格式使用2列，称为我们的格式长格式．另一种格式每列使用一个实体，称为我们的格式宽格式．

我们使用了前面提到的10个交叉验证折叠(271个报告)中的1个来构建我们NLP模型的第二部分。来自NER模型的长格式数据输出作为我们解码器模型的输入。该模型的目的是在CT报告的结果和解释部分中总结每种损伤类型的存在、不存在或可能性。由于分类模型是基于规则的，我们使用了较小的训练数据集来避免过拟合。因此，75份报告(713句)被随机指定为训练数据，196份报告(1746句)被指定为测试数据。每个报告都包含大量存在或不存在伤害的情况，从而可以使用强大的数据集对每种伤害类别的存在或不存在进行分类。这与其他只将报告分类为“正常”或“异常”的模型不同。我们的目标是提供更详细的损伤分类和描述。

我们选择了一组具有代表性的伤害实体类别。分类为出血、脑卒中、脑积水、手术干预、疝出、肿块效应、中线移位、水肿、液体、病变、气脑、血管畸形、密度(包括高、低、混合、未分化)。

为了验证我们分类模型的准确性，2名训练有素的研究助理(A.J.O.和S.M.C.)和2名神经危重症护理高级实践临床医生(A.R.和E.G.)分别标记了50%的数据。所有数据均由医生(G.E.G.和J.A.K.)判定。每一份报告都根据损伤是阳性的、可能存在的(例如，“可能代表一种[情况]”)、不存在或未提及进行标记。适用规则如下:(1)如果某一伤害在一份报告中被多次提及，则使用最积极的术语，即“积极”大于“可能存在”，“可能存在”大于“不存在”或“未提及”;(2)如果提及最近发生的损伤(如演变的梗死、稳定的出血)，则该损伤标记为阳性;(3)模型忽略慢性疾病(如小血管缺血性疾病、萎缩)和颅外损伤的描述。

对于每个报告，默认标签被设置为未提及。分类模型将来自NER模型的长数据输出分离为单个句子。然后，它遍历句子中的每个文本实体对，并搜索损伤实体的存在。当分类模型检测到损伤时，它会更新该术语的标签。如果损伤项没有否定项或不确定性项，则损伤被标记为阳性。如果句子之前包含否定，那么它就被标记为否定。如果只提及不确定项，则标记为可能存在(图2)．这种两步方法的使用有助于克服正则表达式的限制。³⁶

F基于每个损伤类别的正确分类，使用评分、精度和召回值来评估我们的分类模型性能。我们通过自举方法计算95%的ci(重新采样:NER, 5000句;解码器，100份报告;迭代,1000)。模型性能分析在2020年5月至2021年12月期间进行。该模型的代码可以在其他地方公开获得。³⁷所有用于训练和测试的CT数据均可根据要求提供。

共有1152例患者(平均[SD]年龄67.6[16.1]岁;586名[52%]男性)被纳入训练集。其中，原发性诊断为缺血性脑卒中566例(50.4%)，脑出血366例(29.9%)，蛛网膜下腔出血112例(10.0%)，TBI 37例(3.3%)，IVH 14例(1.2%)，TIA 43例(3.8%)，加上14例(1.2%)脑卒中模拟物为阴性样本(表1)补充)．

我们最终的自定义字典由64个实体和469个术语组成。实体被分为5大类:损伤程度、程度、位置、时间和其他(图3一个)。

我们使用了10个 000个交叉验证来测试模型并细化实体类别中的术语。10次交叉验证中的每一次的性能为93%至99% (表格)．我们的最终spaCy NER模型在一半独立测试数据集上的精度表现为98.82% (95% CI, 98.37%-98.93%)，召回率为98.81% (95% CI, 98.46%-99.06%)，召回率为98.81% (95% CI, 98.40%-98.94%)F得分。我们还由神经密集科医生(J.A.K.)使用另一半测试数据集进行了专家回顾错误分析，其中所有损伤及其特征都被标记为超出字典限制的临床设置。专家比较的精密度得分为99.06% (95% CI, 97.89%-99.13%)，召回率得分为98.10% (95% CI, 97.93%-98.77%)，召回率得分为98.57% (95% CI, 97.78%-99.10%)F得分。这些分数表明，与传统的健康记录审查相比，在我们的机构设置中准确提取了相关术语。

变压器NER模型在测试数据集上的精度为97.50% (95% CI, 97.49%-97.52%)，召回率为99.32% (95% CI, 99.29%-99.34%)，召回率为98.40% (95% CI, 98.39%-98.43%)F得分。变压器模型专家比较测试数据集的精密度得分为98.60% (95% CI, 98.58%-98.63%)，召回率得分为99.10% (95% CI, 99.06%-99.13%)，召回率得分为98.83% (95% CI, 98.82%-98.87%)F得分。因此，NER模型的性能没有差异。然而，模型训练时间有显著差异:spaCy模型需要40小时(2个V100图形处理单元[gpu;NVIDIA])，而变压器模型需要4小时(1 V100 GPU)。这种显著的效率提升可能与底层转换器架构有关，以便更好地使用GPU并行化。³⁸的表2中报告了每个实体类别的NER性能补充．

为了确定我们的模型是否过度拟合我们的机构特定术语，我们在2个外部数据集(MGH和UW;表格)．MGH数据的spaCy模型精度为98.51% (95% CI, 97.91%-98.89%)，召回率为98.40% (95% CI, 97.89%-98.63%)，召回率为98.95% (95% CI, 98.42%-99.08%)F变压器模型精度为99.16% (95% CI, 99.14% ~ 99.19%)，召回率为98.75% (95% CI, 98.73% ~ 98.78%)，召回率为98.95% (95% CI, 98.91% ~ 98.96%)F得分。对于UW数据，spaCy模型的精度为96.31% (95% CI, 95.39% ~ 96.91%)，召回率为96.87% (95% CI, 95.65% ~ 97.19%)，召回率为96.59% (95% CI, 95.48% ~ 97.13%)，变压器模型的精度为97.71% (95% CI, 97.70% ~ 97.74%)，召回率为98.70% (95% CI, 98.67% ~ 98.73%)，召回率为98.20% (95% CI, 97.17% ~ 99.21%)F得分。

以简单的格式提取实体及其术语对于BrainNERD的可用性至关重要。为了在上下文中直观地检查NER输出，我们使用模型自动标记报告以供审查(图3B)。我们还为每个报告生成长和宽两种输出格式(表格3)补充)以提高终端用户的灵活性。

我们根据手工标记的数据评估分类模型。为了评估业绩，未提及的和有关的负面类别被认为是平等的。使用spaCy NER输出的分类模型精度为96.06% (95% CI, 95.01%-97.16%)，召回率为96.42% (95% CI, 94.50%-97.87%)，召回率为96.18% (95% CI, 95.151%-97.16%)F得分。使用变压器NER输出的性能指标几乎相同，精度为95.90% (95% CI, 94.28%-97.45%)，召回率为96.23% (95% CI, 94.50%-97.56%)，召回率为96.00% (95% CI, 94.39%-97.44%)F得分(表4在补充)．外部验证的精度为93.40% (95% CI, 91.41%-95.30%)，召回率为92.76% (95% CI, 90.38%-94.88%)，召回率为92.84% (95% CI, 90.76%-94.93%)F得分。

我们公开的BrainNERD模型的最终输出是为基于结构化查询语言的查询而设计的，以促进研究应用。例如，如果一个研究团队有数千份CT报告，他们希望在其中识别具有特定损伤模式的报告，例如伴有水肿但没有出血的缺血性中风，那么一个简单的查询就可以识别相关报告(图4A).第二种应用是总结在特定的兴趣队列中发现的所有损伤(图4B)。

这项诊断研究发现，在64个主要实体的保护下，我们的BrainNERD模型准确地捕捉了头部CT报告中所有临床相关的急性脑损伤信息，为未来的应用提供了广泛的范围。万博manbetx平台首页广泛的字典允许使用现成的NER方法的新应用准确提取相关损伤及其特征，然后是有效总结这些损伤的解码器模型。通过利用NLP，我们消除了以前需要的繁琐的、资源密集型的手动提取。据我们所知，此前没有任何出版物从神经影像学报告中开发出如此广泛而详细的脑损伤描述性输出。因此，对广泛的脑损伤(及其组合)感兴趣的研究人员将能够灵活地使用我们的BrainNERD工具，而不是局限于一小部分损伤。我们的研究结果表明BrainNERD可以用于将CT报告文本整合到未来的研究工作中。

与以往大多数涉及神经放射学扫描的NLP工作不同，该工作侧重于识别单个或少数损伤(如缺血性中风)，^{22，23，25-27，38}我们的目标是创建一个NLP系统，可以广泛应用于描述所有形式的急性脑损伤。我们认为BrainNERD的主要优势来自于我们描述头部CT急性脑损伤特征的大型术语词典。这个庞大的字典使我们的模型能够提取许多不同的、颗粒状的、高水平的损伤特征，如果没有专家的输入，这些特征可能会被遗漏。

虽然NER输出(第一部分)可以直接用于研究探索，但我们试图通过创建一个可以查询感兴趣损伤的解码器模型，使输出更容易访问。例如，使用BrainNERD，我们可以区分伤害存在的确定性(当前vs可能)或不存在。我们还可以提取描述损伤的相关属性，包括大小、位置和慢性程度。例如，我们的系统可以在报告语句中识别以下假想实体:“急性”、“右侧”、“5毫米”、“硬膜下”和“出血”。

鉴于可检测表型和修饰因子的特异性和范围，BrainNERD可用于多种应用。如前所述，它可以用于搜索和过滤特定的不同损伤表型，如大小或位置。一旦确定，这些患者可以组成一个新的队列进行分析。或者，研究人员可以导出并统计预先定义的患者队列中的所有损伤信息。万博manbetx平台首页BrainNERD输出也可以用来自动生成常见的成像评分(例如，马歇尔评分，鹿特丹评分，修改费雪量表)。因此，BrainNERD输出为神经放射学报告中包含的信息的可靠使用提供了多种选项。万博manbetx平台首页BrainNERD可用于原始成像数据分析不可用时或补充成像模型。

有两个主要的NLP库能够进行深度学习检测和提取表型信息，以处理放射学报告的语言:spaCy和自然语言工具包(NLTK)。万博manbetx平台首页³⁹我们基于一些可感知的优势选择了使用spaCy。⁴⁰这些库之间的主要区别之一是spaCy使用word2vector模型，而NLTK不使用。此外，通过提供开箱即用的管道、公式和代码，spaCy库更易于部署。⁴¹最后，与NLTK相比，spaCy在许多方面具有更快的性能。⁴²

本研究有一定的局限性。虽然我们的模型比以前的方法有很多优势，但也有一些明显的局限性。我们基于最大的数据集之一开发了一个大型术语词典，用于构建神经放射学报告的NLP模型。所有培训数据报告均来自1个机构。为了避免在不同机构使用的一些术语中存在潜在的差异，我们测试了两个具有高性能的外部验证测试集。最终，一个大型的、多机构的合作，包括来自门诊病人的报告，将使我们能够充分测试我们系统的灵活性。我们的研究的第二个局限性是我们使用了一种有监督的、基于字典的ML和NER形式。我们没有探索替代的、无监督的或半监督的方法进行比较。创建这部大型词典本身就很耗时，需要神经学家和研究人员大量投入，以优化潜在术语的组织和捕获。我们使用这种方法来创建与急性脑损伤相关的高度详细和具体的结果。 Overall, the effort of creating the dictionary was small compared with the effort needed to collate large cohorts for projects through manual health record review. Now that we have extensively developed and tested our model, we hope it can easily be used by researchers for future analysis and decrease future effort. Third, while the classification model (part II) enhances our ability to summarize the data output from the NER (part I), our classification model is dependent on the NER output, so any errors are propagated. In the future, we hope to expand our model to other forms of radiology reports, such as CT angiogram and magnetic resonance imaging reports, to broaden the scope of neuroradiologic findings, using BrainNERD as a prototype.

这项诊断研究的结果表明，BrainNERD提供了一种新的、公开的工具，允许研究人员利用头部CT报告中包含的丰富文本信息。万博manbetx平台首页据我们所知，通过识别广泛的脑损伤，BrainNERD是第一个可以用于测试头部CT文本报告中各种假设的系统。该模型的自动提取显著提高了在大型多机构研究中以快速和资源高效的方式调查射线标记物的可行性。

接受出版:2022年6月20日。

发表:2022年8月16日。doi:10.1001 / jamanetworkopen.2022.27109

更正:这篇文章于2022年9月29日被更正，以修复Payabvash博士名字中的错误。

开放:这是一篇开放获取的文章，根据CC-BY许可证．©2022 Torres-Lopez VM et al.。狗万体育下载地址JAMA网络开放．

通讯作者:Jennifer A. Kim，医学博士，神经学系，耶鲁大学，纽约街15号，LLCI 1004B，纽黑文，康涅狄格州06520 (jennifer.a.kim@yale.edu)．

作者的贡献: Torres-Lopez先生和Kim博士可完全查阅研究中的所有数据，并对数据的完整性和数据分析的准确性负责。Mr Torres- Lopez Rovenolt女士是共同第一作者。

概念及设计:Torres Lopez Rovenolt Olcese Payabvash Sheth Westover Kim

数据的获取、分析或解释:Torres Lopez, Rovenolt, Olcese, Garcia, Chacko, Robinson, Gaiser, Acosta, Herman, Leary, Kuohn, Soto, Zhang, Fatima, Falcone, Payabvash, Sharma, Struck, Kim。

文稿起草:Torres Lopez Rovenolt Olcese Garcia Robinson Leary Payabvash Westover Kim

对重要知识内容的手稿的批判性修订:Torres Lopez, Rovenolt, Olcese, Chacko, Gaiser, Acosta, Herman, Kuohn, Soto, Zhang, Fatima, Falcone, Payabvash, Sharma, Struck, Sheth, Westover, Kim。

统计分析:托雷斯·洛佩兹，奥尔塞斯，加西亚，帕亚布瓦什，威斯多弗，金。

支持:行政、技术或物质上的支持:托雷斯·洛佩兹，罗文诺尔特，罗宾逊，阿科斯塔，利里，法尔科内，帕亚布瓦什，斯特莱克。

监督:托雷斯·洛佩兹，罗文诺尔特，谢思，韦斯特沃，金。

利益冲突披露:法尔科内博士报告说，在提交的工作之外，他还获得了美国国立卫生研究院(NIH)和美国心脏协会(AHA)的资助。Sheth博士报告说，他获得了NIH、AHA、Hyperfine和Biogen的资助;来自Cerovasc的个人费用;在Zoll Medical的数据安全监测委员会任职;以及在提交工作之外拥有阿尔瓦的股权。没有其他披露的报道。

资金/支持:法尔科内博士得到了美国国立卫生研究院(NIH)的支持。K76AG059992和R03NS112859)，美国心脏协会(资助号18IDDG34280056和817874)，神经危重症护理协会研究奖学金和试点资助。Payabvash博士获得了美国国立卫生研究院(NIH)的资助。K23NS118056)， Doris Duke慈善基金会(批准号2020097)，美国神经放射学会基金会。斯特克博士接受了美国国家卫生研究院(NIH)的资助。R01NS111022、R01NS117568和R01NS120976)和莉莉基金(ACH 15170)。Sheth博士得到了美国国立卫生研究院国家神经疾病和中风研究所的支持。U01NS106513, R01NS11072, R01NR018335, R03NS112859, U24NS107215，和U24NS107136)， AHA(批准号17CSA33550004)和耶鲁大学Claude D. Pepper老年美国独立中心(批准号:17CSA33550004)。P30AG021342)。在这项研究中，Westover博士得到了格伦医学研究基金会和美国衰老研究联合会的支持，获得了老年学突破拨款，获得了美国睡眠医学学会的支持，获得了美国睡眠医学学会基金会战略研究奖，获得了国防部的支持，获得了Moberg ICU解决方案的分包合同，获得了NIH的资助(资助号为1R01NS102190, 1R01NS102574, 1R01NS107291和1RF1AG064312)。 Dr Kim was supported by the NIH (grants No. K23NS112596, 1R01NS117904), American Academy of Neurology Clinical Research Training Scholarship, and Swebilius grant.

资助者/发起人的角色:资助者在研究的设计和实施中没有任何作用;数据的收集、管理、分析和解释;手稿的准备、审查或批准;并决定将手稿提交出版。