要点
问题新生儿啼哭声学能否作为新生儿阿片类药物戒断综合征(NOWS)的客观生物行为标志物?
发现在这项涉及65名接触或未接触阿片类药物的新生儿的队列研究中,有监督的机器学习方法确定了一组哭声声学参数,可以准确预测哪些婴儿接受了NOWS药物治疗,曲线下面积为0.90,准确度为0.85,敏感性为0.89,特异性为0.83。
意义这些结果表明,使用机器学习的声哭分析有可能作为衡量新生儿阿片类药物戒断的指标。
重要性新生儿阿片类药物戒断的评估,或新生儿阿片类药物戒断综合征(NOWS),是有问题的,因为目前的评估方法是基于主观的观察员评级。哭泣是NOWS评估工具的一个独特组成部分,可以使用声学分析客观地测量。
客观的评价使用新生儿啼哭声学(声学指声音的物理特性)作为NOWS客观生物行为标志物的可行性。
设计、设置和参与者这项前瞻性对照队列研究评估了新生儿哭声的声学分析是否可以预测哪些婴儿将接受NOWS的药物治疗。2016年8月8日至2020年3月18日期间,从罗德岛妇女和婴儿医院招募了177名暴露于阿片类药物和未暴露于阿片类药物的足月新生儿。处理了118例新生儿的哭声记录,65例新生儿被纳入最终分析。使用Finnegan新生儿禁欲评分工具监测暴露于阿片类药物的新生儿的NOWS迹象,每3小时进行一次,作为5天观察期的一部分,在此期间连续录制音频以捕捉哭泣。在出院前的常规处理(如换尿布)中记录健康新生儿的哭闹情况。
曝光主要暴露为产前阿片类药物暴露,由母亲接受美沙酮或丁丙诺啡药物辅助治疗确定。
主要成果及措施新生儿按产前阿片类药物暴露和出院前接受NOWS药物治疗进行分层。总共收集了775小时的音频,并将其剪辑成2.5小时的可用叫声,然后进行声学分析(使用2个独立的声学分析仪)。交叉验证的监督机器学习方法(结合Boruta算法和随机森林分类器)用于识别相关声学参数并预测NOWS的药物治疗。
结果最终分析包括65名新生儿(平均[SD]出生时胎龄为36.6[1.1]周;36名[55.4%]女性;50[76.9%]白色),有可用的哭泣记录。其中,19名新生儿接受了药物治疗,7名新生儿接触了阿片类药物,但没有接受药物治疗,39名健康新生儿没有接触阿片类药物。随机森林分类器预测的平均值预测接受药物治疗的NOWS具有较高的诊断准确性(曲线下面积,0.90 [95% CI, 0.83-0.98];精度,0.85 [95% CI, 0.74-0.92];灵敏度,0.89 [95% CI, 0.67-0.99];特异性,0.83 [95% CI, 0.69-0.92])。
结论与相关性在本研究中,新生儿声哭分析有可能作为阿片类药物戒断的客观测量。这些发现表明,使用机器学习进行声哭分析可以改善NOWS的评估、诊断和管理,并促进对这些婴儿的标准化护理。
怀孕期间使用阿片类药物的比例已经达到流行病的程度,在过去10年里增长了242%,1导致新生儿阿片类药物戒断综合征(NOWS)的患病率增加,也被称为新生儿戒断综合征。2,3.NOWS是一个重大的公共卫生问题,从2004年的每千名新生儿1.6例增加到2016年的每千名新生儿8.8例,4相关医院费用从2000年的1.9亿美元增加到2009年的7.2亿美元。临床表现反映阿片受体的表达5包括中枢、自主、呼吸和胃肠系统功能障碍(例如,震颤、过度和/或高音调哭泣、呼吸和肠道问题)。6
对NOWS的关注突出了对这种疾病的评估和管理,其影响范围从立即使用药物治疗到随后的发展7,8和生存。9在缺乏生物标志物的情况下,NOWS的治疗是基于观察者评分量表来评估NOWS的严重程度和药物治疗的需要。直到最近,NOWS评估的金标准一直是芬尼根新生儿禁欲评分工具(FNAST)。10FNAST包括21个项目(得分范围为0-46,得分越高表明脱瘾症状越严重),是作为评估NOWS严重程度和指导药物治疗的临床辅助手段开发的。尽管美国95%的机构都在使用FNAST,包括各种改进,11-13文献中充满了对FNAST的沮丧和不满,包括长度,14,15主体性,16有效性和可靠性17该工具和需要打扰婴儿进行正式的评估。18还有人担心,FNAST高估了药物治疗的必要性,包括了可能没有临床意义的体征,导致住院时间和住院费用增加。18
饮食,睡眠,控制台(ESC)护理工具18,19是作为FNAST的替代品开发的,目的是减少药物治疗。ESC专注于非药物策略作为NOWS婴儿的一线治疗。如果婴儿符合睡眠、饮食和安慰的标准,则不启动或升级药物治疗。研究人员使用ESC工具的早期报告在减少药物干预的使用和缩短住院时间方面是有利的;然而,大多数研究都是回顾性的,很少有心理测量数据可用,并且没有证据表明一种方法比另一种方法更好。20.
哭泣在FNAST和ESC工具中都是一个独特的组成部分,但在FNAST上是最不充分测量的症状之一21因为医疗保健专业人员必须判断婴儿的哭声是否尖锐(没有明确的定义)和/或婴儿是否无法安慰。不可安慰性也是ESC的3个标准之一。最近,一个负责制定NOWS标准化临床定义的专家小组将过度哭泣确定为支持诊断的5个临床指标之一。22哭泣对评估NOWS可能很重要,因为婴儿的哭泣特征通过脑干(颅神经IX-XII)的参与反映阿片受体的表达,影响声道、呼吸和肠道。23此外,哭声声学(定义为声音的物理特性)的变化与应激反应系统相关的基因表达有关。24这些途径不仅决定了哭泣的调节行为,如安慰性,而且决定了哭泣的声学特征(如音高),其中许多特征不能被人类的感知(即听觉)检测到,但可以客观可靠地测量,并反映出退缩的病理生理特征。
本队列研究的目的是评估使用新生儿哭声声学作为NOWS的客观生物行为标记的可行性。我们应用了机器学习方法来评估声哭特征预测药物治疗的准确性。
这项前瞻性对照队列研究检查了声哭特征与接受药物治疗之间的关系。这项研究得到了罗德岛妇女和婴儿医院机构审查委员会的批准。获得书面知情同意;在经过训练的研究人员在场的情况下,母亲们在审查了同意书后代表婴儿提供了同意。母亲同意产前,分娩后,或新生儿之前的任何时间将符合新生儿禁欲综合征的诊断标准;在医院工作人员确认母亲有能力提供知情同意后才同意。本研究遵循《加强流行病学观察性研究报告》(选通脉冲)队列研究报告指南。
2016年8月8日至2020年3月18日期间,在妇婴医院共招募了177名足月新生儿(图见补充).由于COVID - 19隔离,数据收集已终止。纳入标准为(1)出生时妊娠37周以上的新生儿,(2)讲英语或西班牙语的父母年龄在18岁或以上且能够给予知情同意,(3)接受美沙酮或丁丙诺啡药物辅助治疗(MAT)的母亲,或(4)未接受药物辅助治疗但在怀孕期间未使用任何非法物质的母亲。排除标准为(1)未接受MAT且在怀孕期间使用任何非法物质的母亲;(2)患有败血症、重大先天性异常或遗传疾病的新生儿或在新生儿重症监护室接受护理的新生儿。
从电子病历中收集人口统计和医疗信息。万博manbetx平台首页暴露于阿片类药物的新生儿由训练有素的护理人员每3小时使用FNAST监测5天的NOWS迹象。当连续2次评估的FNAST评分为8分或更高或单次评估的FNAST评分为12分或更高时,开始进行药物治疗(吗啡)。5天内未达到药物治疗标准的新生儿出院。在常规处理过程中观察健康新生儿(如换尿布、洗澡或喂食)。
婴儿的哭声被记录下来,方法是将一个带有全向麦克风的数字音频记录器安装在婴儿床一侧的一个标准化位置上,朝向婴儿的嘴巴。对于暴露于阿片类药物的新生儿,记录从5天观察期开始一直持续到婴儿出院;在此期间,自发的和引起的哭泣事件被记录下来。对于未接触阿片类药物的健康新生儿,在常规处理过程中记录哭声。从音频记录中识别出哭泣发声的片段;发作开始时间用于确定是否已经开始药物治疗。对录音进行筛选,以排除可能干扰声学分析的声音(即成人谈话或环境噪音)。两名研究助理,对婴儿的产前药物史一无所知,接受了识别适合声学分析的哭声的培训,并达到89%的一致性。
研究共招募了177名新生儿,对118名新生儿进行了哭声记录处理,其中31名新生儿的哭声记录不适合声学分析补充).另有10名新生儿被排除在研究之外,因为他们在开始治疗前没有可用的哭声,另有12名新生儿因数据缺失而被排除。其余65名新生儿包括19名母亲接受MAT治疗的婴儿,他们接受了针对NOWS的药物治疗,7名母亲接受MAT治疗的婴儿没有发生NOWS, 39名婴儿在产前没有接触非法物质。
两种声学分析系统用于哭泣分析:(1)布朗大学开发的专有分析软件(布朗分析仪),旨在对婴儿进行哭泣分析25(2)为广泛应用开发的开源分析器,包括人类非语言发声的分析(Soundgen26R软件的软件包,版本4 [R统计计算基础])。通过模型叠加使用多个分析仪(即并行训练模型并结合其输出)可以更全面地研究声学参数,包括有机会识别分析器之间的公共声学参数(图1).两种分析仪分两个阶段运行。首先,基于倒谱的声学分析用于提取12.5毫秒帧的声学参数。其次,对声学参数进行整理,归纳为叫声。哭喊是在呼吸的呼气阶段发生的哭喊,包括短(<500毫秒)和长(≥500毫秒)的声音。Brown分析仪每个话语产生61个声学特征,识别出29 155个话语(20 477短,8678长);Soundgen分析仪每个话语产生55个声学特征,并识别出14 061个话语(6509个短,7552个长)。长短话语分别进行分析。对于每个新生儿或声学测量,我们计算了数据缺失的平均值和比率。计算每个婴儿的话语总数。 A filtered subset of acoustic characteristics was generated by removing variables with high rates (>60%) of missing data, near zero variance,27或过度相互关联(r>。)27符合机器学习特征过滤的指导方针。28
我们使用交叉验证的监督机器学习方法,其中随机森林算法被训练来预测使用哭泣声学对NOWS进行药物治疗的接受情况,并且通过在一个看不见的(或测试)集上生成预测来评估算法的准确性。使用省略交叉验证(LOOCV)来评估模型预测是否适用于未见案例。使用这种方法,对数据集中的每个子重复测试训练分割(即,将数据分割为测试和训练集),以便对除1个子之外的所有子执行建模过程,并且使用保留子来评估模型预测是否可以推广到未见的情况。LOOCV中包括特征选择和分类步骤,以最大限度地减少性能估计中的偏差29(图2).
一种集成特征选择方法30.在LOOCV的一次迭代中,Boruta算法31重复100次,保留Boruta在100次中大于5次选择的变量进行后续分类。Boruta是一种表演32使用随机森林来识别给定结果的重要预测因子子集的算法。在交叉验证中包括特征选择,可以估计特征稳定性,100%的稳定性表明在特征选择过程中始终保留给定的声学特征。每个变量对最终预测的相对贡献用平均重要性估计值来衡量。从每个模型(Brown vs Soundgen和短语音vs长语音)中获得的预测概率的平均值用于生成NOWS的联合预测(图1).二元预测是通过在受试者工作特征(ROC)曲线上找到距离完美预测最短的点来生成的。33标准诊断准确性估计报告。34
模型预测通过三种方式进行检验。首先,我们计算了将接受NOWS治疗的新生儿与对照组(母亲接受MAT但未发生NOWS的新生儿和未接触阿片类药物的健康新生儿)进行比较的模型的准确性。接下来,我们通过比较发生NOWS的新生儿与母亲接受MAT但未发生NOWS的新生儿,以及发生NOWS的新生儿与产前未接触非法物质的新生儿,重新计算了准确性估计值。通过这种方式,我们能够评估结果是否偏向于没有NOWS的任何一组。
总之,我们评估了由4个随机森林分类器组成的单个堆叠模型(即元学习器)的预测图1)训练来自不同分析器的输出(Soundgen vs Brown)和不同长度的话语(短vs长)。值得注意的是,特征选择先于我们的随机森林分类器的训练,并涉及在减少的声学特征集上使用Boruta算法(缺乏方差接近零的特征,高数据丢失率,或过度的相互相关性)(图2).所有分析均使用R软件,版本4 (R Foundation for Statistical Computing)进行。35初步分析使用Boruta,31插入符号,27管理员,36epiR,37和cutpointr33统计检验为2尾,α =。设05为显著性阈值。随机森林分类器使用ranger包中的默认超参数(除了树数[10 000树])。
最后的样本包括65名新生儿,出生时平均胎龄(SD)为36.6(1.1)周;女性36例(55.4%),男性29例(44.6%)(表格).种族方面,亚洲婴儿1名(1.5%),黑人或非洲裔3名(4.6%),白人50名(76.9%),多种族6名(9.2%),未知种族5名(7.7%);族裔方面,西班牙裔15人(23.1%),非西班牙裔49人(75.4%),未知族裔1人(1.5%)。我们在118名参与者中记录了775小时的音频,最终65名参与者的子集中有2.5小时的可用哭泣记录(平均[SD], 2.3[2.3]分钟/新生儿)。与对照组新生儿相比,NOWS新生儿的记录时长没有差异(平均[SD], 2.5[2.1]分钟/新生儿vs 2.3[2.3]分钟/新生儿;t36.4 = 0.28;科恩d= 0.08;P= .77点)。
患有NOWS新生儿的母亲比对照组的新生儿报告了更高的非法药物使用率(64名妇女中有6名[9.4%]比0名妇女;χ21 = 12.18;P< .001)和较高的精神药物使用率(65名女性中有6名[9.2%]vs 65名女性中有2名[3.1%];χ21 = 6.89;P= .009)。与对照组相比,NOWS新生儿出生体重也较低(平均[SD], 3.1 [0.4] kg vs 3.4 [0.4] kg;t32.49 = 2.73;科恩d= 0.77;P= . 01)。
集成Boruta算法从Brown和Soundgen分析器中识别出16个变量,从短话语模型中识别出8个变量,从长话语模型中识别出8个变量,共32个变量(图3).重要变量是那些具有高稳定性和高重要性的变量。对于Brown分析器,16个变量中有10个稳定性大于90%,重要性估计值相似,被认为是重要变量。对于Soundgen分析仪,16个变量中有8个稳定性大于90%,其中7个具有相似的重要性估计值(平均振幅包络频率除外),被认为是重要变量。Brown分析仪的10个重要变量中,3个与高音(hyperpitch)有关,2个与第一共振峰频率有关,2个与能量有关,2个与叫声发声数有关,1个与摩擦量有关。从Soundgen分析仪上看,7个重要变量中,2个与话语数有关,1个与第一共振峰频率有关,1个与第二共振峰频率有关,1个与振幅(能量)有关,1个与频谱熵有关,1个与频谱新颖性有关。
堆叠随机森林分类器预测的平均值预测接受药物治疗的NOWS具有较高的诊断准确性。曲线下面积(AUC)为0.90 (95% CI, 0.83-0.98),准确度为0.85 (95% CI, 0.74-0.92), Cohen κ为0.66 (95% CI, 0.47-0.85),敏感性为0.89 (95% CI, 0.67-0.99),特异性为0.83 (95% CI, 0.69-0.92),阳性预测值(PPV)为0.68 (95% CI, 0.46-0.85),阴性预测值(NPV)为0.95 (95% CI, 0.83-0.99) (图4).
当从ROC曲线和混淆矩阵(AUC, 0.85 [95% CI, 0.59-1.00];精度,0.88 [95% CI, 0.70-0.98];Cohen κ, 0.72 [95% CI, 0.42-1.00];灵敏度,0.89 [95% CI, 0.67-0.99];特异性,0.86 [95% CI, 0.42-1.00];Ppv, 0.94 [95% ci, 0.73-1.00];Npv, 0.75 [95% ci, 0.35-0.97])。从ROC曲线和混淆矩阵(AUC, 0.91 [95% CI, 0.84-0.98];准确度,0.84 [95% CI, 0.73-0.93];Cohen κ, 0.67 [95% CI, 0.47-0.87]; sensitivity, 0.89 [95% CI, 0.67-0.99]; specificity, 0.82 [95% CI, 0.66-0.92]; PPV, 0.71 [95% CI, 0.49-0.87]; NPV, 0.94 [95% CI, 0.80-0.99]).
NOWS的评估和管理一直存在问题,16,38部分原因是现有的评估依赖于卫生保健专业人员的主观观察。10,39这项队列研究的结果表明,声哭分析有可能作为新生儿阿片类药物戒断的客观测量方法。使用新生儿哭声声学训练的交叉验证随机森林模型能够产生准确的预测(AUC, 0.90;准确性,0.85;敏感性,0.89;特异性,0.83)。这些结果说明了开发基于哭声声学的NOWS算法的可行性,该算法可以改善这些婴儿的治疗和结果。
婴儿哭声的声学特征与产前阿片类药物暴露有关40,41其他疾病,包括窒息、高胆红素血症、三体畸形、婴儿猝死综合征,42产前药物暴露,41自闭症,43早产、44在其他情况下,45,46但这些研究通常只考察了有限的声学特征子集(最明显的是音高)。音高是由声带振动引起的我们对基本频率的感知,它受到了最多的关注,因为它具有直观的吸引力,而且音高的变化可以被听众辨别出来。然而,作为与众多条件相关的单一参数,在孤立使用时,其诊断效用有限。此外,听者对音高评分的可靠性很低,基频的实际变化与产前阿片类药物暴露有关,即使通过声学分析测量也是如此。40,41,47更有可能的是,哭泣声学的多维方面在NOWS和其他疾病的特征描述中发挥了作用,正如最近对哭泣特征和神经功能障碍的荟萃分析所表明的那样。45
在我们的分析中确定的17个重要变量中,有7个是声道频率的测量,包括基频(音调)。其他频率包括第一峰和第二峰,这是哭泣声音在声道向上传播时的频率峰值或共振。在死于婴儿猝死综合症的婴儿中发现了第一共振峰频率的变化,48早产儿,49患有高胆红素血症的婴儿50以及产前接触物质的婴儿。41,51,52在产前物质暴露的婴儿中,已报道了第二峰频率的变化。41,52共振峰频率由受脑神经活动影响的声道的形状和横截面积决定。
四个重要变量是话语的数量(包括长短);这些变量通常与哭泣的量相对应,反映了自主神经(包括迷走神经)的控制。在早产儿中观察到哭声的出现48以及产前接触物质的婴儿。41,53两种相关的振幅或能量测量,代表了声学信息在光谱域不同范围内的程度,并影响响度,也在自主控制下。万博manbetx平台首页这些措施与早产有关48,49以及产前物质暴露。41,48,51,53摩擦音是由于声道收缩而引起的湍流性强制呼吸所产生的声音,受颅神经支配声道的影响。光谱熵是信号均匀性或质量的度量。光谱新颖性是机器学习系统在训练过程中没有意识到的新数据或未知数据的识别。54摩擦系数、光谱熵和光谱新颖性指标的变化在患NOWS高危婴儿中未见报道。
我们的工作得益于两大进步的结合:最先进的信号处理算法来量化声学哭泣特征,以及机器学习方法来处理大型数据集,包括哭泣分析器生成的声学信息阵列,可以通过底层基于树的算法来建模非线性关联。万博manbetx平台首页此外,模型叠加的使用允许我们使用多个分析仪,并在不同平台上验证声学参数。
由于关于如何评估和管理NOWS的不一致,缺乏标准的治疗方案,以及向非药物干预的发展,NOWS领域有些混乱。然而,这些评估工具(FNAST, ESC或共识临床定义)的共同之处在于,它们将哭泣作为一个主要特征,但哭泣并没有被客观地测量。我们的研究结果表明,患有NOWS的婴儿的哭声具有明显的特征,构成了一个包含17个变量的哭声特征,其中大多数变量是人类感知无法检测到的。声哭分析反映了脱症的病理生理特征,与脑干、自主神经系统和肠道有关,可作为NOWS的客观生物行为标志物。
这项研究有几个优点和局限性。这项研究收集了新生儿超过775小时的录音。虽然我们分析了超过2.5小时的哭声记录,但新生儿的数量很少,而且仅限于一家医院。因此,我们将7名不符合治疗标准的阿片类药物接触新生儿与未接触阿片类药物的健康新生儿合并为同一对照组。在更大的多点样本中复制这些结果将是重要的。更大的样本还允许模型概率校准,从而为用户产生可解释的概率(相对于二进制预测)。用放置在isolette中的记录仪收集的患有NOWS的婴儿的哭声导致了大量的数据缺失和为声学分析准备哭声的劳动密集型工作。连续记录暴露于阿片类药物的新生儿的哭声,而定期记录健康新生儿的哭声;今后的工作将受益于记录方法的全面标准化。观察到的诊断估计是有利的,但可以改进(可能通过纳入额外的婴儿信息)。万博manbetx平台首页 Notably, future work would benefit from adjusting binary classification performance based on misclassification costs and/or expected clinical use (eg, screening for increased infant monitoring vs ruling out the need for pharmacological treatment).
同样重要的是要承认,这种方法是由分析技术而不是理论指导的。我们只能推测声哭特征测量阿片类药物戒断的机制,而依赖数据的方法对样本特质很敏感。我们使用了广泛的内部验证,Brown和Soundgen分析仪识别出相似的声哭特征是一个有利的发现,尽管需要外部验证来解决结果是否适用于当前样本之外。
我们的发现是基于评估哭泣声学是否与已知局限性的测量(FNAST)相对应。然而,哭泣声学和FNAST评分相关的事实表明,FNAST(以及其他方法,如ESC或共识报告)已将哭泣确定为新生儿阿片类药物停用的一个重要维度,但缺乏客观测量。
这项队列研究的结果表明,使用机器学习的声哭分析有潜力作为NOWS的客观生物行为测量,可以改善NOWS的评估、诊断和管理,并促进对患有这种疾病的新生儿的标准化护理。55-57
接受出版:2022年9月13日。
发表:2022年10月27日。doi:10.1001 / jamanetworkopen.2022.38783
开放:这是一篇开放获取的文章,根据CC-BY许可证.©2022 Manigault AW等人。狗万体育下载地址JAMA网络开放.
通讯作者:Barry M. Lester博士,布朗危险儿童研究中心,罗得岛州妇婴医院,普罗维登斯,罗德岛02905 (barry_lester@brown.edu).
作者的贡献: Lester博士有权查阅研究中的所有数据,并对数据的完整性和数据分析的准确性负责。
概念及设计:Sheinkopf,莱斯特。
数据的获取、分析或解释:所有作者。
文稿起草:Manigault,莱斯特。
对重要知识内容的手稿的批判性修订:所有作者。
统计分析:马尼戈,西尔弗曼,莱斯特。
获得资助:莱斯特。
支持:行政、技术或物质上的支持:辛科普夫,西尔弗曼,莱斯特。
监督:Sheinkopf,西尔弗曼。
利益冲突披露:Sheinkopf博士报告说,在进行研究期间,他获得了布朗大学的资助,并在提交的工作之外获得了自动婴儿哭声分析仪的专利(US 20150265206 A1和US 20200129115 A1)。没有其他披露的报道。
资金/支持:这项工作得到了布朗大学(Brown Biomedical Innovations to Impact at Brown University) (Lester博士)的资助。
资助者/发起人的角色:资助机构在研究的设计和实施中没有任何作用;数据的收集、管理、分析和解释;手稿的准备、审查或批准;并决定将手稿提交出版。
2.
Reddy uma, Davis jm, Ren za, Greene mf;阿片类药物在怀孕中的使用,新生儿禁欲综合征,和儿童结局研讨会邀请演讲嘉宾。妊娠期阿片类药物使用、新生儿戒断综合征和儿童结局:由尤尼斯·肯尼迪·施赖弗国家儿童健康和人类发展研究所、美国妇产科医师学院、美国儿科学会、母胎儿医学学会、疾病控制和预防中心以及March of Dimes基金会联合举办的研讨会的执行摘要。
比较。Gynecol.2017年,130(1):28。doi:
10.1097 / AOG.0000000000002054
PubMed
谷歌学者
Crossref
10.
Finnegan lp#, Kron re#, Connaughton jf#, Emich jp#。评价和治疗新生儿禁欲综合征的评分系统:临床和研究工具。见:Morselli PL, Garattini S, Serini F,编。围产期药理学的基础和治疗方面.乌鸦书籍;1975:139 - 153。
23.
莱斯特。婴儿哭泣的生物社会模型。
婴儿研究进展.1984; 3:167 - 212。
谷歌学者
30.
王志刚,王志刚;特征选择算法的稳定性综述。沙特国王大学计算机科学与工程学院.2022年,34(4):1060 - 1073。
34.
Šimundić am_;诊断准确性的测量:基本定义。
EJIFCC.2009; 19(4): 203 - 211。
PubMed
谷歌学者
53.
张建平,张建平,张建平,等。产前甲基苯丙胺暴露和新生儿哭声声学分析:婴儿发育、环境和生活方式研究(IDEAL)的初步结果。
Pediatr Res.2004; 55(4): 72。
谷歌学者