要点
问题一种广泛适用于多种类型器械、具有像素级高识别精度的手术器械自动识别模型是否可行?
发现这项质量改进研究的开发和验证使用了由337个腹腔镜结直肠手术视频组成的多机构数据集。3种器械的实例分割平均精密度为90.9%，4种器械为90.3%，6种器械为91.6%，8种器械为91.8%。
意义这项研究表明，深度学习可以用于同时高精度地识别多种类型的仪器。
重要性基于深度学习的手术器械自动识别技术是外科研究和发展不可或缺的技术。然而，需要具有高精度的像素级识别，以使其适用于手术自动化。
客观的开发一种能同时识别腹腔镜结直肠手术常用8种手术器械的深度学习模型，并评价其识别性能。
设计、设置和参与者这项质量改进研究是在单一机构进行的，有多机构的数据集。2009年4月1日至2021年12月31日期间录制的腹腔镜结直肠手术视频包括在视频数据集中。基于深度学习的实例分割(instance segmentation)是一种图像识别方法，可以逐个像素地识别每个物体，而不是用边界框粗略地包围起来，对8种手术器械进行分割。
主要成果及措施平均精密度，从精度召回曲线下的面积计算，被用作评价指标。平均精密度代表真阳性、假阳性、假阴性结果的例数，计算8种手术器械的平均精密度值。验证方法为五重交叉验证。注释数据集被分成5段，其中4段用于训练，其余部分用于验证。数据集在每个案例级别而不是每帧级别上进行分割;因此，从训练集中的术中视频中提取的图像从未出现在验证集中。对所有5个验证集进行验证，并计算平均平均精密度。
结果总共使用了337个腹腔镜结直肠手术视频。对38张 628张静态图像上的81个 760个标签进行逐像素标注，构成标注数据集。3种手术器械的实例分割平均精密度为90.9%，4种手术器械为90.3%，6种手术器械为91.6%，8种手术器械为91.8%。
结论与相关性成功开发了一种基于深度学习的实例分割模型，能够同时高精度地识别8种手术器械。即使手术器械种类增加，准确度也能保持。该模型可应用于手术创新，如术中导航和手术自动化。
微创手术(MIS)，如腹腔镜和机器人类型，作为传统开放手术的替代方案，继续在普通外科中发挥重要作用。自20世纪80年代以来，技术进步和创新导致MIS手术技术的数量迅速增加，因为它们被认为是更可取的。微创手术比传统的开放手术有更好的美容效果，在过去几年里越来越普遍。1另一方面，外科医生在进行外科手术时对触觉的依赖已经减弱，外科医生变得高度依赖腹腔镜监测器提供的视觉信息。万博manbetx平台首页为了更加可靠，腹腔镜摄像机必须能够快速捕捉和跟踪所使用的手术器械，从而避免不安全的盲手术。2因此，能够准确识别手术器械的位置并对其进行跟踪是MIS的一个先决条件;换句话说，我们可以从这样的运动学数据中提取大量与手术相关的信息。万博manbetx平台首页
近年来，以计算机为基础的自动化技术不断发展，并迅速渗透到日常生活的各个方面。自动驾驶汽车就是一个例子，它可以自我捕获和自我分析大量和各种各样的数据。人工智能，尤其是它的子领域深度学习，被用来使大数据可解释和可用。3.人工智能的一个领域是计算机视觉(CV)，这是一个跨学科的科学领域，研究计算机如何获得对数字图像或视频的高级理解，并使用这些知识来执行功能，如物体识别、跟踪和场景识别。4
基于深度学习的CV技术已应用于腹腔镜手术中的各种任务，如解剖结构、手术动作、步骤或阶段识别。4-6将这项技术应用于手术器械识别，可以开发出在手术过程中自动实时跟踪器械的机器人相机支架，7，8它可以用于外科技能评估，9增强现实,10深度增强11在管理信息系统。虽然计算机辅助手术的目标是完全自动化，但必须分阶段实现(如从肠吻合开始)。12在任何阶段，基于深度学习的CV的手术器械自动识别都是一项不可或缺的基础技术。因此，计算机辅助手术领域的研究和发展需要一种广泛适用于多种类型器械、具有像素级高识别精度的手术器械自动识别模型。
本研究的目的是开发一种能够同时识别腹腔镜结直肠手术中常用的8种手术器械的深度学习模型，并评估其识别性能。此外，还对所开发模型的识别结果在手术过程监测中的适用性进行了检验。
这项质量改进研究的开发和验证是在单一机构使用多机构术中视频数据集进行的。这项研究遵循卓越质素改善报告准则(乡绅)和加强流行病学观察性研究报告(选通脉冲)报告指引。该研究方案由日本千叶国立癌症中心医院东部伦理委员会审查并批准。研究人员在研究网站上以选择退出的形式从患者那里获得知情同意，拒绝参与的患者的数据被排除在外。这项研究符合《赫尔辛基宣言》的规定131964年(并于2013年在巴西修订)。
2009年4月1日至2021年12月31日期间录制的腹腔镜结直肠手术视频包括在本研究的视频数据集中。术中视频均转换为MP4视频格式，显示分辨率1280 × 720像素，帧率30帧/秒。从视频数据集中随机抽取38 628张捕获待识别手术器械的静态图像，并纳入本研究的注释数据集中。
用于识别的手术器械有以下8种:手术剪(Harmonic HD 1000i和Harmonic ACE, Ethicon Inc) (SI-1)，铲形电极(Olympus Co Ltd) (SI-2)，带凹槽的无创伤通用钳(Aesculap AdTec, B Braun AG) (SI-3)，解剖钳(HiQ+ Maryland夹层钳，Olympus Co Ltd) (SI-4)，内镜夹应用器(Ligamax 5内镜夹应用器，Ethicon Inc，和Endo clip III 5毫米夹应用器，Medtronic Plc) (SI-5)，吻合器(Echelon吻合器，Ethicon Inc，和Endo GIA Reload with Tri-Staple Technology, Medtronic Plc) (SI-6)，抓取钳(Croce-Olmi抓取钳，Karl Storz SE & Co KG) (SI-7)，以及一个吸入/灌溉系统(HiQ+吸入/灌溉系统，Olympus Co Ltd) (SI-8)。这8种手术器械的参考图像如图所示图1一个。
注释由29名非医生在2名委员会认证的外科医生(D.K.和H.H.)的监督下进行，并通过使用数字绘图笔(Wacom Cintiq Pro和Wacom Pro Pen 2, Wacom Co Ltd，或Microsoft Surface Pro 7和Microsoft Surface Pen, Microsoft Corp)设备直接在静态图像上的每个手术器械区域上绘制，手动分配8种注释标签。注释的参考图像显示在图1B。
基于卷积神经网络(CNN)的实例分割使用Mask R-CNN14作为架构网络和ResNet-5015作为骨干网。实例分割是一种图像识别方法，它逐个像素地识别每个物体，而不是将所有物体都围在一个边界框内。网络权重被初始化为在Microsoft Common Objects in Context数据集上预训练的权重，16这是一个用于对象检测、分割和配图的大规模数据集，包含2 500 000个标记实例，包含328 000张图像，用于91个常见对象类别。将训练集中的每个标注图像输入到深度学习模型中，然后对训练集进行微调。根据模型在验证集上的性能，选择最佳epoch模型。对于数据增强，使用了resize、randomhorizontalflip、randomveralflip和normalize函数。
代码是用Python 3.6版(Python Software Foundation)编写的，可以通过GitHub合理请求获得。模型的实现基于MMDetection，17这是一个用于对象检测和实例分割的开源Python库。一台配备了Tesla T4 GPU和16gb VRAM (NVIDIA)和Xeon CPU Gold 6230 (2.10 GHz, 20 Core)和48gb RAM (Intel Corp)的计算机用于网络训练。
本研究采用平均精度(AP)作为基于cnn的手术器械识别任务的评价指标。平均精度由精度-召回曲线下的面积计算，该曲线是基于真阳性(TP)、假阳性(FP)和假阴性(FN)结果的数量描述的。交集除以并集(IoU)是一个度量，表示标注为地面真相(a)的区域与CNN输出的预测区域(B)之间的重叠程度;IoU为1表示对应的A和B完全重叠，而IoU为0则表示没有重叠。借条参考图像显示在图2一个。
在本研究中，IoU的阈值设置为0.75;即当A、B对应对的借据大于0.75时，定义为TP;当借据小于0.75时，定义为FN;当B没有对应的A时，定义为FP。精度、召回率和IoU的公式如下:
![图像描述不可用。]()
平均AP (mAP)度量广泛应用于目标检测和实例分割任务中。18-20.本研究中，mAP为8种手术器械的AP平均值。
本研究酌情采用五倍交叉验证和保留验证两种验证方法。在5次交叉验证中，将注释数据集分成5个片段，其中4个片段作为训练集，其余片段作为验证集。数据分割是在每个案例级别而不是每帧级别执行的;因此，从训练集中的术中视频中提取的图像从未出现在验证集中。对所有5个验证集进行验证，并计算平均mAP。5倍交叉验证的参考图像如图所示图2B.此外，还进行了错误识别模式分析。
在结直肠手术中，肠系膜下动脉(IMA)与直肠的横断是监测手术进展的重要标志。在标准的IMA根横断过程中，IMA根背侧用SI-4解剖，用SI-5剪断;SI-6仅用于直肠横切面。
为了检验所提出的模型对自动手术进度监测系统的适用性，我们在一个新的腹腔镜结直肠手术术中视频上使用了手术器械识别的结果。具体而言，我们评估了先前定义的IMA和直肠横切面手术步骤中是否包括SI-4连续识别和SI-5连续识别以及SI-6连续识别的时间，21分别。
本研究共使用了337个腹腔镜结直肠手术视频，从视频数据集中提取了38个 628个静态图像，标注了81个 760个标签。每种手术器械注释标签数量的分布示于图3SI-1为5694,SI-2为4358,SI-3为41 778,SI-4为5248,SI-5为5254,SI-6为5810,SI-7为7022,SI-8为6596。SI-3有许多注释标签，因为在一个静态图像中可以出现多达4个注释标签，并且它们经常与其他手术器械一起出现。
5次交叉验证获得的8种手术器械实例分割的平均(SD) mAP为91.9%(0.34%)。在本研究中，IoU的阈值设置为0.75，但作为补充数据，mAP在0.5到0.95之间的多个阈值绘制并显示在图中补充．
当需要识别的手术器械种类增加时mAP的变化如图所示图3B. 3种手术器械实例分割的map为90.9%，4种手术器械为90.3%，6种手术器械为91.6%，8种手术器械为91.8%。
各手术器械实例分割的AP如图所示图3C: SI-1为91.4%，SI-2为95.6%，SI-3为85.4%，SI-4为90.7%，SI-5为96.4%，SI-6为91.2%，SI-7为85.6%，SI-8为95.7%。一例完整的腹腔镜乙状结肠切除术中8种手术器械实例分割的识别结果如图所示图4和视频．
在1个验证集上进行实例分割得到的误识别模式如的混淆矩阵所示图5一个;在验证集中观察到213个错误识别。除手术器械外的体内假体(如圆形吻合器砧轴、引流管、套管针)容易被误认为SI-3，这是误认的主要原因(213例误认中125例[58.7%])。错误识别模式的代表性图像如图所示图5B。
如图4，连续识别SI-4，然后连续识别SI-5被纳入IMA横切的手术步骤。此外，SI-6持续识别的时间被纳入直肠横断手术步骤。
在本次质量改进研究中，我们成功开发了一种基于cnn的实例分割模型，该模型可以同时识别8种手术器械，并且具有较高的识别精度。几乎所有腹腔镜结直肠手术中使用的手术器械都涵盖了这8种类型;因此，所建立的模型可应用于一系列腹腔镜结直肠手术的术中导航。
基于cnn的CV有几种方法用于图像识别任务。基于边界盒的目标检测方法是目前常用的检测方法22，23；然而，在外科研究领域的未来发展中，例如手术自动化，更详细的逐像素识别信息将是必不可少的，而不是基于边界盒的物体检测。万博manbetx平台首页
语义分割是一种基于cnn的CV方法，可以实现逐像素的图像识别。近年来，它也被积极应用于外科CV的研究领域。24，25语义分割试图通过将整个图像划分为可以标记和分类的像素组的过程来具体理解图像中每个像素的作用。每个物体的边界可以被勾画出来;因此，可以实现密集的基于像素的预测。但是，当同一类型的对象重叠时，语义分割不能单独区分它们。实例分割克服了这一限制，因为它可以区分重叠的对象，即使它们属于同一类型。它能够可视化具有多个重叠对象的复杂图像，并识别它们之间的关系。在本研究中，我们选择实例分割作为图像识别方法，因为在手术过程中多个手术器械交叉是一种常见的现象。
一般来说，多类识别是困难的——要识别的对象类型越多，任务就变得越困难。然而，在本研究中，3、4、6和8种手术器械的识别任务的准确性几乎相同(图3B).一个可能的原因是我们准备了足够多的带注释的数据。这些数据包含超过80 000个注释标签，用于训练基于cnn的即时分割模型，使我们能够克服多类识别任务的困难。
虽然识别精度很高，但仍有几种误认模式需要测量，这些误认模式在本研究中主要是由手术器械以外的体内伪物引起的(图5)．然而，我们相信这个问题在未来可以通过有意地添加捕获此类工件的注释图像来解决，并训练模型，使它们成为背景的一部分。否则，可以使用注释将此类工件添加到识别目标。此外，虽然手术器械尖端在视野之外的情况也预计会引起误认，但这种模式在本研究中是次要的。这种模式被认为是因为这种情况在一开始的手术中很少见，并且在预测中使用了很多关于轴和尖端的信息。万博manbetx平台首页具有相同轴和不同尖端选择的手术器械之间的鉴别是未来工作中将面临的挑战。
所提出的手术器械识别实例分割模型在外科研究和开发领域具有广泛的应用，如自动化机器人相机支架和基于手术器械跟踪的自动手术技能评估。本研究证明了该模型应用于手术过程自动监测的可行性。
实时准确监测手术过程，实现手术室后勤的优化是必要的。26这种监测可以优化手术室资源，空闲时间和人力资源可以使患者舒适和安全。此外，如果某个手术步骤比计划的时间长，并导致延误，这可能表明发生了某种术中不良事件。手术进展的自动提取、分析和监测系统使整个手术室工作人员能够轻松地分享危机意识，从而提高手术室团队在快速决策和行动方面的表现。
在本研究中，我们分别关注了SI-4/5和SI-6在腹腔镜结直肠手术中IMA横断和直肠横断万博manbetx平台首页手术步骤中的出现信息;然而，在每种类型的手术中，其他手术器械都出现在特定的手术步骤中。因此，本文提出的基于手术器械识别的手术进度自动监测方法具有较高的适用性。在未来，根据止血手术器械(如SI-8)的外观信息，不仅可以监测手术的进展，还可以监测术中出血的发生。万博manbetx平台首页
这项研究有几个局限性。首先，虽然所提出的手术器械识别实例分割模型在外科研究和开发中有多种应用，但只进行了概念验证评估;该模型并未应用于实际手术实践。第二，只进行验证;未使用外部队列数据进行测试。但由于标注数据集足够大，通过5倍交叉验证获得了稳定的识别精度;因此，泛化性能较高。第三，对于自动手术进度监测，仅从单个术中视频中获得初步结果。为了将来的验证，我们必须确定用于连续识别的最小帧率。第四，由于SI-3倾向于与其他手术器械出现复杂的交叉，尽管标注标签更多，但对应的mAP比其他器械低。 Improving the recognition accuracy of SI-3 is also a future task.
我们开发了一个实例分割模型，可以同时识别腹腔镜结直肠手术中常用的8种手术器械。在本次质量改进研究中，模型的识别精度较高，即使在需要识别的手术器械种类增加的情况下也能保持较高的识别精度。手术器械识别是外科各个研究和发展领域的重要基础技术。所提出的模型不仅可以应用于本研究中提出的自动手术进度监测，而且还可以应用于未来的计算机辅助手术实现或手术自动化。
接受出版:2022年6月18日。
发表:2022年8月19日。doi:10.1001 / jamanetworkopen.2022.26265
开放:这是一篇开放获取的文章，根据CC-BY-NC-ND许可证．©2022 Kitaguchi D等人。狗万体育下载地址JAMA网络开放．
通讯作者:伊藤雅明，医学博士，外科设备创新办公室，国立癌症中心医院东，6-5-1柏草野，千叶277-8577，日本(maito@east.ncc.go.jp)．
作者的贡献:伊藤博士可以完全访问研究中的所有数据，并对数据的完整性和数据分析的准确性负责。
概念及设计:北口，林，中岛，小岛，长谷川，竹下，森，伊藤。
数据的获取、分析或解释:北口，李，林，中岛，森，伊藤。
文稿起草:北口，李，中岛，森。
对重要知识内容的手稿的批判性修订:林，小岛，长谷川，竹下，伊藤。
统计分析:北口，李，中岛。
获得资助:Takeshita,伊藤。
支持:行政、技术或物质上的支持:林，小岛，长谷川，竹下，森，伊藤。
监督:林，竹下，森，伊藤。
利益冲突披露:Takeshita博士报告说，在进行这项研究期间，他获得了日本医学研究与发展机构的资助。Mori博士报告说，在进行研究期间，他获得了日本医学研究发展局、奥林巴斯和日本科学促进协会的资助，并在提交的工作之外获得了Cybernet和Morita Mfg的资助和版税。没有其他披露的报道。
资金/支持:本研究由日本医学研究开发机构的JP20he2302003h0102(伊藤博士)资助。
资助者/发起人的角色:资金来源在研究的设计和实施中没有任何作用;数据的收集、管理、分析和解释;手稿的准备、审查或批准;并决定将手稿提交出版。