机器学习的进步,特别是深度学习的领域,产生了算法执行基于图像的诊断任务与精度接近或超过训练有素的医生。尽管证据确凿的成功,这些机器学习算法容易受到认知和技术偏见,1包括偏见介绍当一个数量不足或多样性的数据用于训练算法。2,3我们成为本次调查的系统性偏差来源在临床应用的深度学习的地理分布病人军团用来训练算法。
我们搜索PubMed或在网上发表的同行评审的文章打印在1月1日2015年12月31日,2019年,深度学习算法训练来执行一个基于图像的诊断任务和性能基准测试(或配合)医生在6临床学科:放射学、眼科、皮肤科、病理学、胃肠病学和心脏病。搜索条件包括深度学习和感兴趣的临床专业,以及医学主题标目同义词。通过搜索相关出版物的引用列表结果补充和评论。万博ManBetX网页研究使用至少1我们病人队列算法训练都包括在内。所有作者给输入搜索策略。一位作者(A.K.)进行搜索、筛选文章,并提取数据,然后重复这个过程,第二次冲刷后的时期。最后一组包括了所有作者的文章和综述了提取的数据。
对于每个国家,使用的研究,数量至少1病人队列的状态决定。病人群体提供的医院或卫生系统是由机构的家乡,除非另一种装配方法队列。如果队列是模棱两可的,我们沟通与相应的作者对澄清。军团仅用于测试或验证算法的不包括在内。
有些病人群体本质上地理位置异构或含糊不清,比如军团从大型研究来自美国国立卫生研究院(NIH)或临床试验(跨越5或更多的州)和行业数据存储库。这些军团被贴上“多点”,他们的数量和类型分别为特征。
2606年的研究发现的搜索,74遇到入选标准:放射学(n = 35),眼科(n = 16),皮肤病(n = 11),病理(n = 8),胃肠病学(n = 2),和心脏病学(n = 2)。(研究可以从作者的列表请求。)
56研究(76%)使用至少1地理上的队列训练算法。军团从加州出现在22日的56个研究(39%),15(27%)来自马萨诸塞州的军团,军团从纽约14 (25%)(表)。四十的56个(71%)病人使用队列研究这三个州的至少1。其余47个州中,34岁没有造成任何病人军团,其余贡献1 - 5组(表)。
十八岁的74项研究(24%)使用多点军团只;在所有研究,23岁多点军团被确定。十三23(57%)来自现有NIH研究或财团,7例(30%)来自工业试验或数据库,从在线图像地图册2(9%),和1(4%)来自学术第二个观点服务。
跨多个学科,在临床的应用深度学习算法训练对我们病人数据来自加州的不成比例的训练在军团,马萨诸塞州和纽约,没有表示从剩下的47个州。麻萨诸塞州,加州和纽约可能经济、教育、社会、行为、种族和文化特性,并不能代表整个国家;算法训练的主要患者数据从这些国家推广不佳,这是一个建立在实现风险诊断算法在新地域。4- - - - - -6
限制包括搜索仅限于单个数据库,搜索和数据提取进行了由一个个体,没有经常和患者的立场人口数据。地理位置代表只有一个衡量一个群体的多样性。
技术性能和公平正义的基本原因,生物医学研究community-academia行业,监管部门应当采取措施确保机器学习训练数据镜像算法的种群最终将被使用。
通讯作者:Amit Kaushal,医学博士,生物工程学系,斯坦福大学,443年通过奥尔特加博士,MC 4245年Shriram 219房间,斯坦福,CA 94305 (akaushal@stanford.edu)。
发表:2020年6月22日。
作者的贡献:Kaushal博士已经完全访问所有数据的研究,负责数据的完整性和数据分析的准确性。
概念和设计:所有作者。
数据的采集、分析或解释:所有作者。
起草的手稿:Kaushal。
关键的修订手稿的重要知识内容:所有作者。
统计分析:Kaushal。
行政、技术或材料支持:所有作者。
监督:奥特曼,Langlotz。
利益冲突的披露:奥特曼博士称,他是一个创始人,顾问和股东Personalis;是一个顾问或顾问辉瑞、葛兰素史克,诱使,Cogen疗法,金翅雀生物,联合健康集团,Myome, BridgeBio,春华资本;英国生物库是一个顾问和瑞士个性化健康网络。Langlotz博士称他是董事会和股东BunkerHill;是一个顾问和whiterabbit期权持有人。ai, 9、GalileoCDS Sirona医疗;已收到酬金和旅费佳能医疗和西门子的旅费;和接收机构支持赠款和礼物从通用电气医疗集团,西门子医疗、飞利浦、谷歌、Carestream, IBM, IDEXX, 9,医院Israelita爱因斯坦。没有其他信息披露报告。
额外的贡献:我们感谢约翰Borghi博士,医学图书馆巷,斯坦福大学医学院,对文献检索的发展咨询(无偿)。