要点
问题如何回答实践问题的人工智能聊天机器人ChatGPT执行董事会认证在眼科吗?
发现在125年这个横断面研究,包括基于文本的选择题OphthoQuestions提供的免费试用板认证考试准备,ChatGPT正确回答了58问题(46%)。
意义医疗专业人士和学生应该欣赏人工智能在医学上的进步,在承认ChatGPT用于这个调查没有回答足够多选题在准备为它提供大量援助委员会认证。
重要性ChatGPT是一个人工智能(AI)聊天机器人,具有重要的社会意义。使用医学人工智能正在开发培训课程,和聊天机器人的性能在眼科没有特点。
客观的评估的性能ChatGPT在眼科回答实践问题委员会认证。
设计,设定和参与者这个横断面研究使用连续样本提供的基于文本的选择题OphthoQuestions实践问题银行董事会认证考试准备。166多项选择题,125(75%)是基于文本的。
曝光ChatGPT回答问题1月9日至16日,2023年,并于2023年2月17日。
主要结果和措施我们的主要结果是委员会的认证考试练习题的数量ChatGPT回答正确。我们二级结果的比例问题,ChatGPT提供额外的解释,问题和响应的平均长度由ChatGPT提供,ChatGPT的性能在没有选择题选项的回答问题,随着时间的推移和性能的变化。
结果2023年1月,ChatGPT正确回答了125个问题58 (46%)。ChatGPT的性能是最好的分类一般内科(11/14;79%)和贫穷在视网膜和玻璃(0%)。的比例问题,ChatGPT提供额外的解释类似的问题回答正确和错误之间(不同,5.82%;95%可信区间,−11.0%到22.0%;χ21= 0.45;P= .51)。的平均长度问题是类似的问题回答正确和错误之间(不同,21.4字符;,36.8;95%可信区间,51.4−94.3;t= 0.58;df= 123;P= 22)。响应的平均长度是类似的问题回答正确和错误之间(不同,−80.0字符;,65.4;95%可信区间,209.5−49.5;t=−1.22;df= 123;P= 22)。ChatGPT一样选择了多项选择题反应最常见的回答OphthoQuestions眼科学员提供的44%的时间。2023年2月,ChatGPT提供正确响应73 125多项选择题(58%)和78年42独立问题(54%),而不选择题选项。
结论和意义ChatGPT回答问题正确的大约一半OphthoQuestions眼科委员会认证的准备免费试用的。医疗专业人员和学员应该欣赏人工智能在医学上的进步而承认ChatGPT本调查中使用它没有回答足够多选题提供大量援助在准备认证。