ChatGPT Is Equivalent to First-Year Plastic Surgery Residents: Evaluation of ChatGPT on the Plastic Surgery In-Service Examination.
4/5 보강
🔎 핵심 키워드
줄기
third-
챗GPT(ChatGPT)
[BACKGROUND] ChatGPT
55.8
[CONCLUSIONS] ChatGPT
챗GPT(ChatGPT)
전체 NER ↓
연도별 인용 (2022–2026) · 합계 157
OpenAlex 토픽 ·
Artificial Intelligence in Healthcare and Education
Radiomics and Machine Learning in Medical Imaging
Surgical Simulation and Training
🇰🇷 한글 요약 🌐 Abstract
【연구 목적】
ChatGPT와 같은 대규모 언어 모델이 성형외과 인서비스 시험(Plastic Surgery In-Service Examination)에서 수행하는 수준을 평가하고, 이를 전국 성형외과 레지던트들의 성적과 비교하여 AI의 의료 교육 및 임상 지식 적용 능력을 검증하는 것을 목적으로 한다.
【방법】
2018년부터 2022년까지의 성형외과 인서비스 시험 문제를 데이터 소스로 활용하였으며, 각 문제의 문항과 선택지를 ChatGPT에 입력하여 정답 여부를 확인하였다. 특히 2022년도 시험 결과를 기준으로 ChatGPT의 점수를 전국 성형외과 레지던트들의 성적 분포와 비교 분석하여 백분위 수치를 산출하였다.
【주요 결과】
총 1,129문항 중 ChatGPT는 630문항(55.8%)을 정답으로 처리하였으며, 2021년도 시험에서 60.1%로 가장 높은 점수를 기록하였다. 2022년도 시험 기준 ChatGPT의 성적은 통합 성형외과 1년차 레지던트의 49번째 백분위, 2년차의 13번째 백분위, 3~4년차의 5번째 백분위, 5~6년차의 0번째 백분위에 해당하여 고학년 레지던트 대비 낮은 성능을 보였다.
【임상적 시사점 (성형외과 의사 관점)】
본 연구는 성형외과 전공의 초기 단계의 기초 지식 수준과 유사한 AI의 능력을 보여주나, 임상적 판단이 요구되는 고학년 수준에서는 한계가 있음을 시사한다. 성형외과 의사로서 환자 상담이나 기초 의학 지식 확인에 AI를 보조 도구로 활용할 수는 있으나, 수술 계획 수립이나 복잡한 합병증 관리와 같은 고난도 임상 결정에는 의존할 수 없다. 특히 화상 재건이나 악안면 수술과 같은 다학제적 협진이 필요한 경우, AI의 답변이 기초 문헌 수준에 머무를 수 있음을 인지하고 최종 판단은 의사의 전문적 경험에 맡겨야 한다. 또한, AI가 생성한 정보가 환자 교육 자료로 사용될 경우 정확성 검증이 필수적이며, 오해의 소지가 있는 정보는 금기시해야 한다. 성형외과 교육 현장에서는 AI를 학습 보조 수단으로 활용하되, 임상 실무 적용 시에는 인간 의사의 검증 과정을 반드시 거치도록 주의해야 한다.
[BACKGROUND] ChatGPT is an artificial intelligence language model developed and released by OpenAI (San Francisco, CA) in late 2022.
[OBJECTIVES] The aim of this study was to evaluate the performance of ChatGPT on the Plastic Surgery In-Service Examination and to compare it to residents' performance nationally.
[METHODS] The Plastic Surgery In-Service Examinations from 2018 to 2022 were used as a question source. For each question, the stem and all multiple-choice options were imported into ChatGPT. The 2022 examination was used to compare the performance of ChatGPT to plastic surgery residents nationally.
[RESULTS] In total, 1129 questions were included in the final analysis and ChatGPT answered 630 (55.8%) of these correctly. ChatGPT scored the highest on the 2021 exam (60.1%) and on the comprehensive section (58.7%). There were no significant differences regarding questions answered correctly among exam years or among the different exam sections. ChatGPT answered 57% of questions correctly on the 2022 exam. When compared to the performance of plastic surgery residents in 2022, ChatGPT would rank in the 49th percentile for first-year integrated plastic surgery residents, 13th percentile for second-year residents, 5th percentile for third- and fourth-year residents, and 0th percentile for fifth- and sixth-year residents.
[CONCLUSIONS] ChatGPT performs at the level of a first-year resident on the Plastic Surgery In-Service Examination. However, it performed poorly when compared with residents in more advanced years of training. Although ChatGPT has many undeniable benefits and potential uses in the field of healthcare and medical education, it will require additional research to assess its efficacy.
[OBJECTIVES] The aim of this study was to evaluate the performance of ChatGPT on the Plastic Surgery In-Service Examination and to compare it to residents' performance nationally.
[METHODS] The Plastic Surgery In-Service Examinations from 2018 to 2022 were used as a question source. For each question, the stem and all multiple-choice options were imported into ChatGPT. The 2022 examination was used to compare the performance of ChatGPT to plastic surgery residents nationally.
[RESULTS] In total, 1129 questions were included in the final analysis and ChatGPT answered 630 (55.8%) of these correctly. ChatGPT scored the highest on the 2021 exam (60.1%) and on the comprehensive section (58.7%). There were no significant differences regarding questions answered correctly among exam years or among the different exam sections. ChatGPT answered 57% of questions correctly on the 2022 exam. When compared to the performance of plastic surgery residents in 2022, ChatGPT would rank in the 49th percentile for first-year integrated plastic surgery residents, 13th percentile for second-year residents, 5th percentile for third- and fourth-year residents, and 0th percentile for fifth- and sixth-year residents.
[CONCLUSIONS] ChatGPT performs at the level of a first-year resident on the Plastic Surgery In-Service Examination. However, it performed poorly when compared with residents in more advanced years of training. Although ChatGPT has many undeniable benefits and potential uses in the field of healthcare and medical education, it will require additional research to assess its efficacy.
【연구 목적】 ChatGPT와 같은 대규모 언어 모델이 성형외과 인서비스 시험(Plastic Surgery In-Service Examination)에서 수행하는 수준을 평가하고, 이를 전국 성형외과 레지던트들의 성적과 비교하여 AI의 의료 교육 및 임상 지식 적용 능력을 검증하는 것을 목적으로 한다.
APA 7
Humar, P., Asaad, M., Bengur, F. B., & Nguyen, V. (2023). Chatgpt is equivalent to first-year plastic surgery residents: Evaluation of chatgpt on the plastic surgery in-service examination.. Aesthetic surgery journal, 43(12), NP1085-NP1089. https://doi.org/10.1093/asj/sjad130
Vancouver
Humar P, Asaad M, Bengur FB, Nguyen V. ChatGPT Is Equivalent to First-Year Plastic Surgery Residents: Evaluation of ChatGPT on the Plastic Surgery In-Service Examination. Aesthetic surgery journal. 2023;43(12):NP1085-NP1089. doi:10.1093/asj/sjad130
AMA 11
Humar P, Asaad M, Bengur FB, Nguyen V. ChatGPT Is Equivalent to First-Year Plastic Surgery Residents: Evaluation of ChatGPT on the Plastic Surgery In-Service Examination. Aesthetic surgery journal. 2023;43(12):NP1085-NP1089. doi:10.1093/asj/sjad130
Chicago
Humar, P., Asaad, M., Bengur, F. B., and Nguyen, V.. 2023. "ChatGPT Is Equivalent to First-Year Plastic Surgery Residents: Evaluation of ChatGPT on the Plastic Surgery In-Service Examination." Aesthetic surgery journal 43 (12): NP1085-NP1089. https://doi.org/10.1093/asj/sjad130
MLA 9
Humar, P., et al. "ChatGPT Is Equivalent to First-Year Plastic Surgery Residents: Evaluation of ChatGPT on the Plastic Surgery In-Service Examination." Aesthetic surgery journal, vol. 43, no. 12, 2023, pp. NP1085-NP1089. doi:10.1093/asj/sjad130.
PMID
37140001 ↗
추출된 의학 개체 (NER)
해부
줄기 stem
전체 NER 표 보기
| 유형 | 영어 표현 | 한국어 / 풀이 | UMLS CUI | 출처 | 등장 |
|---|---|---|---|---|---|
| 해부 | stem
|
줄기 | scispacy | 1 | |
| 약물 | third-
|
scispacy | 1 | ||
| 약물 | ChatGPT
|
챗GPT(ChatGPT) | scispacy | 1 | |
| 약물 | [BACKGROUND] ChatGPT
|
scispacy | 1 | ||
| 약물 | 55.8
|
scispacy | 1 | ||
| 약물 | [CONCLUSIONS] ChatGPT
|
scispacy | 1 | ||
| 기타 | ChatGPT
|
챗GPT(ChatGPT) | scispacy | 1 |
🏷️ 키워드 / MeSH 📖 같은 키워드 OA만
인용 관계
그래프 OA 노드: 0/1 (0%)
· 참조 0편 · 후속 0편
같은 제1저자의 인용 많은 논문 (2)
🏷️ 같은 키워드 · 무료전문 — 이 논문 MeSH/keyword 기반
- 피나스테리드가 전립선암 발생에 미치는 영향.
- COVID-19의 50가지 이상의 장기 후유증: 체계적 문헌고찰 및 메타분석.
- 양성 전립선 비대증의 임상적 진행에 대한 doxazosin, finasteride 및 병용 요법의 장기 효과.
- 양성 전립선 비대증 환자에서 finasteride의 효과. The Finasteride Study Group.
- 양성 전립선 비대증 남성에서 급성 요폐의 위험과 수술적 치료 필요성에 대한 finasteride의 효과. Finasteride Long-Term Efficacy and Safety Study Group.
- 원형 탈모.