▲ 단국대 이용진 교수팀, AI 가상 환자 신뢰성 검증 체계 개발… 세계적 AI 학회 ‘NeurIPS 2026’서 결실     ©

단국대학교 의과대학 이용진 교수 연구팀이 의대생의 진료 실습 교육에 도입되는 AI 가상 환자의 답변 신뢰성과 대화 능력을 체계적으로 검증할 수 있는 평가 체계를 개발해 세계 학계의 주목을 받고 있다.

단국대(총장 안순철)는 이용진 교수(의학과)가 서울대 김세중 교수, 박진용 연구원과 공동으로 수행한 이번 연구 논문이 세계 3대 머신러닝 학술대회로 꼽히는 ‘NeurIPS 2026’에 최종 채택됐다고 밝혔다. 연구 성과는 오는 12월 6일부터 13일까지 호주 시드니에서 개최되는 학술대회 ‘데이터셋 및 벤치마크 트랙’에서 공개될 예정이다.

연구팀은 GPT-4o, 클로드 3.5 소네트, 라마 3.1 70B, 하이퍼클로바X 등 국내외 주요 대형언어모델(LLM) 4종이 생성한 가상 환자의 답변을 의학교육 전문가의 모범 답안과 정밀 비교·분석했다. 평가에는 고학년 의과대학생 17명이 참여했으며, 블라인드 방식으로 집계된 총 7,480건의 평가 점수를 11개 병력 청취 범주와 3가지 언어 형식으로 구분해 종합적인 검증을 거쳤다.

분석 결과 AI 가상 환자는 대부분의 질문에서 전문가 답변 수준에 근접하는 높은 사실 정확성을 보여줬다. 그러나 환자의 핵심 증상을 확인하는 ‘주호소 파악’, 질병과 치료법을 설명하는 ‘환자 교육’, 질환을 판단하는 ‘임상 추론’ 항목에서는 언어적 유창성이 상대적으로 떨어졌다.

특히 한국어 부정형 질문을 받을 경우 자연스러움이 한층 더 저하되는 현상이 확인되어, 향후 대화 능력의 고도화 조치가 필요한 것으로 나타났다. 연구팀은 본 시스템을 실제 운영 중인 웹 기반 진료 실습 플랫폼에 탑재해 답변 품질 관리와 자동 채점 기준의 검증 기반을 단단히 다졌다.

이용진 교수는 “의학교육자가 직접 주도한 AI 가상 환자 평가 체계가 세계 최정상급 인공지능 학술대회에서 인정받아 매우 뜻깊다”며, “연구 성과를 바탕으로 AI 가상 환자의 정교함을 끌어올려, 의대 정원 확대 및 지역의료 인력 양성에 맞춰 급증하는 교육 수요를 충족할 실질적인 진료 실습 시스템을 완성해 나가겠다”고 전했다.