전 세계적으로 인공지능(AI)을 활용한 거대언어모델(Large Language Model, LLM)이 급부상하고 있는 가운데, 의학 분야에서 그 신뢰도를 검증하기 위한 국내 대학병원 연구팀의 연구 결과가 공개됐다.

장현(종양혈액내과)·정진우(비뇨의학과)·김용호(방사선종양학과) 가톨릭관동대 국제성모병원(원장 고동현 신부) 교수 연구팀은 대표적인 AI 언어모델인 'ChatGPT'와 '클로바X'의 한국어 암 정보 응답 정확도를 비교·분석한 연구 결과를 발표했다고 30일 밝혔다.

해당 연구 논문은 '한국어 암 관련 질문에 대한 대규모 언어모델의 응답 비교 분석(Comparative Analysis of Large Language Models for Answering Cancer-Related Questions in Korean)'이라는 제목으로 국제적 학술지인 연세의학저널(Yonsei Medical Journal) 7월호에 게재됐다.

이번 연구는 AI 언어모델이 한국어로 된 암 관련 질문에 얼마나 정확하고 이해하기 쉬운 답변을 제공하는지를 비교한 첫 연구로 주목받고 있다.

연구팀은 국가암정보센터와 미국국립암연구소 홈페이지에 등록된 암 관련 질문을 ChatGPT와 클로바X에 입력하고, 두 모델의 응답을 전문의가 분석했다.

그 결과 두 모델 모두 전체적으로 '유사한 수준'의 응답 품질을 보였으며 통계적으로 유의미한 차이는 없었다. 다만, 일부 문항에서는 두 모델 모두 비의학적 정보나 검증되지 않은 내용을 포함한 환각(hallucination) 응답을 제공하기도 했다.

연구팀은 '인공지능 언어모델이 한국어로 된 의료 정보를 어느 정도 수준으로 제공할 수 있는지에 대한 기초 자료를 제시한 의미 있는 연구'로 평가했다.

특히, 장현 교수는 "인공지능이 암 환자에게 신뢰할 수 있는 의료 정보를 제공하는 도구가 될 수 있도록 언어모델의 정확성을 높이는 연구를 이어가겠다"고 밝혔다.