챗GPT가 암 치료와 관련해 가장 정확한 건강정보 출처가 아니라는 연구 결과가 나왔다. 챗GPT는 오픈AI의 인공지능 챗봇으로, 미국 의사면허시험(USMLE)을 통과했다는 연구가 나오기도 했다.
미국 브리검여성병원 연구팀이 챗GPT가 NCCN(국제 암 네트워크 이해관계)의 지침에 얼마나 부합하는 암 치료 권장사항을 제공하는지 평가했다. 연구팀은 발병률이 높은 유방암, 전립선암, 폐암에 초점을 맞춰 챗GPT가 각 암의 중증도에 따른 치료 접근 방식을 제공하도록 했다.
그 결과, 챗GPT의 응답 중 98%는 NCCN 가이드라인에 부합하는 최소 한 개의 치료 접근법을 제시했다. 그런데 이 응답 중 34%가 한 개 이상의 일치하지 않는 권장사항을 포함했으며, 때로는 올바른 지침 속에 해당 내용이 일부 포함돼 부적절함을 감지하기 어려웠다. 예를 들어, 진행성 유방암의 경우 다른 치료 방식에 대한 언급 없이 수술 치료만 권장했다. 또, 12.5%의 응답에서 환각이나 NCCN 가이드라인에 부재하는 내용을 권고했다.
연구팀은 챗GPT를 포함한 네 가지 챗봇 서비스의 정확도를 추가로 평가했다. 연구팀은 피부암, 폐암, 유방암, 전립선암, 결장암에 대해 질문했으며 응답의 질과 정확성을 양호하다고 판단했다. 단, 제공된 정보의 대부분이 의료 비전문가에게 너무 복잡한 내용으로 구성됐다.
연구팀은 “건강 관련 주제에 대한 정보를 스스로 얻기 위해 챗GPT를 포함한 인공지능 챗봇을 활용한다”며 “인공지능 챗봇이 훈련된 의료 전문가와 동등하지 않다는 인식을 제고해야 한다”고 말했다. 항상 임상의와 먼저 상의해야 하며 인터넷 자료만 단독으로 참조해서는 안 된다는 결론을 강조했다.
한편, 이 연구 결과는 ‘미국의사협회지 종양학(JAMA Oncology)’에 최근 게재됐다.
✔ 외롭고 힘드시죠?
암 환자 지친 마음 달래는 힐링 편지부터, 극복한 이들의 수기까지!
포털에서 '아미랑'을 검색하세요. 암 뉴스레터를 무료로 받아보실 수 있습니다.
미국 브리검여성병원 연구팀이 챗GPT가 NCCN(국제 암 네트워크 이해관계)의 지침에 얼마나 부합하는 암 치료 권장사항을 제공하는지 평가했다. 연구팀은 발병률이 높은 유방암, 전립선암, 폐암에 초점을 맞춰 챗GPT가 각 암의 중증도에 따른 치료 접근 방식을 제공하도록 했다.
그 결과, 챗GPT의 응답 중 98%는 NCCN 가이드라인에 부합하는 최소 한 개의 치료 접근법을 제시했다. 그런데 이 응답 중 34%가 한 개 이상의 일치하지 않는 권장사항을 포함했으며, 때로는 올바른 지침 속에 해당 내용이 일부 포함돼 부적절함을 감지하기 어려웠다. 예를 들어, 진행성 유방암의 경우 다른 치료 방식에 대한 언급 없이 수술 치료만 권장했다. 또, 12.5%의 응답에서 환각이나 NCCN 가이드라인에 부재하는 내용을 권고했다.
연구팀은 챗GPT를 포함한 네 가지 챗봇 서비스의 정확도를 추가로 평가했다. 연구팀은 피부암, 폐암, 유방암, 전립선암, 결장암에 대해 질문했으며 응답의 질과 정확성을 양호하다고 판단했다. 단, 제공된 정보의 대부분이 의료 비전문가에게 너무 복잡한 내용으로 구성됐다.
연구팀은 “건강 관련 주제에 대한 정보를 스스로 얻기 위해 챗GPT를 포함한 인공지능 챗봇을 활용한다”며 “인공지능 챗봇이 훈련된 의료 전문가와 동등하지 않다는 인식을 제고해야 한다”고 말했다. 항상 임상의와 먼저 상의해야 하며 인터넷 자료만 단독으로 참조해서는 안 된다는 결론을 강조했다.
한편, 이 연구 결과는 ‘미국의사협회지 종양학(JAMA Oncology)’에 최근 게재됐다.
✔ 외롭고 힘드시죠?
암 환자 지친 마음 달래는 힐링 편지부터, 극복한 이들의 수기까지!
포털에서 '아미랑'을 검색하세요. 암 뉴스레터를 무료로 받아보실 수 있습니다.