팩트체크 잘하는 AI는? 출처 인용 정확도 비교

결론부터 말하면 이렇다. AI 검색·챗봇 중 출처를 가장 정확히 인용하는 도구는 퍼플렉시티였고, 가장 부정확한 쪽은 제미나이와 그록이었다. 다만 어느 쪽도 완벽하지 않다는 사실이 더 중요하다. 가장 정확하다는 도구조차 열에 서너 번은 출처를 틀리거나 지어낸다.

두 개의 국제 연구가 이를 뒷받침한다. 하나는 컬럼비아 저널리즘 리뷰(CJR) 산하 토우 센터(Tow Center)가 2025년 3월 발표한 AI 검색 8종 비교이고, 다른 하나는 BBC를 포함한 18개국 22개 공영방송이 2025년 10월 함께 발표한 3,000여 건 규모의 조사다. 두 연구의 결론은 같다. AI가 알려주는 출처를 그대로 믿으면 안 된다는 것이다.

출처 인용, AI마다 얼마나 정확할까?

토우 센터 연구는 뉴스 기사에서 뽑은 인용문을 AI 검색 8종에 주고, 원문 제목·발행일·매체명·URL을 정확히 답하는지 도구별 200개씩, 총 1,600건을 테스트했다. 결과는 전반적으로 나빴다. 전체 테스트의 60퍼센트 이상에서 부정확한 인용이 나왔다.

도구별 편차는 컸다.

AI 검색 도구	인용 오류율	비고
그록-3(Grok-3)	94%	8종 중 가장 부정확
챗GPT 서치	67%(134/200)
딥시크 서치	57.5%(115/200)
퍼플렉시티(무료)	37%	8종 중 가장 정확

이 조사에서 제미나이와 그록-3은 응답 절반 이상에서 존재하지 않거나 깨진 URL을 인용했고, 코파일럿은 아예 답변을 거부한 경우가 더 많아 오류율 집계에서 제외됐다.

흥미로운 점은 유료 버전(퍼플렉시티 프로)이 무료 버전보다 더 자신감 있게 틀린 답을 내놓는 역설이 관찰됐다는 것이다. 비싼 도구라고 더 정확한 것은 아니다.

뉴스 요약에서는 어떤 AI가 가장 정확했을까?

두 번째 연구는 규모가 더 크다. BBC를 비롯한 22개 공영방송이 챗GPT·코파일럿·제미나이·퍼플렉시티 네 가지에 뉴스 관련 질문 3,000여 건을 던져 응답을 평가했다. 여기서도 제미나이가 가장 부정확했다. 전체 응답의 76퍼센트에서 유의미한 오류가 나왔고, 그중 72퍼센트가 출처 관련 문제였다. 나머지 세 도구보다 두 배 넘게 높은 수치다.

반면 출처 오류율만 보면 퍼플렉시티와 코파일럿이 각각 15퍼센트로 가장 낮았고, 챗GPT는 24퍼센트였다. 네 도구를 합친 전체 결과도 밝지는 않다. 응답의 45퍼센트가 하나 이상의 유의미한 문제를 담고 있었고, 31퍼센트는 심각한 출처 문제, 20퍼센트는 환각이나 오래된 정보 같은 사실관계 오류였다.

두 연구를 합쳐 보면 순위는 이렇다. 출처 인용은 퍼플렉시티가 가장 안정적이었고, 코파일럿은 오답을 내느니 답변을 거부하는 쪽을 택하는 경향을 보였으며, 제미나이와 그록 계열은 두 연구 모두에서 부정확한 쪽에 속했다.

그럼 어떤 AI를 믿어야 할까?

정답은 "믿을 만한 AI를 고르기보다, 어떤 AI든 출처를 직접 확인하는 습관을 들이는 것"이다. 가장 성적이 좋았던 퍼플렉시티조차 오류율이 15에서 37퍼센트 사이였다. 열 번에 두세 번은 틀린다는 뜻이다.

실무에서 바로 쓸 수 있는 확인 방법은 간단하다.

• AI가 제시한 링크를 직접 클릭해 원문이 실제로 존재하는지 확인한다.
• 수치·통계·날짜처럼 틀리면 치명적인 정보는 원문에서 재확인한다.
• 같은 질문을 서로 다른 AI 두세 곳에 던져 답이 겹치는 부분만 신뢰한다.
• 원문 URL이 없거나 매체명이 낯설면 일단 의심부터 한다.

NewsGuard 같은 기관도 주요 챗봇의 허위 정보 응답 비율을 정기적으로 추적해 발표하고 있는데, 이런 흐름 자체가 "AI 답변은 검증 대상"이라는 업계 공감대를 보여준다.

홈페이지 운영자에게는 어떤 의미일까?

이 연구들은 AI를 향한 경고이자 동시에 홈페이지 운영자에게는 기회이기도 하다. AI가 출처를 자주 틀린다는 것은, 반대로 말하면 명확하고 구조화된 정보를 제공하는 사이트가 AI에게 정확히 인용될 확률이 높다는 뜻이기도 하다. 스키마 마크업을 갖추고 사실을 명료한 문장으로 정리해 두면 AI가 참고할 때 헷갈릴 여지가 줄어든다.

관련 내용은 생성형 엔진 최적화(GEO)와 스키마 마크업의 AI 인용 효과에 정리해 두었다. 사람들이 AI에게 실제로 어떻게 질문하는지 궁금하다면 AI 프롬프트 행동 분석 글도 참고할 만하다.

AI 검색 시대에도 결국 중요한 것은 원문 자체가 명확한가입니다. 이루웹은 검색과 AI 양쪽 모두에서 정확히 인용될 수 있도록 홈페이지의 구조화 데이터와 콘텐츠를 함께 점검해 드리고 있습니다. 홈페이지 제작과 이루웹의 다른 서비스를 살펴보시고, 궁금하신 점은 문의 남겨 주시기 바랍니다.