구글 스크래퍼 차단, 9월 들어 더 강해졌다

결론부터 말하면 이렇다. 9월 13일 무렵부터 구글이 검색결과를 긁어가는 AI 스크래퍼·서드파티 검색 스크래퍼·트래킹 툴에 대한 차단을 눈에 띄게 강화한 것으로 보인다. 랭크트래커(순위 추적 도구) 여러 업체가 데이터 수집 실패를 직접 인정했고, 일부는 지금도 지연이 이어지고 있다.

지금 쓰고 있는 랭크트래커의 순위 데이터가 최근 들쭉날쭉해 보인다면, 내 사이트만의 문제가 아닐 가능성이 크다.

이루웹 블로그는 앞서 검색결과 링크가 google.com/goto를 거치도록 바뀐 사건을 다룬 바 있다. 이번 소식은 같은 사건은 아니지만, 구글이 검색결과에 접근하는 자동화된 도구를 더 적극적으로 걸러내고 있다는 같은 흐름 위에 있다.

9월 들어 정확히 무엇이 달라졌나?

여러 SEO 툴 업체가 같은 시기에 데이터 수집 실패를 겪었다는 점이 이번 소식의 핵심이다. 검색 전문 매체 서치엔진라운드테이블에 따르면, 랭크트래커 업체 노즐의 데릭 퍼킨스는 구글 검색에서 데이터 수집 시도의 약 80퍼센트가 차단됐다고 밝혔다. 데이터포SEO도 비슷한 차단을 겪었다고 전했다.

시각화 데이터 업체 시스트릭스는 9월 16일 자사 상태 페이지에 데이터 수집 속도 저하를 공지했다. 시스트릭스의 스티브 페인은 이런 변화가 지난 1년 동안 꾸준히 이어져 왔고, 최근 들어 특히 빠른 속도로 진행되고 있다고 설명했다. 하루아침에 생긴 일이 아니라 누적된 흐름이라는 뜻이다.

구글은 이번 차단 강화의 목적을 공식적으로 밝힌 적이 없다. "AI 학습 데이터 수집 차단" 같은 해석은 업계 관찰자들의 추정일 뿐, 구글의 공식 입장은 아니다.

업계 분석가 글렌 게이브가 정리한 바에 따르면 툴마다 회복 속도도 달랐다. 에이레프스는 문제를 정상적으로 감지하고 회복했지만, 시스트릭스는 감지조차 못 했고, 세엠러시는 뒤늦게 감지했다. 같은 사건에 업체별 대응 수준이 갈렸다는 뜻이다.

랭크트래커 수치가 실제 화면과 달라 보이는 이유는?

랭크트래커는 실시간으로 구글에 접속해 순위를 확인하는 방식으로 작동하는데, 이 접속 자체가 차단당하면 오래된 값이나 불완전한 값을 대신 보여줄 수밖에 없다. 9월 22일자 서치엔진라운드테이블 데일리 리캡에는 랭크트래킹 업체 어드밴스드 웹 랭킹이 "추적한 순위가 왜 더 이상 실제 구글 화면과 일치하지 않는가"를 다룬 글을 올린 사실도 함께 소개됐다. 같은 문제의식이 업계 여러 곳에서 동시에 나오고 있다는 뜻이다.

여기서 꼭 구분해야 할 것이 있다. 이번 이슈는 검색 알고리즘이 바뀌어 실제 순위가 흔들린 것이 아니라, 순위를 '측정하는 도구'가 값을 제대로 가져오지 못하는 문제다. 원인과 결과를 헷갈리면 애꿎은 곳에서 대책을 찾게 된다.

국내 SEO 담당자가 지금 확인해야 할 것은?

당장 랭크트래커 업체를 바꾸거나 패닉에 빠질 필요는 없다. 대신 아래 사항만 순서대로 확인하면 충분하다.

순위 급변이 보이면 실제 순위 하락인지, 랭크트래커의 데이터 수집 오류인지부터 구분하는 것이 먼저다.

• 쓰고 있는 랭크트래커 업체의 공지·상태 페이지를 먼저 확인한다. 이번처럼 업체가 스스로 문제를 인정하고 공지하는 경우가 많다
• 급격한 순위 변동이 보이면 서치 콘솔의 실제 노출·클릭 데이터와 먼저 비교한다. 서치 콘솔은 구글이 직접 제공하는 데이터라 이번 이슈의 영향을 받지 않는다
• 한 가지 지표만 보고 결론 내리지 않는다. 랭크트래커, 서치 콘솔, 실제 문의·매출까지 교차 확인하는 습관이 이런 일시적 소음에 흔들리지 않는 가장 확실한 방법이다

이런 흐름은 검색엔진이 스크래핑에 점점 더 민감하게 반응하는 큰 그림과도 이어진다. 구글봇과 AI 크롤러의 접근을 정확히 어떻게 관리해야 하는지 다시 정리하고 싶다면 서치 콘솔 크롤링 통계 보고서 가이드를 참고할 만하고, 검색결과 데이터를 둘러싼 법적 분쟁이 궁금하다면 구글 SerpApi 소송 관련 글도 함께 볼 만하다.

랭크트래커 숫자에 일희일비하기보다, 내 사이트가 실제로 어떤 검색어에서 어떻게 노출되고 있는지 원본 데이터로 확인하는 습관이 결국 가장 안전합니다. 이루웹은 서치 콘솔 데이터 기반의 검색엔진최적화 점검을 함께 진행해 드리고 있습니다. 지금 우리 사이트의 실제 노출 상태가 궁금하시다면 이루웹의 서비스를 살펴보시고, 무료 상담으로 편하게 문의해 주시기 바랍니다.