크롤러
크롤러(Crawler)는 검색엔진이 웹사이트를 자동으로 방문해서 페이지 정보를 읽고 수집하는 프로그램이에요. 구글봇, 네이버 예티봇처럼 각 검색엔진마다 자체 크롤러를 운영하고, 이 크롤러가 수집한 정보를 바탕으로 검색 결과에 어떤 페이지를 보여줄지 판단해요.
크롤러가 쇼핑몰 페이지를 제대로 읽지 못하면, 아무리 좋은 콘텐츠를 만들어도 검색 결과에 노출되기 어려워요. 콘텐츠 품질 이전에, 크롤러가 방문하고 읽을 수 있는 상태인지가 먼저 갖춰져야 해요.
크롤러가 쇼핑몰에서 중요한 이유
크롤러는 SEO의 가장 첫 단계예요. 검색 결과에 노출되려면 먼저 색인(인덱싱)이 되어야 하고, 색인이 되려면 그 전에 크롤러가 페이지를 방문해서 읽어가야 해요. 크롤러는 SEO가 시작되는 지점이기 때문에, 이 단계에서 막히면 아무리 콘텐츠와 키워드를 잘 잡아도 SEO 성과가 나올 수 없어요.
크롤러가 새로 만든 웹페이지를 더 빠르고 잘 읽게 하려면 아래 조건이 갖춰져야 해요.
- robots.txt로 접근 허용: 크롤러가 차단되어 있지 않아야 해요. 실수로 전체 사이트를 막아두면 색인 자체가 멈춰요.
- 사이트맵 제출: 크롤러가 사이트 구조를 빠르게 파악하도록 도와줘서, 새 페이지도 더 빨리 발견돼요.
- 크롤 버짓 관리: 검색 결과에 노출될 필요 없는 API 주소나 스크립트 파일이 크롤러의 방문 횟수를 소모하지 않도록 정리해야, 정작 중요한 페이지에 크롤러가 더 자주 올 수 있어요.
AI 크롤러는 뭐가 다를까요
최근에는 검색엔진 크롤러 외에 GPTBot, ClaudeBot, PerplexityBot 같은 AI 크롤러도 함께 고려해야 해요. 챗봇이나 AI 검색 서비스가 답변을 만들 때 참고할 콘텐츠를 수집하는 크롤러인데, 검색엔진 크롤러와는 목적이 달라요. 검색엔진 크롤러는 “검색 결과에 어떤 페이지를 보여줄지” 판단하기 위해 읽고, AI 크롤러는 “질문에 대한 답변을 만들 때 이 콘텐츠를 참고할지” 판단하기 위해 읽어요.
robots.txt에서 AI 크롤러를 개별적으로 허용하거나 차단할 수 있고, 이 설정에 따라 브랜드 콘텐츠가 AI 답변에 인용될지 여부가 달라져요. 최근에는 사이트의 핵심 정보를 AI가 이해하기 쉬운 형태로 정리해두는 llms.txt라는 파일도 함께 언급되고 있어요. 다만 아직 정식 표준으로 채택되지 않았고, 구글을 비롯한 주요 AI 엔진들이 공식적으로 지원한다고 밝히지 않은 상태라, 지금 당장 필수로 준비해야 하는 작업은 아니에요. 만들어두는 데 드는 비용이 크지 않으니 미리 준비해두는 정도로 접근하는 게 좋아요.
예시로 보는 크롤러
예시 1: 한 쇼핑몰이 실수로 robots.txt에서 전체 사이트를 차단해뒀어요. 몇 주간 검색 유입이 거의 없다가, 차단 설정을 확인하고 해제한 뒤 유입이 다시 정상으로 돌아왔어요.
예시 2: 한 브랜드가 상품 이미지나 위젯을 불러오는 API 주소가 검색엔진에 그대로 노출되고 있다는 걸 발견했어요. 이런 주소를 robots.txt로 차단한 뒤, 정작 중요한 상품 페이지가 더 빨리 색인되기 시작했어요.
예시 3: 한 쇼핑몰이 사이트맵을 제출하지 않고 있다가, 새로 올린 블로그 글이 검색에 반영되기까지 오래 걸렸어요. 사이트맵을 등록한 뒤부터는 새 글이 며칠 안에 검색 결과에 나타났어요.
알파앱스에서는
쇼핑몰을 운영하다 보면 크고 작은 어려움이 계속 생겨요. 알파앱스는 리뷰 관리부터 프로모션 운영, 메시지 발송, 홈페이지 제작까지 쇼핑몰을 운영하며 생길 수 있는 모든 어려움을 해결하고 있어요.
