W2의 WAF가 크롤러를 차단하고 있지 않은지 확인
W2의 WAF가 크롤러를 차단하고 있지 않은지 확인
| Category | Reading Time | Series Title | Description | Source | Copyright |
|---|---|---|---|---|---|
| Guides | 8분 분량 | 일본 EC 플랫폼별 검색·AI 검색 가이드 | W2처럼 자사 운영 기반에서는 WAF나 봇 대책, 속도 제한이 검색 엔진과 AI 크롤러를 잘못 차단하는 경우가 있어요. 차단되고 있는지를 Search Console과 서버 로그로 확인하는 절차, 정규 크롤러를 구분하는 법, AI 크롤러를 허용할지 거부할지... | searchos.io/ko/blog | © 2026 Search OS |
W2로 운영하는 사이트의 색인 수가 어느 주부터 갑자기 줄어드는 일이 있습니다. 사이트는 바꾸지 않았고, 보안 강화로 WAF 설정을 바꾼 시기가 그때와 겹칩니다.
WAF나 봇 대책이 검색 엔진과 AI 크롤러를 공격적인 봇으로 오해해 막고 있을 수 있습니다. 크롤러는 페이지를 읽어 가는 프로그램입니다. 크롤러는 짧은 시간에 많은 요청을 보내기 때문에 속도 제한이나 행동 감지에 걸리기 쉽습니다. 막히면 Googlebot에는 오류(403, 429, 5xx)가 돌아가고, 색인이 줄면서 순위도 떨어집니다. 사이트의 HTML은 그대로라 원인을 알아차리기 어렵습니다.
이 글에서는 차단 확인 절차와 정규 크롤러를 구분하는 법을 정리합니다. AI 크롤러의 허용·거부 방침, 설정을 바꿀 때의 운영 규칙도 함께 다룹니다.
결론: Search Console의 크롤 통계와 서버 로그의 응답 코드로 확인하고, 정규 크롤러는 허용 목록에 넣는다
확인 | 보는 곳 | 차단의 징후 |
|---|---|---|
크롤 응답 | Search Console 설정 → 크롤 통계 | 403·429·5xx의 비율이 늘고 있다 |
수집 가능 여부 | Search Console URL 검사 → 실시간 테스트 | "가져올 수 없음" |
서버 로그 | WAF·웹 서버 로그 | Googlebot·GPTBot 등의 User-Agent에 대한 403·429 |
WAF의 차단 로그 | WAF 관리 화면 | 정규 크롤러의 IP가 차단 대상에 포함되어 있다 |
Search OS 가이드 01
WAF가 크롤러를 차단하고 있지 않은지 확인
403·429·5xx가 늘었다면 의심
| 단계 | 상세 내용 |
|---|---|
| 크롤 통계 | Search Console 설정 응답 코드 내역 |
| URL 검사 라이브 테스트 | "가져올 수 없음"이면 차단 중 |
| 서버 로그 | Googlebot·GPTBot에 대한 403·429 |
| WAF 차단 로그 | 정규 크롤러 IP가 대상에 포함되는가 |
| 허용 목록 갱신 | 공개 IP 범위로 검증 robots.txt 거부는 별개 |
- POINT
- WAF 설정 변경은 "사이트 변경" 날짜를 기록해 색인과 대조
© 2026 Search OS
중요한 관점: WAF 설정 변경은 사이트 변경입니다. HTML을 손대지 않았어도 검색 엔진이 보는 사이트는 달라집니다. 가게 문은 그대로인데 경비원이 손님을 돌려보내는 것과 같습니다. 설정을 바꾼 날짜를 기록해 색인 변화와 맞춰 볼 수 있게 해 둡니다.
절차 1: Search Console에서 확인한다
설정 → 크롤 통계를 연다
"호스트 상태"에 문제가 나와 있지 않은지 확인한다
"응답별" 내역에서 403·429·5xx가 늘어난 시기를 특정한다
URL 검사에서 주력 페이지의 실시간 테스트를 실행해 가져올 수 있는지 확인한다
실시간 테스트에서 가져올 수 없다면 그 시점에 Googlebot은 막혀 있습니다. 주력 페이지 하나로 실시간 테스트를 돌려 봅니다.
절차 2: 서버 로그에서 확인한다
WAF 또는 웹 서버의 액세스 로그를 아래 조건으로 거릅니다.
User-Agent에
Googlebot,bingbot,GPTBot,ClaudeBot,PerplexityBot등을 포함응답 코드가 403, 429, 5xx
해당하는 요청이 있으면 어떤 규칙에 걸렸는지 WAF 로그에서 찾습니다. Googlebot의 응답 코드만 먼저 뽑아 봅니다.
절차 3: 정규 크롤러를 구분한다
User-Agent는 위장할 수 있습니다. 그래서 허용 목록에는 IP 검증을 함께 씁니다. 이름표만 믿지 않고 신분증까지 확인하는 셈입니다.
크롤러 | 검증 방법 |
|---|---|
Googlebot | Google이 공개하는 IP 주소 범위(JSON)와 대조하거나, 역방향 DNS로 googlebot.com을 확인 |
bingbot | Bing이 공개하는 IP 범위와 대조 |
GPTBot·OAI-SearchBot | OpenAI가 공개하는 IP 범위와 대조 |
ClaudeBot | Anthropic이 공개하는 정보와 대조 |
PerplexityBot | Perplexity가 공개하는 IP 범위와 대조 |
각사의 공개 IP는 바뀌므로 허용 목록도 정기적으로 갱신합니다. 허용 목록을 마지막으로 갱신한 날짜를 확인합니다.
AI 크롤러를 허용할 것인가 거부할 것인가
이것은 기술이 아니라 방침의 문제입니다. 설정을 만지기 전에 방침부터 정합니다.
방침 | 의미 | 설정 |
|---|---|---|
검색 엔진도 AI도 허용 | AI 검색에서의 인용을 노린다 | 모든 정규 크롤러를 허용 목록에 |
검색 엔진은 허용, AI 학습용은 거부, AI 검색용은 허용 | 인용은 원하지만 학습에는 쓰이게 하지 않는다 | GPTBot(학습)은 거부, OAI-SearchBot(검색)은 허용 등 |
검색 엔진만 허용 | AI 검색에 나오지 않아도 된다 | AI 크롤러를 robots.txt로 거부 |
상단 태그
- Search OS
- 가이드 02
AI 크롤러를 허용할까 거부할까
기술이 아니라 방침의 문제
| 번호 | 제목 | 설명 |
|---|---|---|
| 1 | 검색엔진도 AI도 허용 | AI 검색 인용을 노림 → 모든 정규 크롤러를 허용 목록에 |
| 2 | 학습용은 거부, 검색용은 허용 | 인용은 원하지만 학습엔 쓰이기 싫음 → GPTBot 거부, OAI-SearchBot 허용 |
| 3 | 검색엔진만 허용 | AI 검색에 안 나와도 됨 → AI 크롤러를 robots.txt로 거부 |
© 2026 Search OS
거부는 WAF가 아니라 robots.txt로 하는 것이 기본입니다. WAF로 막으면 크롤러는 이를 오류로 기록하고, 그 기록이 사이트 건전성 평가에 영향을 주기도 합니다. robots.txt의 거부는 의도적인 거부로 취급됩니다. 세 방침 중 하나를 먼저 고릅니다.
설정 변경 시 운영 규칙
WAF·봇 대책·속도 제한의 설정 변경은 날짜와 내용을 기록한다
변경 후 1주일간 Search Console의 크롤 통계에서 응답 코드를 확인한다
허용 목록을 갱신하기 전에 각사의 최신 IP 범위를 가져온다
속도 제한의 임계값은 Googlebot의 평소 크롤 빈도(크롤 통계에서 확인)를 밑돌지 않는 값으로 한다
확인한 뒤의 운영
WAF 설정은 보안 담당이 바꾸고 SEO 담당은 모르는 상황이 전형적입니다. 한 번 확인해서 문제가 없어도 다음 설정 변경에서 다시 생깁니다. AI 크롤러는 새로운 것이 계속 나오므로 허용 목록의 전제도 바뀝니다.
Search OS는 W2를 포함한 자사 운영 기반의 봇 로그를 계속 지켜봅니다. 검색 엔진과 AI 크롤러의 응답 코드를 감시합니다. 차단 발생, 새로운 크롤러의 출현, 허용 목록과 실태의 어긋남을 감지해 수정 대상으로 정리합니다. WAF 설정을 하는 층이 아닙니다. 설정의 결과로 크롤러에 무슨 일이 생기는지 지켜보는 층입니다. 보안 담당과 설정 변경을 공유하는 규칙부터 정합니다.
자주 묻는 질문
일시적인 차단이라도 색인에 영향을 주나요?
며칠 정도의 차단이라면 해제 후에 회복됩니다. 몇 주 이어지면 색인에서 빠지는 페이지가 생기고, 회복에도 시간이 걸립니다.
CDN 쪽 봇 대책도 있나요?
CDN에도 봇 대책이 있습니다. WAF와 이중으로 막고 있는 경우가 있으니 CDN 로그도 함께 확인합니다.
속도 제한에 걸리는 건 Googlebot의 크롤이 너무 많기 때문 아닌가요?
Googlebot의 크롤 빈도는 예전에는 Search Console에서 낮출 수 있었습니다. 지금은 자동 조정만 남아 있습니다. 사이트가 느리거나 오류가 많으면 자동으로 줄어듭니다. 속도 제한으로 막기보다 사이트 쪽 응답을 안정시키는 편이 맞습니다.
함께 읽기
참고 자료
Google Search Central: Verifying Googlebot and other Google crawlers
Google Search Central: Crawl Stats report
Google Search Central: Overview of Google crawlers and fetchers
OpenAI: Overview of OpenAI Crawlers