인덱서빌리티

개요

인덱서빌리티는 검색엔진이 발견한 페이지를 자사 색인 데이터베이스에 추가할 수 있는 정도를 의미합니다. Semrush는 인덱서빌리티를 "검색엔진이 페이지를 색인에 추가할 수 있는 능력"으로 정의하며, 크롤링된 페이지라도 품질 기준과 색인 지시문을 충족해야만 실제로 색인된다고 설명합니다.

여기서 핵심은 색인이 '과정'이 아니라 '가능 정도'라는 점입니다. 인덱싱(indexing)은 검색엔진이 페이지를 분석·저장하는 실제 동작을 가리키지만, 인덱서빌리티는 그 동작이 성립할 수 있는 페이지의 상태와 조건을 가리킵니다. 따라서 같은 페이지라도 색인 차단 지시문이 걸려 있으면 인덱서빌리티가 낮은 상태로 평가됩니다.

저해 요인과 크롤러빌리티와의 차이

인덱서빌리티를 낮추는 대표 요인은 다음과 같습니다.

• noindex 지시문: <meta name="robots" content="noindex"> 또는 X-Robots-Tag HTTP 헤더가 적용되면 페이지가 크롤링되더라도 색인에서 제외됩니다.
• canonical 오설정: 잘못된 canonical은 검색엔진이 어떤 버전을 색인할지 혼란을 일으켜 의도한 페이지가 색인되지 않게 만듭니다.
• 중복 콘텐츠: 거의 동일한 페이지가 여러 개일 경우 검색엔진이 색인·순위 대상을 선별하지 못합니다.
• robots.txt 차단: 크롤 자체를 막아 색인 지시문을 읽을 기회를 차단합니다.
• 서버 오류·리다이렉트 루프·고아 페이지: 접근과 분석을 방해해 색인 가능성을 떨어뜨립니다.

크롤러빌리티(crawlability)는 검색엔진 봇이 페이지를 '발견하고 접근할 수 있는가'에 대한 개념입니다. Semrush는 크롤러빌리티를 "검색엔진이 페이지를 얼마나 쉽게 발견할 수 있는가", 인덱서빌리티를 "검색엔진이 페이지를 색인에 추가할 수 있는가"로 구분합니다. 즉 크롤러빌리티는 접근 단계, 인덱서빌리티는 색인 단계의 가능성을 다룹니다. 두 개념은 순차적으로 연결되어 있어, 크롤이 불가능하면 색인 가능 여부를 판단할 단계에 이르지 못합니다.

진단·개선·근거

Google Search Central 문서에 따르면 noindex 규칙이 효과를 내려면 해당 페이지가 robots.txt로 차단되어 있지 않아야 합니다. 차단된 상태에서는 Googlebot이 noindex 지시문을 읽지 못해, 외부 링크 등을 통해 페이지가 여전히 검색 결과에 노출될 수 있습니다. 따라서 색인을 제외하려는 페이지는 크롤 가능 상태로 두고 noindex만 적용하는 방식이 권장됩니다.

진단은 Google Search Console의 URL 검사 도구로 Googlebot이 실제 수신한 HTML과 색인 상태·제외 사유를 확인하는 방식이 기본입니다. 페이지 색인 보고서에서 noindex가 감지된 페이지 목록도 점검할 수 있습니다. Semrush·Ahrefs의 사이트 감사 기능은 broken·orphan·duplicate content 등 색인 저해 항목을 한 번에 스캔해 영향받는 페이지와 수정 방법을 제시합니다.

실행 체크리스트

• 색인 대상 페이지에 의도치 않은 noindex 태그·헤더가 없는지 점검
• 색인 제외 페이지는 robots.txt로 막지 말고 크롤 가능 상태에서 noindex 적용
• canonical이 올바른 대표 URL을 가리키는지, 자기참조 canonical이 정확한지 확인
• 중복·유사 콘텐츠를 통합하거나 canonical로 정리
• 고아 페이지에 내부 링크를 연결하고 리다이렉트 루프·서버 오류 제거
• Google Search Console URL 검사 도구로 색인 상태와 제외 사유를 주기적으로 검증
• Semrush·Ahrefs 사이트 감사로 색인 저해 이슈를 정기 모니터링

참고·출처

• Block Search Indexing with noindex — Google Search Central
• Robots Meta Tags Specifications — Google Search Central
• Crawlability & Indexability: What They Are & How They Affect SEO — Semrush