Shopify 컬렉션·태그 중복 URL과 크롤
Shopify에서는 같은 상품이 주소 두 개로 열립니다. /collections/컬렉션명/products/상품명 과 /products/상품명 양쪽이며, 태그로 좁힌 URL도 따로 생깁니다. 이 구조가 크롤에 영향을 주는지 묻는 문의가 자주 들어옵니다.
답은 "영향을 준다. 다만 색인 중복과 크롤 낭비는 별개의 문제"입니다. canonical은 어느 URL이 원본인지 검색 엔진에 알려 주는 표시입니다. Shopify 표준 테마는 컬렉션 경유 URL에 단독 URL을 가리키는 canonical을 내보냅니다. 그래서 검색 엔진은 어느 쪽을 정본으로 삼을지 알고 있습니다. 색인이 두 번 되는 일은 보통 없습니다. 한편 크롤러는 canonical을 읽기 전에 그 URL을 먼저 가져와야 합니다. 가져온 만큼 크롤 예산은 쓰입니다.
이 글에서는 중복 URL이 생기는 구조와 canonical이 해결하는 것, 해결하지 못하는 것을 정리합니다. 크롤 예산 관점의 확인 항목과 태그·필터 URL 처리 방침도 함께 다룹니다.
결론: 색인 중복은 canonical로 막을 수 있다. 크롤 낭비는 별도 관리가 필요하다
문제 | Shopify 표준 상태 | 영향 | 대처 |
|---|---|---|---|
같은 상품이 여러 URL로 열린다 | canonical이 단독 URL을 가리킨다 | 색인 중복은 거의 일어나지 않는다 | 테마가 canonical을 올바르게 출력하는지 확인 |
컬렉션 경유 URL이 사이트 내 링크에 쓰인다 | 테마 설정에 따름 | 크롤러가 중복 URL을 대량으로 가져간다 | 내부 링크를 단독 URL로 통일 |
태그 필터 URL이 무수히 생긴다 | 색인 가능한 상태인 경우가 많다 | 저가치 페이지가 크롤 예산을 소비 | noindex 또는 robots로 제어 |
정렬·필터의 쿼리 파라미터 | 색인 가능 | 위와 같음 | canonical과 robots로 제어 |
상품이 수백 점이고 컬렉션과 태그가 적을 때는 실제 피해로 이어지기 어렵습니다. 상품이 수천 점, 태그가 수백 종류, 컬렉션 조합까지 늘어나면 이야기가 달라집니다. 크롤러는 페이지를 읽어 가는 프로그램입니다. 크롤러가 "정말 색인되길 바라는 페이지"에 닿기 전에 예산을 다 써 버립니다.
중요한 관점: 크롤 예산은 도메인 단위로 "크롤러가 일정 기간에 처리하는 URL 수"의 상한입니다. 중복 URL은 색인되지 않아도 수집은 됩니다. 수집된 만큼 신상품이나 갱신한 상품 페이지의 발견이 늦어집니다. 하루에 돌 수 있는 집 수가 정해진 배송 기사와 비슷합니다. 표의 문제 중 우리 스토어에 해당하는 줄을 먼저 표시합니다.
중복 URL이 생기는 구조
Shopify 상품에는 3계통의 URL이 있을 수 있습니다.
단독 URL: /products/상품 핸들. 이것이 정본 URL입니다.
컬렉션 경유 URL: /collections/컬렉션 핸들/products/상품 핸들. 컬렉션 페이지에서 상품을 눌렀을 때 테마가 만듭니다.
태그·필터·정렬 URL: /collections/컬렉션 핸들/태그명, 또는 ?sort_by= 나 ?filter.v.option= 같은 쿼리 파라미터가 붙은 URL.
1과 2는 canonical로 통일됩니다. 3은 상품 페이지가 아니라 목록 페이지의 파생입니다. canonical 방향이 테마마다 달라서 색인 가능한 채로 방치된 경우가 흔합니다. 필터를 건 컬렉션 URL의 canonical이 어디를 가리키는지 확인합니다.
canonical이 해결하는 것과 못 하는 것
canonical은 "이 URL의 정본은 다른 URL입니다"라고 검색 엔진에 전하는 선언입니다. 해결하는 것은 색인 통합과 평가 집약입니다. 크롤러의 행동 자체는 제한하지 않습니다.
해결하는 것: 같은 상품이 검색 결과에 두 번 나오는 것을 막습니다. 링크 평가를 단독 URL에 모읍니다.
해결하지 않는 것: 크롤러가 중복 URL을 가져가는 것. 사이트맵에 중복 URL이 실리는 것. 내부 링크가 중복 URL을 가리키는 것.
내부 링크가 컬렉션 경유 URL을 가리키면 크롤러는 매번 그 URL을 가져온 뒤 canonical을 읽고 단독 URL로 갑니다. 사이트 전체에서 이 왕복이 쌓이면 크롤 효율이 눈에 띄게 떨어집니다. 상품 카드 링크가 /products/로 바로 가는지 확인합니다.
크롤 예산 관점에서 확인할 항목
확인 항목 | 확인 방법 | 판단 기준 |
|---|---|---|
색인된 URL 중 컬렉션 경유 URL의 비율 | Search Console의 페이지 보고서, site: 검색 | 0에 가까울수록 좋다 |
크롤됨·미색인 URL의 수와 종류 | Search Console의 "크롤됨 - 현재 색인이 생성되지 않음" | 태그·파라미터 URL이 대부분이면 대처 필요 |
내부 링크가 단독 URL을 가리키고 있는가 | 테마의 상품 카드 링크 대상을 확인 | 모두 /products/ 바로 아래가 이상적 |
사이트맵의 내용 | /sitemap.xml 과 그 하위 | 단독 URL만 실려 있는가 |
봇의 수집 로그 | 서버 로그 또는 봇 로그 | 중복 URL의 수집 횟수가 많으면 대처 필요 |
마지막 항목이 가장 직접적인 증거입니다. Shopify 관리 화면에서는 봇의 수집 로그가 보이지 않습니다. 그래서 여기는 별도의 수단이 있어야 합니다. Search Console 페이지 보고서에서 컬렉션 경유 URL을 세어 봅니다.
태그·필터 URL의 처리 방침: 3가지 선택지
방침 | 내용 | 적합한 경우 | 주의점 |
|---|---|---|---|
A. 색인시키지 않는다 | 태그·파라미터 URL에 noindex를 부여하거나, robots.txt.liquid로 크롤 자체를 제한 | 태그에 검색 수요가 없는 경우(색상·사이즈 등) | robots로 막으면 canonical도 읽히지 않는다 |
B. 일부를 정식 페이지로 승격 | 검색 수요가 있는 태그(용도·장면 등)를 독립된 컬렉션으로 만들고 설명문을 붙인다 | "선물" "여름용" 등 검색되는 필터 조건 | 설명문 없는 페이지를 늘리지 않는다 |
C. canonical로 상위 컬렉션에 집약 | 필터 URL의 canonical을 상위 컬렉션으로 향하게 한다 | 방침 A와 B의 중간 | 크롤 자체는 계속된다 |
많은 스토어에서는 A와 B를 함께 쓰는 것이 현실적입니다. 검색 수요가 있는 필터 조건만 B로 정식 페이지로 만듭니다. "선물"은 살리고 색상 태그는 막는 식입니다. 그 외에는 A로 막습니다. 태그 목록에서 검색될 만한 것만 먼저 고릅니다.
상품 수가 늘었을 때 생기는 일
상품이 수천 점, 컬렉션 수십 개, 태그 수백 개가 되면 이론상 URL 수는 상품 수의 몇 배가 됩니다. 이 상태에서 신상품을 올려도 크롤러가 찾기까지 시간이 걸립니다. 그래서 시즌 상품의 색인이 판매 기간에 맞지 않는 일이 생깁니다.
Search OS는 이 단계의 스토어에서 봇 로그부터 봅니다. Googlebot과 GPTBot이 어느 URL을 얼마나 가져가는지 확인합니다. 중복 URL·저가치 URL의 수집 비율을 눈에 보이게 만듭니다. 그다음 canonical·noindex·사이트맵·내부 링크 수정을 우선순위를 매겨 정리합니다. Shopify 테마나 상품 데이터를 바꾸는 것이 아닙니다. 봇이 읽는 층의 낭비를 줄여 색인되길 바라는 페이지에 예산을 돌리는 접근입니다. 봇 로그를 볼 수단이 있는지 먼저 확인합니다.
자주 묻는 질문
컬렉션 경유 상품 URL을 모두 없애야 하나요?
없앨 필요는 없습니다. canonical이 바르면 색인은 통일됩니다. 다만 내부 링크는 단독 URL로 통일하는 편이 크롤 효율이 올라갑니다.
태그 페이지를 noindex로 하면 태그로 검색하는 사람을 놓치지 않나요?
검색 수요가 있는 태그는 noindex 대신 설명문이 있는 독립 컬렉션으로 승격시킵니다(방침 B). 수요가 없는 태그만 막습니다.
robots.txt로 필터 URL을 막는 것과 noindex 중 어느 쪽이 좋나요?
robots로 막으면 크롤 자체는 줄어듭니다. 대신 canonical이나 noindex는 읽히지 않습니다. 이미 색인된 URL을 빼려면 noindex를 먼저 씁니다. 색인이 사라진 뒤 robots로 막는 순서가 안전합니다.
함께 읽기
참고 자료
Google Search Central: Managing crawl budget for large sites
Google Search Central: Consolidate duplicate URLs
Google Search Central: Faceted navigation best practices
Shopify Help Center: SEO