SEO

robots.txt 때문에 검색에서 막혔는지 어떻게 확인하나요

주소창과 서치 콘솔로 robots.txt 차단 여부를 확인하는 방법과, 차단을 풀고 나서 해야 할 일을 정리했습니다.

2026-09-22·웨비스튜디오

#robots.txt 확인#검색 차단#SEO 점검#홈페이지 검색 노출

핵심 요약

브라우저에서 도메인 뒤에 /robots.txt를 붙여 내용을 보고, Disallow 규칙이 검색에 나와야 할 경로를 막고 있는지 확인합니다.

핵심 판단

가장 빠른 확인은 주소창에 도메인/robots.txt를 직접 열어 보는 것입니다.

검색에 나와야 할 경로를 막는 Disallow 줄이 문제입니다. User-agent 아래에 Disallow: / 만 있으면 사이트 전체가 막힌 상태입니다. 구글 서치 콘솔의 URL 검사에서도 특정 주소가 robots.txt로 차단됐는지 표시됩니다.

차단을 풀어도 즉시 반영되지는 않습니다. 검색엔진이 다시 읽어갈 때까지 기다리거나 수집을 다시 요청해야 합니다. 요청 방법은 구글 색인 생성 요청에 정리했습니다.

파일 자체가 처음이라면 robots.txt는 무엇을 하는 파일인가요를 먼저 보세요. 차단이 아닌데도 노출이 없다면 SEO 진단에서 다른 원인을 분리하고, 재제작 기준 단가는 홈페이지 제작 비용에 있습니다.

차단을 풀어도 즉시 반영되지는 않습니다. 검색엔진이 다시 읽어갈 때까지 기다리거나 수집을 다시 요청해야 합니다.

검색에 나와야 할 경로를 막는 Disallow 줄이 문제입니다. User-agent 아래에 Disallow: / 만 있으면 사이트 전체가 막힌 상태입니다.