robots.txt는 무엇을 하는 파일인가요

robots.txt는 검색엔진 수집 로봇에게 어떤 경로를 읽어도 되는지 알려 주는 텍스트 파일입니다. 사이트 최상위 주소에 둡니다.

하는 일과 못 하는 일

robots.txt는 비밀번호가 아니라 요청이라 접근 차단 수단은 아닙니다. 공개되면 안 되는 페이지는 로그인으로 막아야 합니다. 파일이 없으면 전체 수집 허용으로 해석되는 경우가 많아 그 자체로 문제가 되지는 않습니다.

실제로 문제가 되는 경우

제작 중 검색 차단을 걸어 두고 오픈 후 해제하지 않은 경우입니다. 병원·학원처럼 오픈 일정에 맞춰 급히 공개한 사이트에서 자주 나옵니다. 몇 달 동안 검색에 아무것도 안 나오는 원인이 이 한 줄일 수 있습니다.

확인 방법은 robots.txt 차단 확인에, 함께 보는 사이트맵은 사이트맵이 뭔가요에 있습니다. 우리 사이트가 막혀 있는지 모르겠다면 SEO 진단을, 단가는 홈페이지 제작 비용을 보세요.