메타 설명
robots.txt 설정이 잘못되면 구글 검색 색인이 차단될 수 있습니다. Search Console에서 자주 발생하는 robots.txt 문제와 해결 방법을 티스토리 기준으로 쉽게 설명합니다.
추천 URL(Slug)
/robots-txt-indexing-issue
robots.txt는 무엇을 하는 파일인가?
robots.txt는 검색엔진 크롤러에게 “어디까지 접근해도 되는지”를 알려주는 안내 파일입니다.
즉, 구글봇이 사이트에 들어올 때 가장 먼저 확인하는 규칙 파일입니다.
이 파일이 잘못 설정되면 정상적인 페이지도 검색에서 제외될 수 있습니다.
robots.txt가 중요한 이유
구글은 사이트를 방문할 때 다음 순서로 동작합니다.
- robots.txt 확인
- 크롤링 가능 여부 판단
- 페이지 접근
- 콘텐츠 분석
- 색인 여부 결정
즉, robots.txt는 크롤링의 첫 관문입니다.
robots.txt 때문에 발생하는 대표적인 문제
1. 전체 사이트 차단
가장 위험한 설정은 다음과 같습니다.
User-agent: *
Disallow: /이 설정은 모든 검색엔진 크롤링을 차단합니다.
이 경우 Google Search Console에서 다음 문제가 발생할 수 있습니다.
- 페이지 색인 안 됨
- 크롤링 자체 실패
- 발견됨 상태 지속
2. 중요한 디렉터리 차단
특정 폴더만 차단해도 문제가 될 수 있습니다.
예:
Disallow: /entry/티스토리 글이 /entry/ 구조라면 모든 글이 차단될 수 있습니다.
3. 사이트맵 경로 차단
사이트맵이 차단되면 구글이 구조를 이해하지 못합니다.
Disallow: /sitemap.xml이 경우 색인 속도가 크게 느려질 수 있습니다.
4. 티스토리 기본 설정 오해
많은 초보 운영자가 “robots.txt를 수정해야 SEO가 좋아진다”고 생각합니다.
하지만 티스토리는 기본적으로 검색엔진 친화적인 구조를 제공합니다.
불필요하게 수정하면 오히려 문제가 생길 수 있습니다.
Search Console에서 확인하는 방법
robots.txt 문제는 Search Console에서도 확인할 수 있습니다.
확인 위치
- Search Console 접속
- URL 검사 클릭
- “robots.txt에 의해 차단됨” 메시지 확인
이 메시지가 보이면 해당 URL은 크롤링되지 못하고 있는 상태입니다.
robots.txt 문제 해결 방법
1. 기본 설정 유지
티스토리를 사용하는 경우 기본 robots 설정을 유지하는 것이 가장 안전합니다.
2. 전체 차단 여부 확인
다음 문장이 있는지 반드시 확인합니다.
Disallow: /있다면 즉시 수정이 필요합니다.
3. 사이트맵 허용 확인
사이트맵은 반드시 크롤링 가능해야 합니다.
Allow: /sitemap.xml4. 변경 후 Search Console 재확인
수정 후에는 반드시 URL 검사를 통해 상태를 다시 확인해야 합니다.
실제 운영 사례
티스토리 블로그를 운영하면서 한 번은 robots.txt를 직접 수정한 적이 있습니다.
당시 검색 최적화를 개선한다고 생각하고 여러 규칙을 추가했지만, 결과적으로 일부 글이 검색에서 사라지는 문제가 발생했습니다.
이후 기본 설정으로 되돌리자 며칠 후 다시 정상적으로 색인이 진행되었습니다.
이 경험을 통해 robots.txt는 ‘최소한의 수정’이 가장 안전하다는 것을 알게 되었습니다.
초보자가 자주 하는 실수
| 실 수 | 결 과 |
| SEO 개선 목적으로 과도한 수정 | 크롤링 차단 발생 |
| 설정 의미를 모르고 복붙 | 전체 사이트 차단 |
| 문제 발생 후 계속 수정 | 상태 악화 |
| 기본 설정 백업 안 함 | 복구 어려움 |
1분 체크리스트
□ Disallow: / 설정이 없는가?
□ 사이트맵이 차단되지 않았는가?
□ 중요한 경로가 허용되어 있는가?
□ Search Console에서 차단 메시지가 없는가?
□ 수정 후 상태를 다시 확인했는가?
자주 묻는 질문(FAQ)
Q. robots.txt를 수정하면 SEO가 좋아지나요?
아닙니다. 잘못 수정하면 오히려 색인이 막힐 수 있습니다.
Q. 티스토리는 robots.txt를 꼭 수정해야 하나요?
대부분의 경우 기본 설정 그대로 사용하는 것이 가장 안전합니다.
Q. robots.txt 때문에 색인이 완전히 안 될 수도 있나요?
네. 전체 차단 설정이 되어 있다면 검색 노출이 거의 불가능해집니다.
핵심 요약
robots.txt는 SEO를 위한 “도구”가 아니라 검색엔진 접근을 제어하는 규칙 파일입니다.
잘못 설정하면 전체 사이트가 검색에서 제외될 수 있기 때문에, 반드시 기본 구조를 이해한 상태에서 최소한으로 수정해야 합니다.
출처 및 참고 자료
- Google Search Central 공식 문서
- Google Search Console 도움말
- 티스토리 운영 경험 기반 정리