robots.txt 설정을 검색하면 ‘확인 방법·차단·위치’가 함께 뜹니다. 홈페이지를 열었는데 검색에 안 잡혀 ‘robots.txt 설정’을 의심하는 분께, 허용·차단 3줄로 누락을 막는 법을 정리합니다.
🚦 robots.txt가 하는 일 — 검색로봇의 출입 명단
robots.txt는 사이트 입구에 붙은 출입 명단입니다. ‘이 폴더는 들어와도 된다(Allow), 이 폴더는 들어오지 마라(Disallow)’를 검색로봇에게 알립니다. 명단이 없으면 로봇이 제멋대로 돌아다니고, 잘못 적으면 홈페이지 전체가 검색에서 사라집니다. 실제로 ‘사이트를 열었는데 한 달째 검색이 안 된다’는 문의의 1순위가 이 파일 오기입니다.
기본 3줄은 이렇게 생겼습니다. User-agent: * — 모든 로봇에게, Disallow: /admin/ — 관리 페이지는 수집 금지, Sitemap: https://내도메인/sitemap.xml — 페이지 목록은 여기 있다. Disallow 한 줄이 전체 차단을 의미하지는 않습니다. ‘/’ 하나만 잘못 들어가면 전체가 막히니, 고칠 때는 한 줄씩 뜯어보세요.
🔍 막아야 할 것과 열어둘 것
막아야 할 것은 세 가지입니다. ①관리자·로그인 페이지 ②사이트 내부 검색 결과 페이지 ③장바구니·결제 진행 페이지. 이 셋이 검색에 뜨면 보안 사고이거나, 중복 페이지로 품질 점수를 깎아먹습니다. 반대로 상품·글·문의 페이지는 반드시 열어두세요. ‘전부 막고 하나씩 열기’가 아니라 ‘전부 열고 셋만 막기’가 정석입니다.
자주 생기는 실수는 개발 중 차단 설정을 그대로 두는 것입니다. 만드는 동안 검색 차단을 켜뒀다가, 공개할 때 끄는 걸 잊은 겁니다. 공개 직후 주소 뒤에 /robots.txt를 붙여 직접 열어보고, Disallow가 비어 있는지 확인하는 습관 하나면 이 사고는 사라집니다.
✅ 바꾸고 나면 테스트까지
파일을 고쳤으면 구글 서치콘솔의 robots.txt 테스터에 주소를 넣어 검증하세요. ‘차단됨’으로 나오는 URL이 내가 막으려던 것만 맞는지 봅니다. 그 다음 사이트맵을 다시 제출하면, 로봇이 새 명단으로 순회하기 시작합니다. 반영까지는 하루에서 며칠 걸립니다.
레이블웹스는 사이트맵이 자동 생성되고, 검색 노출 기본값이 잡혀 있어 robots 사고가 날 자리가 적습니다. 그래도 외부 도메인을 붙였거나 이전을 했다면, 공개 당일에만 /robots.txt를 한 번 열어보세요. 10초 확인이 한 달 기다림을 막습니다. 이 시리즈를 구독해두면 다음 운영 설정편이 올라옵니다.
📚 함께 보면 좋은 글
네이버 서치어드바이저 등록 — 내 사이트를 네이버에 노출시키는 방법
구글 서치콘솔 등록 — 만든 사이트를 검색에 태우는 첫 단계
사이트맵 만들기 — sitemap.xml 만들어 구글·네이버에 제출하기
홈페이지 SEO 최적화 — 검색에 잘 걸리게 만드는 기본 체크리스트
https://labelwebs.com
'홈페이지 제작 사례' 카테고리의 다른 글
| 팝업 만들기 — 공지·이벤트 레이어 팝업 실전 정리 (0) | 2026.09.04 |
|---|---|
| 카카오 채널 연동 — 홈페이지 문의 버튼에 붙이는 순서 (0) | 2026.09.04 |
| 네이버 서치어드바이저 등록 — 내 사이트를 네이버에 노출시키는 방법 (0) | 2026.09.03 |
| 홈페이지 이전 — 서버 이전·백업 전 체크리스트 (0) | 2026.09.03 |
| AI 홈페이지 만들기 — 코딩 없이 AI로 홈페이지 만드는 3단계 (0) | 2026.09.03 |