Robots.txt & 사이트맵

유효성 검사와 모범 사례 제안이 포함된 robots.txt와 XML 사이트맵을 생성합니다.

무료

빠른 프리셋

활성 규칙

All BotsALLOW

/

All BotsDISALLOW

/admin/

/api/

/private/

규칙 추가

Bot

옵션

사이트맵 URL

Crawl Delay (seconds, optional)

robots.txt Output

# Generated by The IT Hustle -- the-it-hustle.com
# robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml

Deployment:

1. Download or copy the file above
2. Save as robots.txt in your site's root directory
3. Verify at your-site.com/robots.txt
4. Test in Google Search Console robots.txt Tester

Robots.txt와 사이트맵 생성하는 방법

The IT Hustle의 무료 생성기로 더 나은 SEO를 위한 robots.txt와 XML 사이트맵을 만들어 보세요.

1
사이트 URL 입력웹사이트의 기본 URL을 입력하면 올바른 경로가 자동으로 생성됩니다.
2
크롤링 규칙 설정봇(Googlebot, Bingbot 등)별로 허용/차단 규칙을 설정하고 crawl-delay를 지정하세요.
3
사이트맵 URL 추가페이지 URL을 입력해 XML 사이트맵을 생성하거나 URL 목록을 붙여넣어 일괄 생성하세요.
4
파일 다운로드사이트 루트 디렉터리에 업로드할 robots.txt와 sitemap.xml 파일을 다운로드하세요.

자주 묻는 질문

robots.txt는 웹사이트 루트 디렉터리에 있는 텍스트 파일로, 검색 엔진 크롤러가 접근할 수 있는 페이지와 접근할 수 없는 페이지를 알려줍니다. 크롤 예산 관리와 비공개 페이지 색인 방지에 도움이 됩니다.

이상적으로는 그렇습니다. robots.txt는 크롤러가 접근할 수 있는 대상을 제어하고, 사이트맵은 어떤 페이지가 존재하는지 능동적으로 알려줍니다. 둘을 함께 사용하면 검색 엔진에 가장 명확한 사이트 정보를 제공합니다.

두 파일 모두 웹사이트 루트 디렉터리에 위치해야 합니다. robots.txt는 yourdomain.com/robots.txt에, 사이트맵은 yourdomain.com/sitemap.xml에 있어야 하며 robots.txt에서 참조합니다.

Robots.txt & 사이트맵

Robots.txt와 사이트맵 생성하는 방법

자주 묻는 질문

관련 도구

Robots.txt & 사이트맵

Robots.txt와 사이트맵 생성하는 방법

자주 묻는 질문

관련 도구