robots.txt는 사이트 루트에 두고 crawler에게 crawl 관련 힌트를 주는 텍스트 파일입니다. 여기에 Sitemap 줄을 쓰면 sitemap 파일의 위치도 함께 알려 줄 수 있습니다.
Sitemap 줄은 발견을 돕는다
/sitemap.xml에만 있어도 발견될 수 있지만, CMS나 다국어 사이트는 sitemap URL이 여러 개이거나 표준 위치가 아닐 수 있습니다. robots.txt에 명시하면 crawler가 시작점을 찾기 쉽습니다.
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml- robots.txt가 사이트 루트에서 열림
- Sitemap 값이 절대 URL임
- 지정된 sitemap을 가져올 수 있음
- HTTP/HTTPS와 www 차이가 섞이지 않음
- staging URL이 남아 있지 않음