사이트를 운영 한다면 robots.txt 만들어 두세요.

사이트 제작
작성자
eungabi
작성일
2022-08-04 16:51
조회
147
robots.txt는 크롤러 봇이 사이트에 방문 했을 때 참고하는 파일 입니다.
robots.txt파일은 root 디렉토리에 업로드 해야 합니다.
나의 사이트에 robots.txt 파일이 있는지 확인 하려면, 자신의 도메인 주소 뒤에 robots.txt를 입력 해보세요.

예시
https://apppars.com/robots.txt

만약 페이지를 찾을 수 없거나 페이지가 사이트로 리디렉션 된다면, robots.txt 파일이 root에 업로드 되어 있지 않은 것 입니다.
간혹 워드프레스의 경우에는 플러그인에서 가상 robots.txt 를 지원하기도 합니다.

robots.txt는 크롤러 봇이 사이트 수집에 대한 허용/비허용을 지시하고, 간단한 정보를 robots.txt에게 전달 할 수 있습니다.

호스팅 내에 존재하는 디렉토리 파일의 하위 경로의 크롤링을 제어 한다거나, 이미지 파일의 수집을 비허용 할 수도 있습니다.
또는 크롤러에게 사이트맵의 위치를 알려줄 수도 있습니다.

robots.txt는 메모장을 통해서도 간단히 만들 수가 있습니다.
다음은 기본적인 규칙 입니다.

User-agent: *

Disallow: /

 

위의 내용을 메모장에 입력하고 저장한 다음 root에 업로드 하기만 하면 됩니다.
사이트 맵을 명시하고 싶다면, 아래와 같은 규칙을 추가 할 수 있습니다.

Sitemap: https://example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap.xml

보통은 robots.txt를 이런식으로 활용 합니다.
아래의 규칙을 메모장을 통해 만들고, 업로드 해보세요!

User-agent: *
Disallow: /

Sitemap: https://example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap.xml

사이트맵을 robots.txt를 통해 명시 한다면, 사이트맵을 제출 하지 않아도, 크롤러가 사이트맵의 정보를 읽을 수가 있습니다.

뉴스픽 & 오아시스 피드

전체 0