Select Page

Bingbot과 같은 검색엔진 봇으로 인해 트래픽이 급증하는 경우가 있습니다.

Bingbot 크롤링 속도 낮추기 - Bingbot으로 인한 트래픽 급증
출처: 네이버 지식인.

bingbot의 크롤링 속도를 낮추고 싶은 경우 robots.txt 파일에 다음 코드를 추가하면 됩니다.

User-agent: bingbot
Crawl-delay: 1

워드프레스를 이용하는 경우 FTP를 통해 접속하여 루트 폴더에 있는 robots.txt 파일에 위의 라인을 추가할 수 있습니다.

  • 크롤링 속도 지연 설정 안 함: 보통 (Normal)
  • 1 : 느림
  • 5 : 매우 느림
  • 10 : 극도로 느림

FTP에 접속할 수 없는 상황에서는 Virtual Robots.txt와 같은 플러그인을 사용할 수 있습니다. FTP에 접속할 수 있는 경우에는 이런 플러그인을 사용하지 말고 직접 FTP로 접속하여 robots.txt 파일을 편집하시기 바랍니다.

워드프레스 가상 Robots.txt 플러그인

Virtual Robots.txt 플러그인은 현재 5만 개 이상의 워드프레스 사이트에 설치되어 사용되고 있습니다.

티스토리를 이용하는 경우 티스토리 사용자는 robots.txt 파일에 접근할 수 없습니다. 티스토리 운영자가 알아서 검색 봇의 크롤링 속도를 제어할 것 같습니다.

※본_포스팅은 쿠팡파트너스 활동의 일환으로 일정액의 수수료를 제공받을 수 있습니다._제품 정보와 가격 등은 변동될 수 있으므로 확인 후 구매하시기 바랍니다.