웹서버 악성 봇(로봇 SemrushBot) 접속 차단

 

 

 

Image by Pete Linforth from Pixabay

 

악성 봇(로봇 SemrushBot) 차단 

 

특정 사이트를 운영하고 있는 서버의 부하가 높고 트래픽이 높아서 확인해 보니 일반적이 사용자의 접속이 아니라 검색로봇의 접속이 많기 때문이었다.
구글과 같이 검색 사이트에 많이 노출이 되면 좋다고 생각하고 그냥 두려고 하였으나 트래픽과 서버 부하를 유발하고 있어 해당 검색봇들에 대해 확인해 보니 악성봇이라는 것을 확인할 수 있었다.
그리고 차단하는 방법에 대한 것도 확인할 수 있었다.

bad_bot.conf 작성

<Location *>
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot/v1.4.5" bad_bot
~
# Aggressive Chinese Search Engine
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot

Deny from env=bad_bot
</Location>

httpd.conf 수정
* 가상호스트 설정 앞에 로드 되도록 설정하였다.
Include bad_bot.conf
Include vhost.d/*.conf

[참고]
https://xetown.com/tips/1130812
https://hoing.io/archives/398
https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker
https://serverfault.com/questions/499327/how-can-i-block-a-user-agent-from-all-sites-on-my-server

 

#badbots #crawler #검색로봇차단 #block-bot #block-bad-bots #httpd #apache