2021. 5. 13. 21:04 WorkHolic
웹서버 악성 봇(로봇 SemrushBot) 접속 차단
Image by Pete Linforth from Pixabay
악성 봇(로봇 SemrushBot) 차단
특정 사이트를 운영하고 있는 서버의 부하가 높고 트래픽이 높아서 확인해 보니 일반적이 사용자의 접속이 아니라 검색로봇의 접속이 많기 때문이었다.
구글과 같이 검색 사이트에 많이 노출이 되면 좋다고 생각하고 그냥 두려고 하였으나 트래픽과 서버 부하를 유발하고 있어 해당 검색봇들에 대해 확인해 보니 악성봇이라는 것을 확인할 수 있었다.
그리고 차단하는 방법에 대한 것도 확인할 수 있었다.
bad_bot.conf 작성
<Location *>
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot/v1.4.5" bad_bot
~
# Aggressive Chinese Search Engine
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
Deny from env=bad_bot
</Location>
httpd.conf 수정
* 가상호스트 설정 앞에 로드 되도록 설정하였다.
Include bad_bot.conf
Include vhost.d/*.conf
[참고]
https://xetown.com/tips/1130812
https://hoing.io/archives/398
https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker
https://serverfault.com/questions/499327/how-can-i-block-a-user-agent-from-all-sites-on-my-server
#badbots #crawler #검색로봇차단 #block-bot #block-bad-bots #httpd #apache
'WorkHolic' 카테고리의 다른 글
| DNS 서버를 이용한 광고 차단 (2) | 2021.05.15 |
|---|---|
| 현재 폴더에서 파일 크기가 0인 파일 모두 지우기(리눅스) (0) | 2021.05.14 |
| 리눅스 소프트웨어 레이드 복구 (mdadm: software raid) (0) | 2021.05.13 |
| mod_cache로 인한 디스크 공간 부족 (0) | 2021.05.13 |
| 넷기어 레디나스 로그 분석 (journalctl) (0) | 2021.05.13 |
