2026. 10. 28. 14:00 IT인터넷
CDN 없이 봇을 차단하는 기법 (Apache + mod_rewrite)
728x90
반응형
요청하신 블로그 글은 Nginx 환경을 기준으로 CDN 없이 봇을 차단하는 기법들을 다루고 있습니다. 이를 Apache(아파치) 웹 서버에서 구현하려면 Nginx의 if 조건문이나 변수 맵핑 대신, Apache의 강력한 주소 변환 및 차단 모듈인 mod_rewrite와 시스템 방화벽/라우팅 설정을 활용해야 합니다.
블로그에 소개된 핵심 방법들을 Apache 스타일로 변환한 가이드입니다.
준비 작업: mod_rewrite 활성화
아래의 1, 4, 6, 8번 방법을 Apache에서 설정하려면 mod_rewrite 모듈이 켜져 있어야 합니다. 터미널에서 활성화 후 아파치를 재시작해 주세요.
bash
sudo a2enmod rewrite
sudo systemctl restart apache2
코드를 사용할 때는 주의가 필요합니다.
이후 설정은 Apache의 가상 호스트 설정 파일(예: /etc/apache2/sites-available/000-default.conf)의 <VirtualHost> 블록 내부나 웹 루트 디렉토리의 .htaccess 파일에 작성하시면 됩니다.
방법 1. 오래된 HTTP 버전 거부하기 (HTTP/2 강제)
Nginx의 $server_protocol 검사는 Apache에서 THE_REQUEST 변수를 이용해 정규식으로 HTTP 버전을 솎아내야 합니다.
apache
RewriteEngine On
# HTTP/1.0 또는 HTTP/1.1로 요청이 들어오면 403 Forbidden 반환
RewriteCond %{THE_REQUEST} HTTP/1\.[01]$
RewriteRule ^.*$ - [F,L]
코드를 사용할 때는 주의가 필요합니다.
- ⚠️ 주의: 구글 검색엔진 크롤러(Googlebot)도 차단되어 검색 노출에서 제외될 수 있습니다.
방법 2 & 3. 데이터센터 및 악성 IP 블랙홀 라우팅 (OS 레벨)
이 방법은 Nginx나 Apache 같은 웹 서버 설정이 아니라 리눅스 커널 커맨드를 이용하는 방식이므로, 아파치 환경에서도 블로그에 소개된 쉘 스크립트 명령어를 그대로 동일하게 사용할 수 있습니다.
bash
# 특정 대역 차단 예시 (방화벽보다 CPU를 훨씬 적게 소모)
sudo ip route add blackhole 1.2.3.0/24
# 잘못 차단했을 때 해제하는 법
sudo ip route del blackhole 1.2.3.0/24
코드를 사용할 때는 주의가 필요합니다.
방법 4. 클라이언트가 보내는 신호(헤더) 검사하기
Apache의 RewriteCond를 사용해 특정 요청 헤더 조건을 만족하지 않거나 악성 패턴이 보이면 410 Gone 또는 403 Forbidden 상태 코드로 거부합니다.
① User-Agent에 봇 티가 나는 경우 차단
apache
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (eadless|oogle|ing|bot|Bot|gpt|llm|pider|gent|earch|etch|eed|ead|iphon|ython|Ruby|Go-h|uzzl)
RewriteRule ^.*$ - [G,L]
코드를 사용할 때는 주의가 필요합니다.
(패턴 끝의 [G,L]은 410 Gone 응답을 주고 규칙을 종료하라는 의미입니다.)
⑥ 안전한 브라우저(화이트리스트)가 아니면 차단 (강력 추천)
apache
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !(Linux|BSD|Macintosh|Windows|Mozilla|WhatsApp)
RewriteRule ^.*$ - [G,L]
코드를 사용할 때는 주의가 필요합니다.
⑦ 있을 수 없는 파일(.git, .sql 등)을 노리는 스캐너 차단
apache
RewriteEngine On
RewriteCond %{REQUEST_URI} (\.git$|\.yml$|\.db$|\.sql$|\.conf$|\.php$|\.avi$|wp)
RewriteRule ^.*$ - [G,L]
코드를 사용할 때는 주의가 필요합니다.
방법 6. 헤더로 "긁어가지 마세요" 선언하기 (AI 학습 방지)
Apache에서 응답 헤더를 추가하려면 mod_headers 모듈이 필요합니다 (sudo a2enmod headers로 활성화 가능).
apache
<IfModule mod_headers.c>
Header always set Rating "RTA-5042-1996-1400-1577-RTA"
Header always set adult "porn, sex, politics, religion, philosophy"
Header always set X-Robots-Tag "none,noindex,nofollow,nosnippet,noai"
</IfModule>
코드를 사용할 때는 주의가 필요합니다.
- ⚠️ 주의: X-Robots-Tag에 noindex가 들어가면 네이버, 구글 등 일반 검색엔진에서도 내 사이트가 수집되지 않습니다. 일반 검색 노출은 유지하고 AI 크롤링만 막으려면 "noai" 혹은 "noimageai"만 남겨두세요.
방법 8. Brotli로 미리 압축해서 제공하기 (가장 우아한 방법)
Apache에서 Brotli 미리 압축된 파일(.br)을 정상 브라우저에만 던져주고, Brotli를 해석하지 못하는 구식 봇은 차단하는 논리입니다.
- 서버단에서 HTML 파일을 미리 압축해 두기:
bash
cat index.html | brotli --best -fncv > index.html.br코드를 사용할 때는 주의가 필요합니다. - Apache 설정 (.br 대응 및 압축 미지원 클라이언트 거부):
apache
RewriteEngine On # 1. 브라우저가 Brotli(br)를 지원한다고 말하지 않으면 410 Gone으로 차단 RewriteCond %{HTTP:Accept-Encoding} !br RewriteRule ^.*$ - [G,L] # 2. 브라우저가 br을 지원하면, 요청한 파일 대신 미리 압축해 둔 .br 파일 전달 RewriteCond %{HTTP:Accept-Encoding} br RewriteCond %{REQUEST_FILENAME}.br -f RewriteRule ^(.*)$ $1.br [L] # 3. .br 파일이 전달될 때 브라우저가 압축을 풀 수 있도록 적절한 헤더 추가 <FilesMatch "\.html\.br$"> Header set Content-Encoding br ForceType text/html </FilesMatch>코드를 사용할 때는 주의가 필요합니다.
요약 및 추천 적용 순서
Apache를 사용할 때도 원작자가 강조한 "오탐으로 인한 실제 사용자 차단 리스크"는 동일하게 존재합니다.
안전하게 시작하시려면 가상 호스트 설정에 방법 6 (헤더 선언)과 방법 4-⑥ (정상 브라우저 화이트리스트 검사) 정도를 먼저 적용해 보신 뒤, 체감 효과를 관찰하며 단계를 높여가시는 것을 권장합니다.
소개해 드린 아파치 규칙을 운영 중인 서버에 직접 적용해보시다가 특정 에러(예: 500 Internal Server Error 등)가 발생하거나, 특정 확장자/경로만 차단에서 제외하고 싶으시다면 언제든 말씀해 주세요. 상세한 예외 처리 규칙을 짜드리겠습니다!
728x90
LIST
'IT인터넷' 카테고리의 다른 글
| modsecurity request_cookies 차단되는 경우 (0) | 2025.05.21 |
|---|---|
| HP서버(Array P440ar)에서 RAID-1 디스크 교체 (300G -> 600G)후 온라인에서 용량을 늘릴 수 있을까요? (0) | 2025.04.08 |
| [스크랩] HPE 서버에 장착된 HDD 교체 및 용량 확장 방법 (리눅스/윈도우) (0) | 2025.04.08 |
| 시스코 스위치 기술지원 (0) | 2025.02.03 |
| 보안이슈 - 체납세액 징수 관련 정부 사칭 피싱(스미싱, 피싱메일) 주의 권고 (0) | 2024.11.25 |
