작은 행복을 위한 시

(스크랩) 오픈소스 웹로그 분석 도구 , Piwik 소개 (Google Analytics 대체)

[참고사이트]
http://www.opennaru.com/open-source/open-soruce-web-log-analytics-piwik/

(스크랩) 웹 서버 로그 분석도구 GoAccess

GoAccess 소개

GoAccess는 OSS기반의 실시간 웹 서버 로그 분석 도구로, xNix 계열의 터미널과 웹 브라우저를 통한 분석 화면을 제공합니다.

주요 특징은 다음과 같습니다.

• 빠른 실시간 분석(millisecond/second) 가능 (C언어 개발)
• 의존 라이브러리는 ncurses 뿐
• 대부분의 웹 서버 로그 포맷 지원
  - Apache, Nginx, Amazon S3, Elastic Load Balancing, CloudFront 등
• 아름다운 터미널 화면과 Bootstrap기반의 대시보드 제공(커스트마이징 가능)
• Valgrind 테스트 완료

GoAccess 상세기능

Teminal과 Web Dashboard에서 확인 가능한 상세기능을 설명합니다.

[참고사이트]
https://joypinkgom.tistory.com/34

메일 서버 대기중인 메일 바로 발송하기 (Sendmail, Postfix flush queue)

가끔 쓸 일이 생기다 보니 자꾸 잊어 버린다. 한 곳에 정리해 둔다.

To flush the sendmail queue, you can use the following command:

sendmail -q

To flush or purge the postfix mail queue, run:
postfix flush
## OR ##
postfix -f
## OR ##
postqueue -f

Do you need to retry all messages in the deferred queue? Try:
postsuper -r ALL

To remove all mail from the queue, enter:
postsuper -d ALL

To remove all mails in the deferred queue, enter:
postsuper -d ALL deferred

아파치 - 나쁜 봇과 크롤러를 차단

사용자 에이전트 목록을 보려면 아파치 로그 파일을 검색

cat /var/log/apache2/access.log |  cut -d'"' -f6 | grep -v -E -i "mozilla|chrome|safari|opera" | sort | uniq -c | sort

웹사이트에 액세스한 의심스러운 사용자 에이전트 목록이 표시됨

     6 GumGum-Bot/1.0 (http://gumgum.com; support@gumgum.com)
     6 PostmanRuntime/7.19.0
     6 ag_dm_spider v1.0
     7 Microsoft Office Word 2014
     32 Slackbot 1.0 (+https://api.slack.com/robots)
     33 Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
     38 WebexTeams
     41 www.ru
     46 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
     57 admantx-sap/2.4 (+http://www.admantx.com/service-fetcher.html)
     72 Scrapy/2.4.1 (+https://scrapy.org)
     72 ias-sg/3.1 (+https://www.admantx.com/service-fetcher.html)
     76 WhatsApp/2.21.7.14 A
     81 Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
     83 Clickagy Intelligence Bot v2
     85 ias-jp/3.1 (+https://www.admantx.com/service-fetcher.html)
     92 W3 Total Cache
    105 AccompanyBot
    118 rest-client/2.1.0 (linux-gnu x86_64) ruby/2.7.1p83
    141 -
    159 chimebot
    183 Mediapartners-Google
    374 ias-or/3.1 (+https://www.admantx.com/service-fetcher.html)
    686 ias-ir/3.1 (+https://www.admantx.com/service-fetcher.html)
   1930 CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
   2022 ias-va/3.1 (+https://www.admantx.com/service-fetcher.html)

이것으로 차단할 사용자 에이전트 목록을 만든다

GumGum-Bot
PostmanRuntime
ag_dm_spider
Scrapy
chimebot

가상호스트 설정에 추가


<VirtualHost *:80>
        ServerAdmin webmaster@localhost
        DocumentRoot /var/www/html
        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (gumgum-bot|postmanruntime|ag_dm_spider|scrapy|chimebot) [NC]
RewriteRule .* - [F,L]
</VirtualHost>

참고.

GitHub 프로젝트에서 나쁜 봇 및 크롤러 목록을 제공

https://raw.githubusercontent.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/master/Apache_2.4/custom.d/globalblacklist.conf

https://raw.githubusercontent.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/master/Apache_2.4/custom.d/globalblacklist.conf

아파치 - 특정 쿼리 단어로 URL 차단

<VirtualHost *:80>
        ServerAdmin webmaster@localhost
        DocumentRoot /var/www/html
        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined
RewriteEngine On
RewriteCond %{QUERY_STRING} (test|user|password) [NC]
RewriteRule .* - [F,L]
</VirtualHost>

아래와 같이 시도하면 그 아래와 같이 차단한다.


curl -I  http://www.gameking.tips?test=1
curl -I  http://www.gameking.tips?var1=user
curl -I  http://www.gameking.tips?mypassword=abcd

HTTP/1.1 403 Forbidden
Date: Sun, 18 Apr 2021 18:18:53 GMT
Server: Apache/2.4.41 (Ubuntu)
Content-Type: text/html; charset=iso-8859-1

HTACCESS를 사용하여 특정 쿼리 문자열로 URL 차단

vi /var/www/html/.htaccess

RewriteEngine On
RewriteCond %{QUERY_STRING} (test|user|password) [NC]
RewriteRule .* - [F,L]

참고 - https://techexpert.tips/ko/apache-ko/%ec%95%84%ed%8c%8c%ec%b9%98-%ed%8a%b9%ec%a0%95-%ec%bf%bc%eb%a6%ac-%eb%8b%a8%ec%96%b4%eb%a1%9c-url-%ec%b0%a8%eb%8b%a8/

CentOS 5 fail2ban 설치

ssh 무작위 접속 시도 차단에 fail2ban이 좋다.
아래와 같이 설치하면 된다.

1. EPEL Repo 설치

CentOS/RHEL 5, 64 Bit (x86_64):
# rpm -Uvh http://dl.fedoraproject.org/pub/archive/epel/5/x86_64/epel-release-5-4.noarch.rpm


2. fail2ban 설치

yum install fail2ban


3. /etc/fail2ban/jail.conf 수정

[ssh-iptables]

enabled  = true
filter   = sshd
action   = iptables[name=SSH, port=ssh, protocol=tcp]
           sendmail-whois[name=SSH, dest=you@example.com, sender=fail2ban@example.com, sendername="Fail2Ban"]
logpath  = /var/log/secure
maxretry = 5

4. 서비스 시작

/etc/init.d/fail2ban start

[root@kl151 fail2ban]# /etc/init.d/fail2ban start
Starting fail2ban:                                         [  OK  ]
[root@kl151 fail2ban]# fail2ban-client status
Status
|- Number of jail:      1
`- Jail list:           ssh-iptables

#CentOS5 #fail2ban