작은 행복을 위한 시

Image by Pete Linforth from Pixabay

악성 봇(로봇 SemrushBot) 차단 

특정 사이트를 운영하고 있는 서버의 부하가 높고 트래픽이 높아서 확인해 보니 일반적이 사용자의 접속이 아니라 검색로봇의 접속이 많기 때문이었다.
구글과 같이 검색 사이트에 많이 노출이 되면 좋다고 생각하고 그냥 두려고 하였으나 트래픽과 서버 부하를 유발하고 있어 해당 검색봇들에 대해 확인해 보니 악성봇이라는 것을 확인할 수 있었다.
그리고 차단하는 방법에 대한 것도 확인할 수 있었다.

bad_bot.conf 작성

<Location *>
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot/v1.4.5" bad_bot
~
# Aggressive Chinese Search Engine
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot

Deny from env=bad_bot
</Location>

httpd.conf 수정
* 가상호스트 설정 앞에 로드 되도록 설정하였다.
Include bad_bot.conf
Include vhost.d/*.conf

[참고]
https://xetown.com/tips/1130812
https://hoing.io/archives/398
https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker
https://serverfault.com/questions/499327/how-can-i-block-a-user-agent-from-all-sites-on-my-server

#badbots #crawler #검색로봇차단 #block-bot #block-bad-bots #httpd #apache

Image by Michael Schwarzenberger from Pixabay

1. 디스크에 저장된 raid 정보 확인
    # mdadm --examine /dev/sdd
    # mdadm --examine /dev/sda5

2. raid 작성하기
   raid가 풀어진 디스크를 다시 1개의 raid disk로 묶어주기
    # mdadm -v --assemble /dev/md0 /dev/loop0p1 /dev/loop1p1 /dev/loop2p1 /dev/loop3p1
    # mdadm --assemble --verbose --update summaries /dev/md0 /dev/sda3 /dev/sdb3 /dev/sdc3 /dev/sdd3

3. 현재 raid상태를 conf로 저장하기
    # mdadm --examine --scan >> /etc/mdadm.conf
    # mdadm --detail --scan >> /etc/mdadm/mdadm.conf

4. raid를 부팅 지정하기
    # grub
    # root(hd0,0) <- find /boot/grub/stage1
    # setup(hd0)
    # quit

#sofwareraid #linuxraid #linuxmd #mdadm #softraid복구

Image by HeungSoon from Pixabay

어느 날 서버의 디스크 공간 부족 알람이 떠서 확인해 보았다.

일반적인 apache나 mysql, system log로 인한 디스크 부족이 아니었다.
du -h --max-depth=1 로 상위 디렉토리부터 확인해 갔다.
/var/chace/mod_cahe가 많은 공간을 차지하고 있음을 확인할 수 있었다.
웹사이트 접속 속도를 높이기 위해 mod_cache를 적용했었다.

일단 현재 저장된 모든 cache 파일을 삭제했다.
/var/cache/mod_cache/aptmp*

분명 설정파일에 캐시의 크기를 정할 수 있었고 지정을 했음에도 불구하고 디스크 전체를 사용했던 것이다.
확인해 보니 htcacheclean을 이용해서 주기적으로 캐시 파일을 삭제해야만 했다.

# htcacheclean -d3 -t -p/var/cache/mod_cache -l1024M

crontab에 설정하여 주기적으로 작동되도록 하였다.

[참고]
https://m.blog.naver.com/PostView.nhn?blogId=pisgo&logNo=221012517092

#디스크공간부족 #diskfull #htcacheclean #mod_cache

Image by Lorenzo Cafaro from Pixabay

넷기어 레디나스에 문제가 있어 로그를 보려고 tail을 했더니 명령이 작동하지 않는다.
확인해보니 레디나스는 systemd를 사용하고 있었고 journalctl을 사용해서 로그를 봐야만 했다.

journalctl 사용법을 정리해 본다.

1. 마지막 부팅 후 로그 보기
# journalctl -b
(dmesg)

2. 오늘 날짜 로그 보기
# journalctl --since=today

3. 특정 기간별 로그 보기
# journalctl --since "2017-05-25 00:00:00" --until "2017-05-30 10:30:00"
# journalctl --since "1 hour ago"
# journalctl --since "2 days ago"

4. 특정 서비스 데몬 로그 보기
# journalctl -u sshd

5. 특정 이벤트 속성 조회
# journalctl -p crit

6. 특정 서비스데몬 및 속성과 날짜 로그 보기
# journalctl -u libvirtd --since=yesterday -p err

7. Error 로그 자세히 보기
# journalctl -p err -o verbose
   에러 로그만 실시간 보기
# journalctl -p err -b

8. 특정 이벤트 조회
# journalctl /sbin/crond

9. 밑에서부터 로그 보기 (실시간 로그 보기)
# journalctl -f
(tail -f)
# journalctl --follow
# journalctl -r -b 

10. UID 로 검색 (id)
journalctl _UID=108


journalctl이 느릴때(btrfs)
1. Log의 크기를 확인
# journalctl --disk-usage

2. 로그를 저장하는 파일 데이터베이스에 단편화를 확인
# filefrag /var/log/journal/*/*

3. 단편화를 제거
# btrfs fi defrag -v -f -clzo /var/log/journal/*/* 

출처
https://sysops.tistory.com/115
https://lascrea.tistory.com/70
https://www.loggly.com/ultimate-guide/using-journalctl/

#systemd #journalctl사용법 #journalctl #로그보기

NOC
https://code.getnoc.com/noc/noc

NETBOX
https://netbox.readthedocs.io/en/stable/

IP Address Tracker
https://www.solarwinds.com/free-tools/ip-address-tracker?CMP=ORG-BLG-DNS-X_WW_X_NP_X_X_EN_X_X-IPAT-20190805_2020BestIPAMSof_X_X_VidNo_X-X

INFOBLOX IPAM
https://www.infoblox.com/products/ipam-dhcp/

PHPIPAM
https://phpipam.net/

#IP관리 #네트워크

어제 도착한 컴퓨터.

고객님의 아드님께서 #배틀그라운드 를 할 수 있는 컴퓨터를 요청하셨다고 한다.
그래서 준비했다.
OS 설치 / 업데이트 / 프로그램 설치를 마치고 고객님께 배송 대기 중이다.

인텔 i7-9700
16GB 메모리
512 SSD / 2TB HDD
Geforce RTX-2060 (6GB)
Win10 Pro OS 포함
3년 무상 지원

조립PC와 비교해 보니 조립PC 보다도 싸다!

성능은 물론 빠름! 빠름!