작은 행복을 위한 시

모델: HP DL360

갑자기 서버에서 팬소음이 크게 나서 확인해 보니 
LED 알람에서 내부 오류를 알리는 LED가 빨간색으로 깜빡이고 있었다.
서버에 로그인하여 확인해 보니 특별한 메세지는 없었고

[root@xxx log]# tail -f /var/log/messages
Dec 30 19:34:37 xxx kernel: sd 0:0:0:0: [sda] CDB: Write(10): 2a 00 10 da 8d f0 00 00 08 00
Dec 30 19:34:37 xxx kernel: end_request: I/O error, dev sda, sector 282758640
Dec 30 19:34:37 xxx kernel: sd 0:0:0:0: rejecting I/O to offline device
Dec 30 19:34:37 xxx kernel: sd 0:0:0:0: [sda] killing request
Dec 30 19:34:37 xxx kernel: sd 0:0:0:0: [sda] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
Dec 30 19:34:37 xxx kernel: sd 0:0:0:0: [sda] CDB: Write(10): 2a 00 14 1a de c0 00 00 08 00
Dec 30 19:34:37 xxx kernel: end_request: I/O error, dev sda, sector 337305280
Dec 30 19:34:37 xxx kernel: Buffer I/O error on device dm-0, logical block 41983448
Dec 30 19:34:37 xxx kernel: lost page write due to I/O error on dm-0
Dec 30 19:34:37 xxx kernel: sd 0:0:0:0: [sda] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK

와 같이 디스크 관련 오류가 확인되었다.
해당 메세지 이후 모든 로그 기록 작동은 멈추었다.
하지만 웹서비스나 DB서비스는 문제가 없었다.

서버를 재부팅 하려고 했으나

[root@xxx log]# reboot
Bus error (core dumped)

재부팅이 되지 않았다.

아래와 같은 방법으로 재부팅할 수 있었다.

[root@xxx log]# reboot –fn

서버를 재부팅할 때 확인해 보니 BIOS 정보에서 RAID 컨트롤러에 문제가 있었음을 확인할 수 있었다.

재부팅 후 서버 동작에는 문제가 없었다.

이러한 증상이 나타난 이유는 다음과 같다.

RAID 컨트롤러 오류 또는 하드 디스크 오류로 인해 디스크 하위 시스템을 사용할 수 없는 경우 이러한 종류의 문제가 발생할 수 있다. 메모리/디스크 캐시에 있는 바이너리 및 라이브러리는 계속 실행할 수 있지만 다른 바이너리는 IO 오류 또는 기타 치명적인 오류로 실패한다. 
만약 reboot 바이너리가 여전히 실행 가능하다면 
reboot -fn
이 시스템의 즉각적인 재부팅을 강제 할 것이다.
하드웨어가 여전히 작동하는 경우 약 5-10분 후에 다시 켜져야 한다.
그렇지 않으면 누군가 물리적으로 하드웨어를 껐다 켜야 한다.

참고사이트 : https://serverfault.com/questions/57920/bus-error-when-trying-to-reboot-linux/57928

#linux #buserror #raidcontroller #HP #H240ar #버스에러 #레이드컨트롤러