저사양 저전력 우분투 PC 멈추는 문제 (fwupd)

특정 시간에 CPU, RAM, DISK가 순간적으로 확 튀는 현상이 지속적으로 발생해클라우드 가상 게이트웨이가 뻗어버리는 문제가 있었습니다

 

제가 실행하고 있는 6개의 서버에는 특정시간에 갑작스런 트래픽이 생기거나 자원을 폭발적으로 사용하는 로직이 없기 때문에 뭔가 이상하다.. 포트스캔 공격이나 무작위 요청을 보내는 공격이 들어온건가 했지만 특정 패턴이 며칠간 지속으로 발생하는 것으로 보아 공격은 아니라고 판단했고

 

OS레벨에서 뭔가 스케줄이 있는 것 같다고 판단되어 커널부터 특정시간에 어떤 로그가 발생하는지 확인해 보았습니다

우선 현재 자원상태를 확인해보니 메모리가 7~80% 점유율을 띄고 있어 메모리의 초과사용으로 PC가 뻗은 게 아닌가 생각되어

 

시스템과 커널로그에서 Out of memory와 관련된 로그를 찾아보았습니다

grep -i -E "out of memory|oom-killer" /var/log/syslog /var/log/kern.log

 

결과는 빙고! " Out of memory: Killed process 224145 (fwupd) total-vm:732056kB, anon-rss:180324kB..." 

fwupd가 동작하면서 상당히 많은 CPU와 메모리를 끌어다 쓰기시작하면서 시스템 다운을 막기 위해 리눅스에서 OOM Killer가 동작했습니다

 

결과는 처참했습니다 동작중이던 PLC 및 화재감지 센서를 연결하는 브릿지 서버가 멈춰버렸고 메모리가 다시 여유 있게 돌아왔음에도 오프라인으로 나타나는 문제가 있어 관제시스템에서 계속 오프라인으로 나타났습니다 실제 개발은 메모리가 여유 있는 환경이기에 미처 생각지 못한 곳에서 발생한 문제였습니다 브릿지 서버와 게이트웨이 서버의 커넥션이 끊긴 것인지 브릿지 서버의 프로세스가 완전 멈춰버린 것인지 판단 후 보완조치를 진행했습니다

 

긴급조치로 스케줄링 펌웨어 업데이터를 중지시킴으로서 멈추는 문제는 해결됐습니다

sudo systemctl stop fwupd-refresh.timer
sudo systemctl disable fwupd-refresh.timer