관련 글 목록

1. 컨테이너 기술

2. 도커와 Docker engine

3. 도커 네트워크

4. 도커 포트포워딩 시 서버 폭파 문제해결

그동안 컨테이너 기술, 도커, 도커네트워크에 관하여 알아보았습니다.

현재 프로젝트에서 사용중인 bridge 네트워크의 구조에 대해서 알아보았으니, 문제가 될 만한 부분을 추측하고 원인을 찾아 해결해 보겠습니다.

그렇다면 포트포워딩 설정을 많이했을 때 왜 서버가 터졌는가?

원인 추측

• 많은 proxy 프로세스로 인한 과부하
  • 포트매핑 별로 docker-proxy 프로세스가 생기기 떄문에 과부하가 발생할 수 있다.

테스트

• 테스트 환경

  • M1 맥북에 우분투 18버전을 설치하여 최대한 클라우드 환경과 비슷하게 세팅하였습니다.
    • CPU 2코어, 메모리 4GB (클라우드 메모리는 8GB)
  • 컨테이너 실행을 위해 NGINX이미지를 이용
    • 컨테이너 포트포워딩에 대한 테스트이기 때문에 별도의 설정은 하지 않았습니다.
  • 모니터링 도구로 htop 활용

• 테스트

  • idle 상태

    

  • 포트 포워딩 없이 컨테이너 실행

    docker run -d --name my1 nginx
    

    

  • 포트 한개만 포워딩

    docker run -d --name my1 -p 40000:40000 nginx 
    

    

    • process가 2개 생성된다.
    • 메모리 사용량 1mb 증가

  • 포트 500개 포트포워딩

    docker run -d --name my1 -p 40001-40500:40001-40500 nginx
    

    

    • process가 1000개 생성됨
    • 메모리 사용량 1GB 가까이 증가
    • cpu 사용량도 10퍼센트 이상 증가

  • 포트 10000개 포트포워딩

    docker run -d --name my1 -p 40001-50000:40001-50000 nginx
    

    

    10000개 포트매핑 실행 영상

    

    모니터링 프로세스가 터진 모습

    

    서버가 터진 모습

  • 메모리 overflow가 나면서 시스템이 멈춰버린다.

결과

• docker의 userland proxy로 인하여 포트포워딩 하나 당 docker-proxy 프로세스가 2개씩 생성됩니다.

  • 생성되는 docker-proxy의 종류

    • IPv4 포워딩

    /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 40478 -container-ip 172.17.0.2 -container-port 40478
    

    • IPv6 포워딩

    /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 40478 -container-ip 172.17.0.2 -container-port 40478
    

• 포트포워딩 500개 당 메모리 약 900mb 할당

• 포트포워딩 설정 약 2000개 쯤, 메모리 overflow로 인하여 시스템이 터져버립니다.

결론

• 10000개의 포트포워딩을 했을 때 서버가 터지던 이유는 많은 프로세스가 생성되어 메모리 OVERFLOW가 발생 했기 때문입니다.

그렇다면 어떻게 해결할 것인가?