💻 Heap dump 뜰 줄 알죠?

“@Backend OO님, 힙 덤프 뜰 줄 알죠?”

들어가며…

서버가 알 수 없는 이유로 갑자기 죽거나 성능이 저하되는 경우가 종종 있는데,

보통 heap memory 내에서 memory leak 이 원인인 경우가 많다.

보다 정밀하게 분석해서 해결하려면 heap dump 를 떠서 확인해보아야 하는데,

이전에 관련 경험이 없다면 heapdump 를 뜨다. 라는 말 자체가 생소할 수 밖에 없다.

본 포스팅에서 heapdump 를 떠보는 행위 를 한 사이클 해보면서.. 가볍게 느낌을 잡아보도록 하자.

당황하지 않을 미래의 자신을 위해..!

---

사이드 프로젝트로 한번 실습해보자~!

현재 진행중인 사이드 프로젝트에서 사용되는 Spring boot application 은 jib tool 을 이용하여, docker container 환경에서 배포하고 있다.

이와 같은 환경에서 heap dump 는 어떻게 생성하는 지 지금 바로 간단하게 알아봅시다!~

Heap-dump

heap dump 분석을 통해 Java application 의 성능 분석을 쉽게 할 수 있습니다.

여기서 heap dump 이란, heap memory 에 대한 snapshot 으로

memory leak 이나 기타 다른 문제를 진단하는 데에 큰 단서를 제공해줍니다.

이전에 사이드 프로젝트를 진행하며 자꾸 ec2 서버가 OOM (OutOfMemory) 에러 로그를 띄우며 죽는 경험을 했었는데

그 당시에 heap dump 에 대해서 알고 있었더라면

조금 더 쉽게 문제를 진단하고 해결할 수 있지 않았을까.. 하는 아쉬움이 있습니다.

여튼, heap dump 를 활용하면 memory leak 에 의한 서버 장애가 발생해도 크게 당황하지 않고 원인을 분석할 수 있습니다.

기본적으로 OutOfMemory 가 발생하면, 사전에 지정해둔 path 에 heap dump 파일을 생성하도록 해두는 것이 마음 편한 방법인 것 같습니다.

이를 위해서 JVM option 을 주면 되는데,

사이드 프로젝트에서는 jib 를 사용하고 있으므로

아래와 같이 jvmFlag 를 지정해서, OOM 발생 시 지정된 경로에 heapdump 가 생성될 수 있도록 할 수 있습니다.

각자의 프로젝트 환경에 맞춰서 설정해야 하므로 참고용으로만 보면 좋을 것 같습니다!

jib {
	from {
		image = "openjdk:17"
	}
	to {
		image = "your docker image"
		tags = ["latest"]
	}
	container {
		...
		jvmFlags = [ ... your jvm option ... ,  "-XX:+HeapDumpOnOutOfMemoryError", "-XX:HeapDumpPath=/your-path/your-heap-dump-file-name.hprof"]
		...
	}
}

docker file 을 사용한다면, 아래와 같이 해줄 수 있겠네요!

FROM openjdk:17
...
CMD ["java", "-XX:+HeapDumpOnOutOfMemoryError", "-XX:HeapDumpPath=/path/to/heapdump.hprof", "-jar", "myapp.jar"]

사실 이렇게하면 heapdump 의 파일경로가 언제나 동일하므로, overwrite 된다는 문제가 있습니다.

그래서 보통은 날짜를 이용해서, OOM 이 발생한 시점의 날짜로 heapdump 파일의 이름을 지정해서

heapdump 파일들의 히스토리를 관리하는 것 같습니다.

하지만 제가 운용중인 사이드 프로젝트의 ec2 사양은 t2.micro 이고..

heapdump 파일의 용량이 작지 않은 편이므로

매번 overwrite 되도록 설정해두었습니다.

여튼, 위와 같이 JVM 옵션을 주면

OOM 이 발생하면 우리가 지정해둔 경로에 heapdump 파일이 자동으로 생성됩니다.

heapdump 파일은 보통 eclips memory analysis tool(MAT) 를 이용해서 시각적으로 분석할 수 있습니다.

---

Heap dump 수동으로 생성하기

위와 같이 jvm option 을 주면 OOM 발생 시 heap dump 파일이 지정된 경로에 생성됩니다.

만약, 수동으로 생성하고 싶다면 어떻게 할까요?

보통 jmap 을 이용하여 heap dump 를 생성할 수 있습니다.

예를 들어, java app 의 pid 가 1111 이라면 아래와 같은 명령어를 입력하여 heapdump file 을 생성할 수 있습니다.

jmap -dump:live,format=b,file=heapdump.hprof 1111

• jmap 명령어는 실행중인 java process 에 부하를 줄 수 있기 때문에, production 에서는 주의해주세요!
• 만약 jmap 명령어를 지원하지 않는 경우에는 jcmd 명령어를 사용하여 heapdump 를 생성할 수 있습니다.
  • jcmd 1111 GC.heap_dump heapdump.hprof
  • 확인해보니 jmap 보다 jcmd 가 조금 더 성능적으로 우수하다고 하니, jcmd 를 사용하는 것이 좋을 것 같네요!

java app 이 docker container 내에서 동작하는 경우가 더 일반적일텐데,

이때는 해당 container 내부에 먼저 접근해야겠죠..!

docker ps

명령어를 통해 실행중인 Spring app 의 container id 를 알아낸 다음

docker exec -it [your-container-id] bash

명령어를 통해 컨테이너에 bash 터미널로 붙어줍시다.

그리고 해당 컨테이너에서 동작하고 있는 java app 의 pid 를 알아내야 하는데요,

ps -ef | grep java

명령어를 통해 heapdump 를 뜨고자 하는 java app 의 pid 를 얻어냅시다.

만약 해당 컨테이너에서 ps 명령어를 지원하지 않는다면 (사실 대부분 baseimage 가 jdk 일테니.. 지원 안하는 경우가 많을 것 같네요.)

jps -l

명령어를 통해 실행중인 java app 의 pid 리스트를 조회할 수 있습니다.

---

container to ec2-host

도커 컨테이너 내에 생성된 heapdump file 을 host 로 옮겨야겠죠!?

이를 위해서는 아래의 명령어를 사용할 수 있습니다.

docker cp mycontainer:/heapdump.hprof to-directory

예를 들어

docker cp mycontainer:/heapdump.hprof .

라고 입력한 뒤에 exit 를 통해 container 바깥으로 나가고 root directory 로 가보면 heapdump.hprof 파일이 있을 겁니다!

ec2-host to local

이제 ec2 에 있는 heapdump 파일을 로컬 컴퓨터로 옮겨주어야합니다.

보통 scp 명령어를 많이 사용하는 것 같습니다.

scp -i [your-pem-key-file-path] [your-ec2-user-name]@[your-ec2-ip-address]:[heapdump-file-path] [to-file-path]

만약, 위 명령어를 실행하는 도중에

scp: remote open "/heapdump.hprof": Permission denied

와 같은 에러가 발생한다면

heapdump.hprof 의 권한을 확인하고 필요 시 조정해줍시다.

예시로,

아래 명령어를 통해 heapdump.hprof 에 대한 rw 권한을 모든 사용자로부터 허용할 수 있습니다.

sudo chmod 644 /path/to/heapdump.hprof

이제 다시 파일 전송을 하면 원활하게 될 것 입니다 ㅎ_ㅎ

아, 그런데 하나 궁금증이 생길 수 있을 것 같아요.

지금 우리는 도커 컨테이너 내부에 생성된 힙 덤프를 로컬에 옮기려고 ec2 를 중간 다리로 사용하고 있죠..?

도커 컨테이너에서 로컬로 바로 전송하지 않고, 왜 ec2 에 갔다가 로컬로 전송하고 있는걸까요?

도커의 가장 기본적인 원칙이 바로 격리성이죠!?

host system 을 거쳐서 local 으로 파일을 전송하는 것은 도커의 기본 원칙인 격리성을 준수하면서도,

보안적으로 안전하기 때문입니다.

도커 컨테이너를 직접적으로 외부 네트워크에 노출시키는 것은 격리성도 위배하고, 보안적으로 좋지 않아요.

eclipse-MAT

이제 생성된 heapdump 파일을 eclipse-MAT 으로 열어봅시다~!

---

Java heapdump 분석을 통해, Java app 의 성능을 최적화하고 memory leak 등의 치명적인 문제를 진단할 수 있습니다.

본 포스팅에서는 간단히 heapdump 가 무엇인지, 어떻게 생성하고 열어보는지를 확인해보았는데요

시간이 부족한 관계로… 🥲

heapdump 분석에 관해서는 후속글에서 계속 진행하도록 하겠습니다.

혹시 잘못된 부분을 발견하신다면 코멘트 남겨주세요! 🙇‍♂️