💻 [ko] Heap Dumps: How to Capture and Analyze in Spring Boot Applications

“@Backend OO님, 힙 덤프 뜰 줄 알죠?”

When servers experience unexplained crashes or performance drops, often due to memory leaks, capturing heap dumps is essential for diagnosis. This guide explains how to generate heap dumps in Spring Boot applications.

들어가며…

서버가 알 수 없는 이유로 갑자기 죽거나 성능이 저하되는 경우가 종종 있는데,

보통 heap memory 내에서 memory leak 이 원인인 경우가 많다.

보다 정밀하게 분석해서 해결하려면 heap dump 를 떠서 확인해보아야 하는데,

이전에 관련 경험이 없다면 heapdump 를 뜨다. 라는 말 자체가 생소할 수 밖에 없다.

본 포스팅에서 heapdump 를 떠보는 행위 를 한 사이클 해보면서.. 가볍게 느낌을 잡아보도록 하자.

당황하지 않을 미래의 자신을 위해..!

---

사이드 프로젝트로 한번 실습해보자~!

현재 진행중인 사이드 프로젝트에서 사용되는 Spring boot application 은 jib tool 을 이용하여, docker container 환경에서 배포하고 있다.

이와 같은 환경에서 heap dump 는 어떻게 생성하는 지 지금 바로 간단하게 알아봅시다!~

Heap-dump

heap dump 분석을 통해 Java application 의 성능 분석을 쉽게 할 수 있습니다.

여기서 heap dump 이란, heap memory 에 대한 snapshot 으로

memory leak 이나 기타 다른 문제를 진단하는 데에 큰 단서를 제공해줍니다.

이전에 사이드 프로젝트를 진행하며 자꾸 ec2 서버가 OOM (OutOfMemory) 에러 로그를 띄우며 죽는 경험을 했었는데

그 당시에 heap dump 에 대해서 알고 있었더라면

조금 더 쉽게 문제를 진단하고 해결할 수 있지 않았을까.. 하는 아쉬움이 있습니다.

여튼, heap dump 를 활용하면 memory leak 에 의한 서버 장애가 발생해도 크게 당황하지 않고 원인을 분석할 수 있습니다.

기본적으로 OutOfMemory 가 발생하면, 사전에 지정해둔 path 에 heap dump 파일을 생성하도록 해두는 것이 마음 편한 방법인 것 같습니다.

이를 위해서 JVM option 을 주면 되는데,

사이드 프로젝트에서는 jib 를 사용하고 있으므로

아래와 같이 jvmFlag 를 지정해서, OOM 발생 시 지정된 경로에 heapdump 가 생성될 수 있도록 할 수 있습니다.

각자의 프로젝트 환경에 맞춰서 설정해야 하므로 참고용으로만 보면 좋을 것 같습니다!

jib {
	from {
		image = "openjdk:17"
	}
	to {
		image = "your docker image"
		tags = ["latest"]
	}
	container {
		...
		jvmFlags = [ ... your jvm option ... ,  "-XX:+HeapDumpOnOutOfMemoryError", "-XX:HeapDumpPath=/your-path/your-heap-dump-file-name.hprof"]
		...
	}
}

docker file 을 사용한다면, 아래와 같이 해줄 수 있겠네요!

FROM openjdk:17
...
CMD ["java", "-XX:+HeapDumpOnOutOfMemoryError", "-XX:HeapDumpPath=/path/to/heapdump.hprof", "-jar", "myapp.jar"]

사실 이렇게하면 heapdump 의 파일경로가 언제나 동일하므로, overwrite 된다는 문제가 있습니다.

그래서 보통은 날짜를 이용해서, OOM 이 발생한 시점의 날짜로 heapdump 파일의 이름을 지정해서

heapdump 파일들의 히스토리를 관리하는 것 같습니다.

하지만 제가 운용중인 사이드 프로젝트의 ec2 사양은 t2.micro 이고..

heapdump 파일의 용량이 작지 않은 편이므로

매번 overwrite 되도록 설정해두었습니다.

여튼, 위와 같이 JVM 옵션을 주면

OOM 이 발생하면 우리가 지정해둔 경로에 heapdump 파일이 자동으로 생성됩니다.

heapdump 파일은 보통 eclips memory analysis tool(MAT) 를 이용해서 시각적으로 분석할 수 있습니다.

---

Heap dump 수동으로 생성하기

위와 같이 jvm option 을 주면 OOM 발생 시 heap dump 파일이 지정된 경로에 생성됩니다.

만약, 수동으로 생성하고 싶다면 어떻게 할까요?

보통 jmap 을 이용하여 heap dump 를 생성할 수 있습니다.

예를 들어, java app 의 pid 가 1111 이라면 아래와 같은 명령어를 입력하여 heapdump file 을 생성할 수 있습니다.

jmap -dump:live,format=b,file=heapdump.hprof 1111

• jmap 명령어는 실행중인 java process 에 부하를 줄 수 있기 때문에, production 에서는 주의해주세요!
• 만약 jmap 명령어를 지원하지 않는 경우에는 jcmd 명령어를 사용하여 heapdump 를 생성할 수 있습니다.
  • jcmd 1111 GC.heap_dump heapdump.hprof
  • 확인해보니 jmap 보다 jcmd 가 조금 더 성능적으로 우수하다고 하니, jcmd 를 사용하는 것이 좋을 것 같네요!

java app 이 docker container 내에서 동작하는 경우가 더 일반적일텐데,

이때는 해당 container 내부에 먼저 접근해야겠죠..!

docker ps

명령어를 통해 실행중인 Spring app 의 container id 를 알아낸 다음

docker exec -it [your-container-id] bash

명령어를 통해 컨테이너에 bash 터미널로 붙어줍시다.

그리고 해당 컨테이너에서 동작하고 있는 java app 의 pid 를 알아내야 하는데요,

ps -ef | grep java

명령어를 통해 heapdump 를 뜨고자 하는 java app 의 pid 를 얻어냅시다.

만약 해당 컨테이너에서 ps 명령어를 지원하지 않는다면 (사실 대부분 baseimage 가 jdk 일테니.. 지원 안하는 경우가 많을 것 같네요.)

jps -l

명령어를 통해 실행중인 java app 의 pid 리스트를 조회할 수 있습니다.

---

container to ec2-host

도커 컨테이너 내에 생성된 heapdump file 을 host 로 옮겨야겠죠!?

이를 위해서는 아래의 명령어를 사용할 수 있습니다.

docker cp mycontainer:/heapdump.hprof to-directory

예를 들어

docker cp mycontainer:/heapdump.hprof .

라고 입력한 뒤에 exit 를 통해 container 바깥으로 나가고 root directory 로 가보면 heapdump.hprof 파일이 있을 겁니다!

ec2-host to local

이제 ec2 에 있는 heapdump 파일을 로컬 컴퓨터로 옮겨주어야합니다.

보통 scp 명령어를 많이 사용하는 것 같습니다.

scp -i [your-pem-key-file-path] [your-ec2-user-name]@[your-ec2-ip-address]:[heapdump-file-path] [to-file-path]

만약, 위 명령어를 실행하는 도중에

scp: remote open "/heapdump.hprof": Permission denied

와 같은 에러가 발생한다면

heapdump.hprof 의 권한을 확인하고 필요 시 조정해줍시다.

예시로,

아래 명령어를 통해 heapdump.hprof 에 대한 rw 권한을 모든 사용자로부터 허용할 수 있습니다.

sudo chmod 644 /path/to/heapdump.hprof

이제 다시 파일 전송을 하면 원활하게 될 것 입니다 ㅎ_ㅎ

아, 그런데 하나 궁금증이 생길 수 있을 것 같아요.

지금 우리는 도커 컨테이너 내부에 생성된 힙 덤프를 로컬에 옮기려고 ec2 를 중간 다리로 사용하고 있죠..?

도커 컨테이너에서 로컬로 바로 전송하지 않고, 왜 ec2 에 갔다가 로컬로 전송하고 있는걸까요?

도커의 가장 기본적인 원칙이 바로 격리성이죠!?

host system 을 거쳐서 local 으로 파일을 전송하는 것은 도커의 기본 원칙인 격리성을 준수하면서도,

보안적으로 안전하기 때문입니다.

도커 컨테이너를 직접적으로 외부 네트워크에 노출시키는 것은 격리성도 위배하고, 보안적으로 좋지 않아요.

eclipse-MAT

이제 생성된 heapdump 파일을 eclipse-MAT 으로 열어봅시다~!

---

Java heapdump 분석을 통해, Java app 의 성능을 최적화하고 memory leak 등의 치명적인 문제를 진단할 수 있습니다.

본 포스팅에서는 간단히 heapdump 가 무엇인지, 어떻게 생성하고 열어보는지를 확인해보았는데요

시간이 부족한 관계로… 🥲

heapdump 분석에 관해서는 후속글에서 계속 진행하도록 하겠습니다.

혹시 잘못된 부분을 발견하신다면 코멘트 남겨주세요! 🙇‍♂️