Warm up in JVM

ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Warm up

목차
1. Warmup
2. HowtoWarmup
table of contents
- ApplicationRunner
- Warm up?
- Latancy Issue
- JVM Memory Architeture
- ClassLoader
- JIT Compile
3. Warmupink8s

1
Warm up

핵심|Keyword
클래스 로더 JIT Compile

Part 1
Warmup -Warm up?
준비운동(準備運動, warming up)
본 운동에 앞서 하는 간단한 운동이
다.
- 위키백과 -
• 아드레날린 분배
• 심박수 증가
• 관절의 효율화
…

Part 1
Warmup -Warm up?
Warm up
안 다치고 본래 가지고 있던 잠재력을 이끌어 내기 위해 필요

Part 1
Warmup -LatancyIssue
우측 상단 TPS 그래프를 보면, TPS는 일정한데 불구하고 배포 직후
17:15 ~ 17:35 사이에 평상시 대비 큰 지연이 발생한 것을 볼 수 있다.
이렇듯 자바기반의 웹 애플리케이션을 배포한 직후 Latency가 발생하는
이슈를 흔히 볼 수 있다.

Part 1
Warmup -JVM Memory Architeture
1
1
2 2

Part 1
Warmup -Class Loader
Q. 클래스 로더(Class Loader)??
A. 클래스 파일을 찾고, 메모리에 로드해 실행 가능한 상태로 만드는 역할을 한다.
Q. 클래스 로더 동작 과정
1. Class Loading: 클래스 파일을 가져와 JVM 메모리에 적재한다. 이 단계도 크게 JVM 기본 클래스와 Java 코드를
로딩하는 Bootstrap Class Loading, 자바 핵심 라이브러리를 로딩하는 Extenstion Class Loading, 개발자가 직접 작
성하여 classpath에 있는 클래스를 로딩하는 Application Class Loading 단계로 나뉜다.
2.Class Linking: 클래스가 참조하는 다른 클래스, 메서드, 필드 등을 확인하고 필요하면 메모리 상에서 연결하는 단
계이다.
이 단계도 크게 Verification, Prepare, Resolution 단계로 나뉜다.
3.Class Initialization: 클래스 변수를 초기화 하거나, static 블록 내의 코드를 실행하는 등의 클래스 초기화 작업을
수행한다.

Part 1
Warmup -Class Loader
Q. 클래스 로더의 동작 방식
A. 클래스 로더는 일반적으로 Lazy Loading 방식으로 동작함.
Q. Latancy Issue?
A. 클래스 로더는 클래스가 최초로 필요해진 시점에 클래스를 로딩한다.
= 배포 직후에는 대부분의 클래스들이 한번도 사용되지 않았으므로,
클래스 로더에 의해 메모리에 적재되지 않은 상태이다.
 배포 직후, 웹 애플리케이션에 요청이 들어오게 되면 그제서야 클래스를 메모리에
적재한다.

Part 1
Warmup -JIT Compile
Q. 자바 컴파일 과정
1
2
1. 자바 소스(.java) 파일을 Class 파일(바이트코드)로 컴
파일 한다.
2. Excution Engine에 있는 인터프리터가 바이트 코드 한
줄, 한줄 읽어 기계어로 번역해서 실행한다.
=> 속도가 느리다!!

Part 1
Warmup -JIT Compile
Q. JIT 컴파일러 도입
• 앞서 살펴본 자바 컴파일 방식의 성능 문제를 해결하고자, JVM은 JIT 컴파일을 도입.
• JIT 컴파일러는 애플리케이션 실행 중 동적으로 바이트 코드를 기계어로 컴파일한다.
• 컴파일된 코드를 실행하게 되면, 인터프리터가 바이트코드를 실행하는 것 보다 훨씬 빠른 속도로 실
행이 가능하다.
Q. JIT 컴파일러 작동 방식
• JIT 컴파일러는 애플리케이션에서 자주 실행된다고 판단되는 특정 부분(Hotspot)만을 기계어로
컴파일한다.
• 실행 중인 애플리케이션의 동작을 분석하고 코드 실행 횟수, 루프 반복 횟수, 메소드 호출 등의 정
보를 측정하고 기록한다. = 프로파일링
• JIT 컴파일러는 프로파일링 결과를 토대로 핫스팟을 식별한다.
• 핫스팟이 식별되었다면, JIT 컴파일러는 메소드 단위로 바이트 코드를 기계어로 번역한다.
• JIT 컴파일러는 이렇게 번역된 기계어를 코드 캐시(Code Cache)라는 캐시공간에 저장한다.

Part 1
Warmup -JIT Compile
Q. JIT 컴파일러 내부 동작
컴파일 과정이 최적화 수준에 따라 복수개의 단계로 나눠진 것을 확인
할 수 있다.
이것을 Tiered Compilation 이라고 부른다.

Part 1
Warmup -JIT Compile
Q. Latancy Issue?
A. 서버가 배포된 직후에는 JIT 컴파일러는 아무런 코드도 기계어로 컴파일 하지 않았으며, 따
라서 코드 캐시에 적재된 기계어도 존재하지 않는다.
따라서 배포 직후 시점의 코드는 인터프리터에서 실행되거나, C1 혹은 C2 컴파일러가 최적화
하고 컴파일 하는 과정이 동반되므로 필연적으로 성능 저하가 발생할 수 밖에 없다.

2
How to Warm up

Part 2
HowtoWarmup -ApplicationRunner
Q. JVM Warm up
1. 클래스는 필요할 때 Lazy Loading 으로 메모리에 적재된다.
2. JVM은 자주 실행 되는 코드를 컴파일하고 캐시한다.
클래스를 메모리에 적재하고, 코드를 최적화하여 컴파일 한다.
 애플리케이션이 기동되는 시점에,
자주 호출될 것으로 예상되는 지점의 코드를 충분히 많이 실행해두면
된다.

Part 2
Q. ApplicationRunner

Part 2
기대
118ms -> 1x
ms

Part 2
실제 환경과 비슷하게 수정 => 처음부터 원하던 응답 속도를
받음

3
Warm up in k8s

Part 2
Warmupink8s
Q. Kubernetes Probe
A. 프로브는 파드 내 컨테이너의 상태를 확인하고, 작동 여부를 진단하는 데 사용됨

Part 2
Warmupink8s
Q. Probe 동작 과정

Part 2
Warmupink8s
Q. Warm up 과정

Part 2
Reference
Reference links
• https://engineering.linecorp.com/ko/blog/apply-warm-up-in-spring-boot-and-kubernetes
• https://hudi.blog/jvm-warm-up/
• https://devwithpug.github.io/project/randhand-4-jvm-warmup-on-spring-cloud-msa/
• https://velog.io/@qwerty1434/ifkakao-JVM-warm-up

Warm up in JVM

Recommended

Recommended

More Related Content

Featured

Featured (20)

Warm up in JVM