TrustArc Webinar - Unlock the Power of AI-Driven Data Discovery
[232]TensorRT를 활용한 딥러닝 Inference 최적화
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14. Step 1: TF모델을 TRT 포맷으로 변환
Step 2: 모델 Parser 생성
Step 3: 입/출력 레이어 정보 입력
Step 4: 모델의 최적화 및
런타임 Engine 생성
Step 5: 엔진을 파일로 저장
Step 6: 엔진을 파일에서 읽음
Step 7: Inference 수행