TensorRT-LM 환경에서 다양한 배치 정책에 따른 추론 성능 분석

Performance Analysis of Inference Using Different Batch Policies in TensorRT-LLM Environment
제목
TensorRT-LM 환경에서 다양한 배치 정책에 따른 추론 성능 분석
제목 (타언어)
Performance Analysis of Inference Using Different Batch Policies in TensorRT-LLM Environment
저자
YU, Heonchang
발행일
2025-07-02
학회명
한국정보과학회 KCC2025
개최지
제주 ICC
개최국가
대한민국
학회 개최일
2025-07-02 ~ 2025-07-04