Part 4 LLM TrainingPart 5 FinetuningPart 6 LLM Inference Part 6에서는 LLM Inference 시의 부하(Load) 변동에 대해서 살펴보도록 하겠습니다.Case 3. LLM Inference Power Consumption: GPT-2 vs. nanoGPT대상 모델: GPT-2, nanoGPT실험 조건: GPU 기반 LLM 추론(inference) 과정의 전력 소모 패턴 분석전력 소모 패턴의 주요 특징1) 급격한 전력 변동공통점: 두 모델 모두 추론 과정에서 저전력(Idle) 상태와 고전력(Active) 상태를 빠르게 오가며, 전력 소모가 급격히 변화함.- 전력 피크: 약 300W까지 순간적으로 상승.- 피크 지속 시간: 25~50초, 표준편차 약 50..
