Play new and move-first

As data centers face increasing power shortages driven by AI and cloud computing demands, both gas engines and fuel cells have emerged as critical solutions for backup and primary power generation. While gas engines offer proven reliability and fast response times, fuel cells present a cleaner, more efficient alternative with lower emissions. This article examines the key differences between gas..

As data centers face increasing power shortages driven by AI and cloud computing demands, gas turbines and gas engines have emerged as critical backup and supplementary power solutions. Both technologies offer proven reliability in distributed generation, but each comes with distinct advantages and limitations. This article examines the key differences between gas turbines and gas engines to hel..

1. 연료전지와 배터리의 차이는 무엇인가요? 연료전지: 수소, NG등 연료를 주입하여 전력을 생산하는 장치 (에너지 변환) 배터리: 전기를 저장하였다가 방전하는 방식으로 전력을 공급하는 장치 (에너지 저장)배터리(에너지 저장 장치)충전 시: 전기 → 화학 에너지 (저장)방전 시: 화학 에너지 → 전기 (사용)내부 전극 물질이 화학 반응에 직접 참여, 반응 물질이 소진되면 멈춤충·방전 반복으로 전극 물질 열화연료전지(에너지 변환 장치)연료(수소) + 산소 → 전기 + 물 + 열전극은 촉매 역할만 (소모되지 않음), 연료와 산소가 계속 공급되면 계속 발전연료 공급만으로 작동 지속2. 연료전지를 통해 데이터센터에 전력 공급시 신뢰성과 안정성은 어떤가요? a.) 가동률 : 데이터센터 요구사항: 99.99% (T..

연료전지란?연료전지(Fuel Cell)는 수소와 산소의 화학반응을 통해 전기를 직접 생산하는 발전 장치입니다. 일반 배터리와 달리 연료(주로 수소)를 지속적으로 공급하면 계속해서 전기를 만들어낼 수 있습니다.https://www.sciencedirect.com/topics/engineering/fuel-cell-system 기본 작동 원리연료전지는 세 가지 주요 구성요소로 이루어져 있습니다:a.)양극(Anode, 음극): 수소가 공급되는 곳으로, 수소 분자가 전자와 수소 이온(양성자)으로 분리됩니다.b.) 전해질(Electrolyte): 양극과 음극 사이에 위치하며, 수소 이온만 통과시키고 전자는 차단합니다.c.) 음극(Cathode, 양극): 산소가 공급되는 곳으로, 전..

Part 4 LLM TrainingPart 5 FinetuningPart 6 LLM Inference Part 6에서는 LLM Inference 시의 부하(Load) 변동에 대해서 살펴보도록 하겠습니다.Case 3. LLM Inference Power Consumption: GPT-2 vs. nanoGPT대상 모델: GPT-2, nanoGPT실험 조건: GPU 기반 LLM 추론(inference) 과정의 전력 소모 패턴 분석전력 소모 패턴의 주요 특징1) 급격한 전력 변동공통점: 두 모델 모두 추론 과정에서 저전력(Idle) 상태와 고전력(Active) 상태를 빠르게 오가며, 전력 소모가 급격히 변화함.- 전력 피크: 약 300W까지 순간적으로 상승.- 피크 지속 시간: 25~50초, 표준편차 약 50..

Part 4 LLM TrainingPart 5 FinetuningPart 6 LLM Inference Part 6에서는 LLM Inference 시의 부하(Load) 변동에 대해서 살펴보도록 하겠습니다.Case 3. LLM Inference Power Consumption: GPT-2 vs. nanoGPT대상 모델: GPT-2, nanoGPT실험 조건: GPU 기반 LLM 추론(inference) 과정의 전력 소모 패턴 분석전력 소모 패턴의 주요 특징1) 급격한 전력 변동공통점: 두 모델 모두 추론 과정에서 저전력(Idle) 상태와 고전력(Active) 상태를 빠르게 오가며, 전력 소모가 급격히 변화함.- 전력 피크: 약 300W까지 순간적으로 상승.- 피크 지속 시간: 25~50초, 표준편차 약 50..

Part 4 LLM TrainingPart 5 FinetuningPart 6 LLM Inference Part 5에서는 Finetuning 시의 부하(Load) 변동에 대해서 살펴보도록 하겠습니다. Case 2. GPT2-Medium 파인튜닝 시 AMD 7900 XTX GPU 전력 소비 패턴GPT2-medium 모델을 AMD 7900 XTX GPU에서 AMD의 가이드에 따라 파인튜닝할 때, 학습 단계별로 뚜렷한 전력 소비 패턴이 나타나며, 전력 소비 그래프(Fig. 13 참조)는 파인튜닝 과정에서 GPU 활용이 어떻게 변화하는지 네 가지 주요 단계를 나타냅니다.단계별 전력 소비 패턴 1. 초기화 및 세팅 단계 (0–350초) - 전력 소비가 일시적으로 급증한 뒤, 낮은 수준으로 떨어짐 - 모..

지난 Part 3에 이어서 동일한 모델로 Case Study 사례를 분석해 보도록 하겠습니다. 앞으로 살펴볼 Load(부하)의 변동은 1) LLM Training, 2) Finetuning, 3) LLM Inferenence(추론) 까지 총 3가지 종류의 Work에서 보여주는 부하(Load) 변동성 입니다. Case Study : LLM Traning Case study를 위해서 NVIDIA, AMD 사의 GPU와 GPT-2 124M 과 nanoGPT 모델 두가지를 적용하여 Test를 진행 하였습니다. 1. NVIDIA RTX 4090 (w/ GPT-2 124M) _ 124M paramteters a. 학습시간: 22시간 b. 전력 : 평균 414W (최대전력 461w) ..

Total Data Center Power Consumption(MIT Supercloud Dataset 예시)시스템 구성 및 Data 는 아래와 같이 구성되어 있으며 BERT*) 라는 모델을 사용하였을때 부하의 변동을 정리한 내용입니다. System Overview : TXGaia Cluster at MIT’s datacenter. 224 GPU-accelerated nodes, each with: - Two 20-core Intel Xeon Gold 6248 CPUs (384GB RAM). - Two NVIDIA Volta V100 GPUs (32GB RAM each). - Additional CPU-only nodes.Dataset Composition (~2.1 TB) Time series ..

AI 데이터센터에 얼마나 많은 전력이 사용되는지 측정하기 위해 사용되는 주요 전력 지표는 다음과 같습니다. 1. TDP (Thermal Design Power): 실제 하드웨어가 소비할 수 있는 최대 전력. (GPU에 소요되는 전력은 거의 대부분 열로 변환되기 때문에 열과 전력의 관계로 연결됨) 으로, 냉각 시스템 설계에 필수적이며 특히 대형 모델 훈련 시 TDP 한계까지 하드웨어가 작동함. - 활용: 데이터센터의 용량 계획 및 장비 수명 관리 2. GPU Utilization (GPU 활용률) GPU 자원이 얼마나 사용되고 있는지를 나타내는 비율로 직접적인 전력 측정은 아니지만, 전력 소비와 연관성이 큼. - 활용: 워크로드 분산, 에너지 효율 최적화, 자원 통합 기회 파악에 유용. 3. PUE ..