Data Center] Cloud Data Center 에서 AI Data Center로

Cloud Data Center에서 AI Data Center로의 진화

인공지능(AI), 특히 생성형 AI(Generative AI)와 대규모 언어 모델(LLM)의 폭발적인 성장은 데이터센터 산업에 있어 단순한 수요 증가가 아닌, 인프라의 물리적, 공학적 본질을 재정의 하는 변화와 같다.

기존의 데이터센터가 웹 호스팅, 데이터베이스 관리, 기업용 APP등 범용 목적의 CPU work load를 처리하기 위해 형태였다면, AI 데이터센터는 수천, 수만개의 GPU가 병렬 연산을 수행하는 초고밀도 컴퓨팅 환경이 필요하다.

조금 과장해서 말한다면 AI Data Center는 빌딩이라기 보다는 하나의 거대한 컴퓨터라고 할 수 있다. 따라서 공간의 개념에서 하나의 정밀 기계의 개념으로 재정의가 필요하다.

초밀도 전력 그리고 AI 데이터센터 
AI 데이터센터의 가장 큰 차이점은 전력 밀도라고 말할 수 있다. 수 많은 데이터를 학습하고 추론하기 위해서는 단위 랙(Rack)당 요구되는 전력의 밀도가 상상 이상으로 커진다. 기존의 데이터센터는 일반적으로 랙당 5~10kW의 전력 밀도를 기준으로 설계되고 있다. 고성능 컴퓨팅(HPC) 영역에서도 20kW 수준이 상한선으로 여겨져왔다. 그러나 NVIDIA의 H100/H200을 탑재한 AI 전용 랙은 기본 40kW에서 시작하며, NVL72와 같은 최신 아키텍처는 랙당 120kW~130kW에 육박한다. 바로 이 전력밀도가 AI 데이터센터와 기존 데이터센터와의 가장 큰 차이점중 하나다.
물론 수천 개의 GPU가 유휴(idle) 상태에서 최대부하(Full load)상태까지 마이크로초(us)단위로 동시에 전환될 수 있으며 기존의 웹 트래픽이나 데이터베이스 부하에서는 볼 수 없었던 현상도 가장 큰 차이점중 하나다.

전력의 초밀도화 공간 활용의 역설을 부르다.
동일한 10MW 용량이라도 기존 데이터센터에서는 약 1,000~2,000개의 랙 공간이 필요했다면, AI 데이터센터는 불과 100 ~ 200개의 랙으로 동일한 전력을 소모한다. 이는 상면 공간(White Space)의 축소를 의미함과 동시에 축소된 공간에 모든 전력 케이블과 냉각 배관을 집적시켜야 하는 물리적 포화 문제를 불러온다.

그래도 방법은 있다.
전력의 경우 케이블의 부피와 무게를 경감 시키기 위해서 AI 데이터센터에서는 대전류 버스웨이(Bus way)를 랙 상부에 설치하여 직접 탭오프(Tap-off) 박스를 통해 전력을 공급하는 방식으로 경감을 시키고

냉각의 경우 기존 DC(공랭중심)의 CRAC(Computer Room Air Conditioner)또는 CRAH(Computer Room Air Handler) 장비를 사용했다면 공기보다 열전도율이 높은 액체를 사용하는 액체 냉각(Liquid Cooling)을 적용하여 냉각에 대한 문제를 경감할 수 있다. (물의 열전도율은 공기의 약 24배, 열용량은 약 3,500배)

Liquid cooling에는 Immersion Cooling(액침 냉각)과 같이 서버 전체를 비전도성 유전체에 용액에 담그는 방식도 있지만 아직까지는 유지보수의 어려움, 하중의 증가(2t/m2~3t/m2이상)등의 이유로, 칩셋(GPU/CPU) 위에 직접 콜드 플레이트(Cold Plate)를 부착하여 유체를 순환시켜 열을 제거하는 냉각방식을 택하는 데이터센터들이 늘고 있다.(전체 열부하의 약 70~80%를 액체로 제거, 나머지는 공랭으로 보조)

지금까지 아주 기본적인 내용이지만 AI 데이터센터를 이해하기 위한 내용을 간략히 정리해 보았습니다.