먼저 데이터센터의 기반이 되는 GPU, CPU 같은 칩(Chip) 단위를 시작으로 생각해볼 수 있습니다. 예를 들어 8개의 GPU와 2개의 CPU가 하나의 연산 단위를 이루면, 이를 DGX B200과 같은 하나의 서버(Server) 라고 부를 수 있습니다. 그리고 이렇게 구성된 서버 여러 대를 모아 하나의 랙(Rack)을 형성하게 됩니다.
랙은 보통 800W × 1200D × 48U와 같은 물리적 규격의 모듈 형태로 구성됩니다. 여기서 U는 서버 장비의 높이를 나타내는 표준 단위로, 1U는 약 1.75인치(44.45mm)를 의미합니다. 즉, 48U 랙은 최대 48U 높이의 장비를 수용할 수 있는 구조라고 이해하면 됩니다.
아래와 같이, 지금까지 출시되었거나 출시가 예정된 제품들을 기준으로 내용을 한눈에 볼 수 있도록 표로 정리해 보았습니다.
1. Chip Level
최신 GPU 칩들은 Hopper·Blackwell·CDNA3 아키텍처를 기반으로, HBM3(e) 메모리 용량과 인터커넥트 대역폭, TDP가 세대별로 크게 증가하며 AI 워크로드에 최적화된 형태로 진화하고 있습니다.
NVIDIA H100/H200부터 B100/B200, GB200 슈퍼칩과 AMD MI300X/MI325X까지 주요 칩 스펙을 한눈에 비교할 수 있도록 정리했습니다.
| Chip | 아키텍처 | TDP | 메모리 | 인터커넥트 | 출시 |
| NVIDIA H100 SXM5 | Hopper | 700W | 80GB HBM3 | NVLink 4.0 (900GB/s) | 2022 |
| NVIDIA H200 SXM5 | Hopper | 700W | 141GB HBM3e | NVLink 4.0 (900GB/s) | 2024 |
| NVIDIA B100 | Blackwell | 700W | 192GB HBM3e | NVLink 5.0 (1.8TB/s) | 2024 |
| NVIDIA B200 | Blackwell | 1,000W | 192GB HBM3e | NVLink 5.0 (1.8TB/s) | 2024 |
| NVIDIA GB200 (Superchip) | Blackwell + Grace | 2,700W (2x B200 + 1x Grace CPU) | 384GB HBM3e | NVLink 5.0 | 2024 |
| AMD MI300X | CDNA3 | 750W | 192GB HBM3 | Infinity Fabric | 2023 |
| AMD MI325X | CDNA3 | 1,000W | 256GB HBM3e | Infinity Fabric | 2024 |
* 참고로 B200은 단일 Blackwell GPU 이며, GB200은 두 개의 B200 GPU + 하나의 Crace ARM CPU를 패키지로 통합한 "Grace Balckwell 수퍼칩" 입니다.
2. Server(Node) Level
DGX·HGX·GB200 NVL72 등 대표적인 AI 서버들은 8~72개의 GPU와 듀얼 CPU(또는 Grace 통합)를 기반으로, 대당 8~14 kW 수준에서 랙 스케일 120 kW까지 전력 소모가 확대되고 있습니다.
GPU 수, CPU 구성, 총 전력, 폼팩터 관점에서 주요 서버 노드들을 간단히 비교할 수 있도록 정리했습니다.
| Server | GPU 구성 | CPU | 총 전력 | Form Factor |
| DGX H100 | 8x H100 SXM5 | 2x Xeon Platinum | ~10.2 kW | 8U |
| DGX H200 | 8x H200 SXM5 | 2x Xeon Platinum | ~10.2 kW | 8U |
| DGX B200 | 8x B200 | 2x Xeon | ~14.3 kW | 10U |
| NVIDIA GB200 NVL72 | 72x B200 + 36x Grace | Grace 통합 | ~120 kW/rack | Rack-scale |
| HGX H100 (OEM) | 8x H100 | 2x CPU | 8~10 kW | 6~8U |
3. Rack Level
GPU 랙은 저밀도 공랭, 중밀도 하이브리드 DLC, 초고밀도 풀 DLC 구조로 나뉘며, 랙당 전력 밀도가 약 40 kW에서 60~80 kW, 그리고 그 이상으로 상승하는 방향으로 설계되고 있습니다.
랙 크기, GPU 수, 냉각 방식, 전력 밀도 등 핵심 요소를 중심으로 AI 워크로드용 표준 랙 구성을 단계별로 정리했습니다.
a.) GPU 저밀도 랙
| 항목 | 사양 |
| Rack Size | 48U, 800W x 1,200D mm |
| 구성 | 4x DGX H100 (8U each) = 32 GPUs |
| 전력 밀도 | ~40 kW/rack |
| 냉각 | Air (CRAH) + Rear Door HX |
| Aisle | Hot/Cold Containment |
| 무게 | ~1,200 kg |
b.) GPU 중밀도 랙
| 항목 | 사양 |
| Rack Size | 52U, 800W x 1,300D mm |
| 구성 | 6~8x HGX H100/H200 = 48~64 GPUs |
| 전력 밀도 | 60 ~ 80 kW/rack |
| 냉각 | DLC (CPU/GPU Cold Plate) + Air (Memory/NIC) |
| DLC:Air 비율 | 70:30 |
| 무게 | ~1,500 kg |
c.) GPU 초고밀도 랙
| 항목 | 사양 |
| Rack Size | 52U, 800W x 1,400D mm |
| 구성 | NVIDIA GB200 NVL72 (72 GPUs + 36 Grace CPU) |
| 전력 밀도 | 120 ~ 132 kW/rack |
| 냉각 | Full DLC (85~90%) + 소량 Air |
| 공급수온 | W32 (32°C 입수) / W40 (40°C 배수) |
| NVLink Switch | 9x NVLink Switch Tray (내장) |
| 무게 | ~1,360 kg (약 3,000 lbs) |
| Busbar | 1,400A DC Busbar (rack 후면) |
