같은 H100인데 왜 견적이 다를까? HGX vs PCIe와 사양 정규화
핵심 요약: 같은 "H100 서버"라도 HGX(SXM) 구성과 PCIe 구성은 아키텍처 자체가 다른 서버예요. 여기에 CPU, RAM, NVMe, 네트워크 카드, 보증, 설치 범위까지 벤더마다 다르게 잡혀 있으면 견적 금액만으로는 비교가 불가능해요. 이 글에서는 두 구성의 구조적 차이와, 여러 견적을 같은 조건으로 맞춰 비교하는 "사양 정규화" 방법을 정리했어요.
GPU 서버 견적을 여러 곳에서 받아 보면 이상한 경험을 하게 돼요. 분명히 똑같이 "H100 8GPU 서버"라고 요청했는데, 업체마다 금액 차이가 크게 벌어지는 거죠. 이때 가장 위험한 판단이 "제일 저렴한 곳으로 하자"예요. 금액이 다른 이유의 대부분은 마진 차이가 아니라, 애초에 서로 다른 물건을 견적한 경우이기 때문이에요.
이 글에서는 그 차이가 어디서 생기는지, 그리고 받은 견적서들을 어떻게 같은 기준으로 맞춰서 비교해야 하는지를 다뤄요.
같은 GPU 이름, 다른 서버
"H100"이라는 이름은 GPU 칩의 이름이지, 서버 구성의 이름이 아니에요. 같은 H100이라도 서버에 올라가는 방식은 크게 두 가지로 나뉘어요.
첫 번째는 HGX(SXM) 구성이에요. GPU가 SXM이라는 전용 모듈 형태로 보드에 직접 실장되고, 8장의 GPU가 NVSwitch를 통해 서로 전부 연결돼요. 8장이 하나의 고속 통신 도메인으로 묶이는 구조라서, GPU끼리 데이터를 주고받는 양이 많은 대형 분산학습에 적합해요.
두 번째는 PCIe 구성이에요. 일반 서버의 PCIe 슬롯에 카드 형태로 장착하는 방식이라, 1장부터 필요한 만큼 유연하게 구성할 수 있어요. GPU 간 통신 대역폭은 HGX 대비 제한적이지만, 추론 서비스나 부서 단위 AI처럼 GPU 간 통신이 상대적으로 적은 워크로드에서는 합리적인 선택이 돼요.
두 구성의 차이를 표로 정리하면 이래요.
| 구분 | HGX (SXM + NVSwitch) | PCIe 구성 |
|---|---|---|
| GPU 장착 방식 | SXM 모듈, 보드 직접 실장 | PCIe 슬롯에 카드 장착 |
| GPU 간 연결 | NVSwitch로 8장 전체가 고속 도메인으로 결합 | PCIe 경유 (일부 모델은 브리지로 2장 단위 연결) |
| 구성 단위 | 보통 8GPU 고정 | 1~8GPU 유연 구성 |
| 전력·냉각 | 고밀도, 랙 전력·냉각 사전 검토 필수 | 상대적으로 부담이 낮은 편 |
| 대표 워크로드 | 대형 모델 분산학습, 멀티노드 클러스터 | 추론 서비스, RAG, 부서형 AI, 경량 파인튜닝 |
| 확장 방향 | InfiniBand·RoCE로 노드 간 클러스터 확장 | 서버 대수 추가로 수평 확장 |
여기서 중요한 건, 두 구성이 "상위 버전과 하위 버전" 관계가 아니라는 점이에요. HGX가 항상 좋은 게 아니라, 워크로드가 GPU 간 통신을 얼마나 요구하느냐에 따라 맞는 답이 달라져요. 흔히 "학습용은 SXM, 추론용은 PCIe"라고 말하지만, 이것도 절대 구분이 아니라 워크로드 기준의 경향일 뿐이에요.
다만 견적 비교 관점에서는 명확해요. HGX 견적과 PCIe 견적은 GPU 이름이 같아도 동급 견적이 아니에요. 이 둘이 한 비교표에 나란히 놓여 있다면, 그 비교표 자체를 다시 만들어야 해요.
GPU 밖에서 벌어지는 차이
구성 방식이 같더라도 견적 차이는 계속 생겨요. GPU 서버 견적에서 GPU가 차지하는 비중이 크다 보니, 나머지 항목에서 사양을 낮추면 총액이 그럴듯하게 내려가거든요. 대표적으로 벌어지는 항목들이에요.
- CPU: 코어 수와 세대가 다르면 데이터 전처리, 데이터 로딩 성능이 달라져요.
- RAM: GPU 메모리 합계 대비 시스템 메모리가 부족하면 병목이 생겨요.
- NVMe 스토리지: 용량뿐 아니라 개수, 등급(읽기 중심·혼합 워크로드)이 체크포인트 저장과 데이터 공급 속도를 좌우해요.
- NIC/HCA: 노드 간 통신용 InfiniBand·RoCE 카드의 포트 수와 속도(400G급 여부)는 클러스터 확장 시 결정적이에요.
- 광모듈·케이블: 견적에서 가장 자주 빠지는 항목이에요. 수량이 많아지면 무시할 수 없는 규모가 돼요.
- 보증기간·지원등급: 3년과 5년, 익영업일 대응과 24x7 대응은 전혀 다른 조건이에요.
- 설치·운송·부가세: 납품 조건에 랙 마운트, 케이블링, 초기 검증이 포함되는지, 운송과 부가세가 포함가인지 별도인지도 확인해야 해요.
실제로 자주 보는 패턴이 있어요. 여러 견적 중 가장 저렴한 안을 열어 보면 보증기간이 짧고, 노드 간 네트워크 카드가 한 단계 낮은 속도이고, 광모듈과 설치비가 "별도 협의"로 빠져 있는 경우예요. 계약 후에 빠진 항목을 채워 넣다 보면 처음의 금액 차이가 사라지거나 오히려 역전되기도 해요. 최저가 견적이 문제라는 뜻이 아니라, 최저가가 "동일 사양 기준 최저가"인지 먼저 확인해야 한다는 뜻이에요.
사양 정규화: 같은 조건으로 맞춘 뒤 비교하기
그래서 필요한 게 **견적 정규화(Normalization)**예요. 받은 견적서들을 그대로 세로로 놓고 총액만 비교하는 게 아니라, 모든 견적을 하나의 기준 사양표에 맞춰 재정렬한 뒤 비교하는 작업이에요.
순서는 이래요.
- 기준 사양표를 먼저 만들어요. GPU 구성(HGX인지 PCIe인지부터), CPU, RAM, NVMe, NIC/HCA, 광모듈, 보증기간, 설치 범위, 운송, 부가세 포함 여부까지 한 줄씩 명시해요.
- 각 견적을 기준표에 대조해요. 항목이 기준과 다르면 표시하고, 아예 없으면 누락으로 기록해요.
- 누락·차이 항목을 보정해요. 빠진 항목은 추가 시 조건을 다시 받아서 채우고, 상향·하향된 항목은 기준 사양으로 맞춘 조건을 재요청해요.
- 그다음에 총액을 비교해요. 이 시점의 비교가 비로소 "같은 물건"의 비교예요.
이 과정을 거치면 견적 간 순위가 바뀌는 경우가 드물지 않아요. 처음에 가장 저렴해 보였던 안이 정규화 후 중간 순위가 되기도 하고, 반대로 비싸 보였던 안이 보증과 설치까지 포함한 조건에서는 가장 합리적인 안으로 확인되기도 해요.
기준 사양표를 만들 때 어떤 항목을 어떤 순서로 채워야 하는지는 견적 요청 전 체크리스트에서 자세히 다뤘으니 함께 참고해 주세요.
견적서에서 반드시 확인할 항목
정규화 작업과 별개로, 견적서를 받자마자 확인해야 할 항목이 세 가지 있어요.
제외사항(Exclusions)이에요. 견적서 하단의 "포함되지 않는 항목" 문구를 반드시 읽어야 해요. 광모듈, 케이블, 랙 마운트 키트, 설치 인건비, 운송비 같은 항목이 여기에 숨어 있는 경우가 많아요. 제외사항 목록이 아예 없는 견적이라면 오히려 포함 범위를 서면으로 다시 확인하는 게 안전해요.
유효기간이에요. GPU 서버는 환율과 공급 상황의 영향을 크게 받아서, 견적 유효기간이 일반 IT 장비보다 짧게 잡히는 경우가 많아요. 유효기간이 지난 견적을 기준으로 예산을 확정하면 발주 시점에 조건이 달라질 수 있어요. 예산 확정과 발주 사이 기간이 길다면 유효기간 연장이나 재견적 조건을 미리 협의해 두는 게 좋아요.
검수 기준이에요. 납품 후 어떤 테스트를 통과해야 인수로 인정되는지(Acceptance Test)를 견적·계약 단계에서 합의해야 해요. GPU 전수 인식과 상태 점검, GPU 간 통신 테스트, 노드 간 네트워크 대역폭 측정, 스토리지 성능 확인, 실제 워크로드 샘플 실행까지. 검수 기준이 문서에 없으면 "장비가 켜지면 인수"가 되어 버리고, 이후 발견되는 문제는 협의가 어려워져요.
이 세 가지가 견적서에 명시되어 있는지 여부만으로도 공급사가 GPU 인프라 납품 경험이 충분한지 어느 정도 가늠할 수 있어요.
마치며
정리하면 이래요. 같은 GPU 이름이 같은 서버를 의미하지 않고, 같은 서버 구성이 같은 견적 조건을 의미하지도 않아요. HGX와 PCIe라는 구조적 차이를 먼저 구분하고, CPU부터 부가세까지 조건을 정규화한 뒤에 비교해야 견적 비교가 의미를 가져요.
저희는 특정 장비를 단순 유통하는 방식이 아니라, 고객의 AI 서비스 목적과 운영 조건을 분석한 뒤 온프레미스 GPU 서버, 퍼블릭 클라우드, 일반 서버, 데이터베이스, 구축·운영 서비스를 하나의 제안으로 결합해 드리고 있어요. 멀티벤더(xFusion·KAYTUS·Supermicro·Dell·HPE) 대응이 가능해서, 이미 받아두신 타사 견적을 같은 사양 기준으로 정규화해 비교 분석해 드리는 것도 가능해요. 자세한 내용은 AI·GPU 인프라 사업 소개에서 확인해 주세요.