GPU 서버 견적 요청 전 확인할 8가지 체크리스트
핵심 요약: GPU 서버 견적을 요청하기 전에 정리해야 할 8가지 항목(학습/서비스 목적, 모델·데이터 규모, 사용 기간, 사용량 지속성, 전력·냉각, 네트워크·스토리지, 데이터 반출 정책, 허용 벤더·지원 조건)을 해설해요. 이 8가지가 준비되면 벤더별 견적을 같은 기준에서 비교할 수 있어요.
"H100 8장 견적 부탁드립니다." GPU 서버 도입을 검토하는 실무자분들이 가장 자주 보내는 첫 메일이에요. 그런데 이렇게 GPU 모델명과 수량만 적어 보내면, 돌아오는 견적서들은 서로 비교할 수 없는 경우가 대부분이에요.
이 글에서는 견적을 요청하기 전에 왜 8가지를 먼저 정리해야 하는지, 각 항목이 견적의 어떤 부분을 좌우하는지 하나씩 짚어볼게요.
GPU 모델명만 적어 보내면 왜 비교가 안 될까요
같은 "H100 8장"이라도 벤더마다 채워 넣는 가정이 달라요. 어떤 벤더는 SXM 모듈에 NVSwitch가 들어간 HGX 시스템으로, 어떤 벤더는 PCIe 카드 구성으로 잡아요. 두 구성은 GPU 간 통신 구조가 다른, 사실상 다른 제품이에요. CPU 코어 수, 메모리 용량, NVMe 스토리지, 네트워크 카드도 벤더마다 제각각 들어가요.
결과적으로 사양이 전부 다른 견적서 여러 장을 받아 들고, 금액 숫자만 나란히 놓고 비교하게 돼요. 이때 보이는 차이는 벤더의 경쟁력 차이가 아니라 "가정의 차이"인 경우가 많아요. 요구사항이 비어 있으면 벤더는 각자 유리한 방향으로 빈칸을 채울 수밖에 없거든요.
반대로 아래 8가지가 채워져 있으면, 모든 벤더가 같은 조건 위에서 견적을 내게 돼요. 그때부터 비교가 의미를 갖기 시작해요.
체크리스트 ①②: 무엇을, 어떤 규모로 하려는 건가요
① 학습이 목적인가요, 서비스(추론)가 목적인가요
같은 GPU라도 워크로드에 따라 시스템 구성이 완전히 달라져요. 대형 모델 학습이라면 GPU 간 대역폭이 병목이 되기 쉬워서 NVSwitch 기반 HGX 구성과 노드 간 고속 네트워크가 중요해져요. RAG나 챗봇 같은 서비스 워크로드라면 동시 사용자 수, 응답 시간, 모델이 GPU 메모리에 적재되는지가 핵심이 돼요.
한 가지 주의할 점이 있어요. "학습용 GPU, 추론용 GPU"라는 구분은 절대적인 게 아니에요. 같은 GPU가 학습에도 추론에도 쓰이고, 선택 기준은 어디까지나 워크로드예요. 그래서 벤더에게 GPU 이름 대신 "무엇을 학습하거나 서비스하려는지"를 먼저 알려주는 게 훨씬 정확한 출발점이에요.
② 모델과 데이터는 얼마나 큰가요
GPU 메모리 용량은 구성의 갈림길이에요. H100은 80GB, H200은 141GB, B200은 GPU당 180GB급, RTX PRO 6000 Blackwell은 96GB 수준의 메모리를 갖고 있어요. 서비스하려는 모델이 96GB 안에 적재되는지, 장문맥 처리로 KV Cache가 얼마나 커지는지에 따라 후보 제품군 자체가 달라져요.
데이터 규모는 스토리지와 전처리 파이프라인 설계를 좌우해요. 학습 데이터가 수백 TB라면 GPU보다 스토리지 처리량이 먼저 병목이 될 수도 있어요.
체크리스트 ③④: 얼마나 오래, 얼마나 꾸준히 쓰나요
③ 사용 기간
3개월짜리 PoC와 3년 운영은 완전히 다른 문제예요. 단기 검증이라면 클라우드 GPU로 시작하는 편이 합리적인 경우가 많고, 장기 운영 계획이 있다면 온프레미스 도입을 포함해 시나리오를 비교해야 해요.
④ 사용량 지속성
기간만큼 중요한 게 사용률이에요. GPU를 확보해 놓고 절반의 시간을 놀린다면 온프레미스의 장점이 줄어들고, 반대로 꾸준히 돌아가는 워크로드라면 클라우드 비용이 계속 누적돼요. 저희 경험상 12개월 이상, 60~70% 이상 지속 사용하는 워크로드라면 온프레미스가 유리해지는 경우가 많았어요.
이 판단 축(사용률, 도입 속도, 데이터 반출 가능성, CAPEX/OPEX 선호)은 온프레미스와 클라우드 판단 기준에서 더 자세히 다루고 있어요.
체크리스트 ⑤⑥: 장비를 받을 준비가 되어 있나요
⑤ 전력·냉각 조건
의외로 계약 직전에 발목을 잡는 항목이에요. B200 기반 8GPU 시스템은 한 대에 약 14kW급 전력을 소비해요. 일반적인 전산실 랙은 이보다 훨씬 낮은 전력 밀도로 설계된 경우가 많아서, 랙당 공급 전력과 냉각 방식(공랭/액랭)을 사전에 확인하지 않으면 장비를 받아 놓고도 켜지 못하는 상황이 생겨요. 자체 전산실인지, IDC 상면인지, 상면이라면 랙당 몇 kW까지 가능한지를 견적 요청 전에 파악해 두세요.
⑥ 네트워크·스토리지
GPU 서버 견적은 GPU만으로 끝나지 않아요. 서버 내부의 GPU 간 통신은 NVLink/NVSwitch가 담당하지만, 여러 노드를 묶는 순간 InfiniBand나 RoCE 기반 노드 간 네트워크가 필요해져요. 학습 클러스터라면 스토리지도 중요해요. 체크포인트 저장과 데이터 로딩을 감당할 NVMe, 병렬 파일시스템 구성이 견적에 포함되어야 하거든요. 단일 노드로 충분한지, 클러스터 확장 계획이 있는지를 미리 알려주면 네트워크·스토리지 항목이 빠진 반쪽짜리 견적을 피할 수 있어요.
체크리스트 ⑦⑧: 제약 조건은 무엇인가요
⑦ 데이터 반출 정책
데이터가 외부로 나갈 수 있는지 여부는 온프레미스와 클라우드 사이의 선택지를 결정하는 조건이에요. 금융권이나 공공기관처럼 폐쇄망 요건이 있거나 내부 규정상 데이터 반출이 어렵다면, 클라우드 옵션은 처음부터 제외되거나 프라이빗 구성으로 좁혀져요. 이걸 미리 알려주지 않으면 실행 불가능한 옵션이 견적서에 섞여 들어와요.
⑧ 허용 벤더·지원 조건
조직에 따라 도입 가능한 서버 제조사가 정해져 있는 경우가 있어요. 반대로 제조사 제한이 없다면 멀티벤더(xFusion·KAYTUS·Supermicro·Dell·HPE) 견적 비교로 선택 폭을 넓힐 수 있어요. 유지보수 기간, 국내 기술지원 여부, 설치 후 검수(GPU 상태 점검, NCCL 통신 테스트, 실제 Job 테스트) 범위도 이 단계에서 함께 정리해 두면 좋아요. 같은 하드웨어라도 지원 조건에 따라 운영 경험이 크게 달라지거든요.
8가지가 준비되면 견적 비교가 이렇게 달라져요
8가지가 정리된 요청서를 받으면, 벤더는 빈칸을 자의적으로 채우는 대신 요구사항에 맞는 구성을 설계하게 돼요. 그리고 하나의 답이 아니라 서로 비교 가능한 복수의 옵션을 받을 수 있어요.
| 항목 | 이 항목이 좌우하는 것 |
|---|---|
| ① 학습/서비스 목적 | 시스템 구성 방향 (HGX vs PCIe, 단일 노드 vs 클러스터) |
| ② 모델·데이터 규모 | GPU 메모리 용량, 후보 제품군, 스토리지 규모 |
| ③ 사용 기간 | 온프레미스/클라우드 시나리오 범위 |
| ④ 사용량 지속성 | 소유와 사용 중 어느 쪽이 유리한지 |
| ⑤ 전력·냉각 | 설치 가능 여부, 상면·냉각 방식 |
| ⑥ 네트워크·스토리지 | 노드 간 네트워크, 파일시스템 포함 여부 |
| ⑦ 데이터 반출 정책 | 클라우드 옵션의 허용 범위 |
| ⑧ 허용 벤더·지원 조건 | 견적 대상 제조사, 유지보수·검수 범위 |
이렇게 되면 "어느 견적이 싼가"가 아니라 "우리 워크로드에 어느 구성이 맞는가"를 기준으로 판단할 수 있어요. GPU 가격은 구성·환율·시점에 따라 달라지기 때문에, 비교의 기준을 금액이 아니라 요구사항에 두는 게 결국 시간을 아끼는 길이에요.
마치며
GPU 서버 도입은 장비 한 대를 사는 일이 아니라, 전력·냉각·네트워크·스토리지·운영까지 이어지는 인프라 전체를 설계하는 일이에요. 그래서 저희는 견적 요청을 받으면 GPU 모델명부터 확인하는 대신, 위 8가지를 함께 정리하는 것부터 시작해요. 그 위에서 온프레미스 GPU 서버, 퍼블릭 클라우드, 필요하면 데이터베이스와 구축·운영 서비스까지 하나의 제안으로 묶어 드리고 있어요.
체크리스트를 채우다가 막히는 항목이 있다면 그 상태 그대로 문의 주셔도 괜찮아요. 비어 있는 칸을 함께 채우는 것도 상담의 일부니까요. 온프레미스와 클라우드 중 어느 쪽에서 시작할지 고민된다면 AI·GPU 인프라 도입 가이드에서 판단 기준을 먼저 확인해 보세요.