Digital

【第3回】GPU基盤の最新動向

デジタル支援

―—H100/H200/B200/GB200、発注前に押さえる現実論

こんにちは。事業開発の現場でAI基盤やデータセンター、
製造業DXに関わっている恩賜の煙草です。

前回は「プライベートAI」の全体像でしたが、
今回はその心臓部にあたるGPUサーバーの話です。

「H100?H200?B200?GB200?結局どれを選べばいいの?」
という質問を、この半年で何十回受けたか分かりません。
今回は、カタログ性能では見えない実務の判断軸を、
発注前に必ず押さえておきたい観点で整理します。


この記事のポイント

  • 世代の位置づけ:H100=前世代主力、H200=メモリ増強版、B200=Blackwell新世代、GB200=Grace CPU+B200のスーパーチップ

  • 選定はGPUカタログではなく"ラック単位"で考える:
    電源・冷却・ネットワークを含めた総合設計が必須

  • 国内調達のリードタイム:
    GB200系は依然として長納期。B200単体は徐々に流通

  • 中堅企業の現実解:
    H100/H200の中古・レンタル+GPUクラウド併用が費用対効果◎

  • 落とし穴:ラック電源容量、冷却方式(空冷/水冷)、光ネットワーク、ソフトウェアスタック


1. NVIDIAデータセンターGPUの世代マップ

まず全体像を押さえましょう。

押さえておきたい前提:

  • 上位モデルほど「1枚当たりの絶対性能」は上がるが、電力・冷却・調達難度も同時に上がる

  • GB200 NVL72のような"ラック単位で買うGPU"が登場し、従来の「GPUを何枚買うか」という発想では設計できなくなってきた

  • 中堅企業にはH100/H200の中古・レンタル市場が現実的な選択肢として広がっている


2. カタログ性能で判断してはいけない理由

「B200のFLOPSはH100の何倍!」というような話は、実務上ほぼ意味がありません。理由は3つ。

① 実効性能はソフトウェア次第

モデル並列化、KVキャッシュ管理、量子化の有無、推論エンジン(vLLM/TensorRT-LLM等)で、同じGPUでも実効スループットは2〜5倍変わるのが普通です。

② メモリ帯域・容量がボトルネックになる

LLM推論では計算能力よりもHBM(High Bandwidth Memory:GPU内蔵の高速メモリ)の帯域と容量が効きます。だからこそH200のように「同じHopperでもメモリを積んだ版」が意味を持つのです。

③ ネットワーク(NVLink/InfiniBand)がボトルネックになる

複数GPU・複数ノードで学習/推論する場合、GPU間の通信速度が全体性能を決めます。カタログスペックには載らないボトルネックがここに集まります。


3. ラック単位で考える必要が出てきた理由

Blackwell世代、特にGB200 NVL72では、
「1台のサーバー」ではなく「1ラック(GPU72基+Grace CPU36個)を1つの計算単位」
として扱う設計になりました。
これは以下を意味します。

  • 1ラックあたりの消費電力:120kW前後(従来の6〜10倍)

  • 空冷では冷やせない(先端世代は水冷/直接液冷が事実上必須)

  • 調達単位が"ラック":内部の光ケーブル配線、電源、冷却まで一体

  • 設置場所の要件:一般的なデータセンターの床荷重・電源容量では収まらない

つまり「GPU 8枚のサーバーを追加購入」という感覚では、もう発注できない世代に入っています。

中堅企業やPoC規模の場合、無理してBlackwell世代を追いかけず、H100/H200世代を熟練させる方が事業的に賢明なケースが多いです。


4. 用途別のGPU選定早見表

現場感覚を数値化するとこんな感じです。

推論だけならGPU 1〜2枚で始められる業務は意外と多い、というのが現場感覚です。「まずは大規模学習!」に飛びつく前に、推論から入る設計を推奨します。


5. 調達で見落とされがちな5つのポイント

以下は、発注書にサインする前に必ずチェックしたい観点です。

  1. 電源容量:ラック当たり何kWまで引けるか。既存DCで足りるか

  2. 冷却方式:空冷/水冷(リアドア型・ダイレクトチップ)どれに対応可能か

  3. ネットワーク:InfiniBand HDR/NDR、Ethernet 400G/800Gの物理配線

  4. ソフトウェアスタック:CUDA、cuDNN、Triton、vLLM、モデル管理基盤の運用要員

  5. 保守サポート:NVIDIA Enterprise、SIerサポート、部品交換SLA

特に「電源と冷却」は、GPUを買ったあとでは変えられません。 データセンター選定段階で、この2点が将来の世代交代にも耐えるかを見ておく必要があります。


6. 中堅企業の現実解:ハイブリッド戦略

中小〜中堅企業がAI基盤を持つ場合、
私が現場で提案するのは"ハイブリッド戦略"です。

Copy【定常業務】
  ┌─────────────────┐
  │ オンプレGPU 1〜2台 │ ← H100/H200中古 or 新品
  │ (常時運用・機密)│
  └─────────────────┘
         │
         │ ピーク時は溢れさせる
         ▼
【スパイク・実験用途】
  ┌─────────────────────────┐
  │ 国内GPUクラウド or        │
  │ AWS/GCP GPUインスタンス   │
  │ (従量課金・非機密)      │
  └─────────────────────────┘

このハイブリッド構成の利点は、

  • 平時のコストは固定費で抑えられる

  • 突発ワークロードには従量課金で対応

  • 機密度に応じてワークロードを配置分けできる

の3点です。
全部を自前で持たない、
全部をクラウドに寄せない、
"7割自前・3割スポット"あたりが多くの企業にとって最適解になります。


7. これから発注を検討する人へのチェックリスト

  • 使うモデルサイズ(パラメータ数)と、想定同時利用者数は決まっているか

  • 用途は「学習」か「推論」か(両方か)

  • 機密度による業務仕分けは終わっているか

  • 設置予定のDCの電源・冷却は先端世代に対応するか

  • 運用要員(インフラ・MLOps・セキュリティ)は確保できるか

  • 3年後にGPU世代交代したときの移行計画はあるか

  • 導入効果を測る指標(KPI)は設定されているか

「発注してから運用チームを探す」プロジェクトは、ほぼ確実に炎上します。 GPUの調達計画と、運用体制の整備は同時並行で進めるのが鉄則です。


推奨する次のアクション

  1. 自社の業務に必要なGPU規模を"モデルサイズ×同時利用者数"で試算する

  2. 既存DCの電源・冷却が先端世代に耐えるか、事業者に確認する

  3. PoCなら国内GPUクラウド、本番なら自前という段階設計を描く

次回(第4回)は、「データセンター選定の実務チェックリスト」です。AI基盤を置く場所として、いま何を見て選ぶべきか、事業所として押さえるべき観点を整理します。

読んでくださって、ありがとうございました。


参考・連載記事


初めての方はこちらを👇

【はじめてのnote】自己紹介|恩賜の煙草
恩賜の煙草を10秒で自己紹介!! | 恩賜の煙草

【はじめてのnote】スキ、フォローお願いします。
コメント含め相互フォローさせていただきます。

ホームページやアプリ、撮影・広告、AIの活用などのご相談は、初回無料で承ります。

この記事は、LiNoah の note(https://note.com/tomo06103280/n/nf5c44eabf842)に掲載した内容を、このサイト向けに転載しています。