Digital
【第3回】GPU基盤の最新動向

―—H100/H200/B200/GB200、発注前に押さえる現実論
こんにちは。事業開発の現場でAI基盤やデータセンター、
製造業DXに関わっている恩賜の煙草です。
前回は「プライベートAI」の全体像でしたが、
今回はその心臓部にあたるGPUサーバーの話です。
「H100?H200?B200?GB200?結局どれを選べばいいの?」
という質問を、この半年で何十回受けたか分かりません。
今回は、カタログ性能では見えない実務の判断軸を、
発注前に必ず押さえておきたい観点で整理します。
この記事のポイント
世代の位置づけ:H100=前世代主力、H200=メモリ増強版、B200=Blackwell新世代、GB200=Grace CPU+B200のスーパーチップ
選定はGPUカタログではなく"ラック単位"で考える:
電源・冷却・ネットワークを含めた総合設計が必須国内調達のリードタイム:
GB200系は依然として長納期。B200単体は徐々に流通中堅企業の現実解:
H100/H200の中古・レンタル+GPUクラウド併用が費用対効果◎落とし穴:ラック電源容量、冷却方式(空冷/水冷)、光ネットワーク、ソフトウェアスタック
1. NVIDIAデータセンターGPUの世代マップ

まず全体像を押さえましょう。

押さえておきたい前提:
上位モデルほど「1枚当たりの絶対性能」は上がるが、電力・冷却・調達難度も同時に上がる
GB200 NVL72のような"ラック単位で買うGPU"が登場し、従来の「GPUを何枚買うか」という発想では設計できなくなってきた
中堅企業にはH100/H200の中古・レンタル市場が現実的な選択肢として広がっている
2. カタログ性能で判断してはいけない理由

「B200のFLOPSはH100の何倍!」というような話は、実務上ほぼ意味がありません。理由は3つ。
① 実効性能はソフトウェア次第
モデル並列化、KVキャッシュ管理、量子化の有無、推論エンジン(vLLM/TensorRT-LLM等)で、同じGPUでも実効スループットは2〜5倍変わるのが普通です。
② メモリ帯域・容量がボトルネックになる
LLM推論では計算能力よりもHBM(High Bandwidth Memory:GPU内蔵の高速メモリ)の帯域と容量が効きます。だからこそH200のように「同じHopperでもメモリを積んだ版」が意味を持つのです。
③ ネットワーク(NVLink/InfiniBand)がボトルネックになる
複数GPU・複数ノードで学習/推論する場合、GPU間の通信速度が全体性能を決めます。カタログスペックには載らないボトルネックがここに集まります。
3. ラック単位で考える必要が出てきた理由

Blackwell世代、特にGB200 NVL72では、
「1台のサーバー」ではなく「1ラック(GPU72基+Grace CPU36個)を1つの計算単位」
として扱う設計になりました。
これは以下を意味します。
1ラックあたりの消費電力:120kW前後(従来の6〜10倍)
空冷では冷やせない(先端世代は水冷/直接液冷が事実上必須)
調達単位が"ラック":内部の光ケーブル配線、電源、冷却まで一体
設置場所の要件:一般的なデータセンターの床荷重・電源容量では収まらない
つまり「GPU 8枚のサーバーを追加購入」という感覚では、もう発注できない世代に入っています。
中堅企業やPoC規模の場合、無理してBlackwell世代を追いかけず、H100/H200世代を熟練させる方が事業的に賢明なケースが多いです。
4. 用途別のGPU選定早見表

現場感覚を数値化するとこんな感じです。

推論だけならGPU 1〜2枚で始められる業務は意外と多い、というのが現場感覚です。「まずは大規模学習!」に飛びつく前に、推論から入る設計を推奨します。
5. 調達で見落とされがちな5つのポイント

以下は、発注書にサインする前に必ずチェックしたい観点です。
電源容量:ラック当たり何kWまで引けるか。既存DCで足りるか
冷却方式:空冷/水冷(リアドア型・ダイレクトチップ)どれに対応可能か
ネットワーク:InfiniBand HDR/NDR、Ethernet 400G/800Gの物理配線
ソフトウェアスタック:CUDA、cuDNN、Triton、vLLM、モデル管理基盤の運用要員
保守サポート:NVIDIA Enterprise、SIerサポート、部品交換SLA
特に「電源と冷却」は、GPUを買ったあとでは変えられません。 データセンター選定段階で、この2点が将来の世代交代にも耐えるかを見ておく必要があります。
6. 中堅企業の現実解:ハイブリッド戦略

中小〜中堅企業がAI基盤を持つ場合、
私が現場で提案するのは"ハイブリッド戦略"です。
Copy【定常業務】
┌─────────────────┐
│ オンプレGPU 1〜2台 │ ← H100/H200中古 or 新品
│ (常時運用・機密)│
└─────────────────┘
│
│ ピーク時は溢れさせる
▼
【スパイク・実験用途】
┌─────────────────────────┐
│ 国内GPUクラウド or │
│ AWS/GCP GPUインスタンス │
│ (従量課金・非機密) │
└─────────────────────────┘
このハイブリッド構成の利点は、
平時のコストは固定費で抑えられる
突発ワークロードには従量課金で対応
機密度に応じてワークロードを配置分けできる
の3点です。
全部を自前で持たない、
全部をクラウドに寄せない、
"7割自前・3割スポット"あたりが多くの企業にとって最適解になります。
7. これから発注を検討する人へのチェックリスト

使うモデルサイズ(パラメータ数)と、想定同時利用者数は決まっているか
用途は「学習」か「推論」か(両方か)
機密度による業務仕分けは終わっているか
設置予定のDCの電源・冷却は先端世代に対応するか
運用要員(インフラ・MLOps・セキュリティ)は確保できるか
3年後にGPU世代交代したときの移行計画はあるか
導入効果を測る指標(KPI)は設定されているか
「発注してから運用チームを探す」プロジェクトは、ほぼ確実に炎上します。 GPUの調達計画と、運用体制の整備は同時並行で進めるのが鉄則です。
推奨する次のアクション
自社の業務に必要なGPU規模を"モデルサイズ×同時利用者数"で試算する
既存DCの電源・冷却が先端世代に耐えるか、事業者に確認する
PoCなら国内GPUクラウド、本番なら自前という段階設計を描く
次回(第4回)は、「データセンター選定の実務チェックリスト」です。AI基盤を置く場所として、いま何を見て選ぶべきか、事業所として押さえるべき観点を整理します。
読んでくださって、ありがとうございました。
参考・連載記事
初めての方はこちらを👇
コメント含め相互フォローさせていただきます。
ホームページやアプリ、撮影・広告、AIの活用などのご相談は、初回無料で承ります。
この記事は、LiNoah の note(https://note.com/tomo06103280/n/nf5c44eabf842)に掲載した内容を、このサイト向けに転載しています。


