Digital

【第8回】ネットワークインフラの再設計

デジタル支援

―—AIワークロード時代に何を見直すか

みなさん、ごきげんよう🤣。恩賜の煙草です。

「AI基盤の話をしていたら、いつの間にかネットワーク刷新の話になった」──この流れ、最近すごく増えています。

GPUクラスタを動かすと、従来の業務ネットワークとは桁違いの帯域とレイテンシ要件が出てきます。今回は、AIワークロード時代に、社内ネットワークインフラをどう見直すべきかを整理します。


🔶この記事のポイント

  • AIワークロードは、「GPU間」「サーバー間」「拠点間」の3つのネットワーク帯域を全部押し上げる

  • 100GbEはもはや最低ライン、400G/800Gが標準になりつつある

  • InfiniBand vs Ethernetの議論は用途で分ける

  • ラストマイルよりもラック内・DC内の物理配線設計が重要

  • 拠点間はキャリア回線とダーク・ファイバの併用が現実解


🔶1. AI時代のネットワーク要件が変わった理由

従来の業務ネットワークは「利用者PC ↔ サーバー ↔ インターネット」のトラフィックが中心でした。ところがAIワークロードでは、以下のような"サーバー同士"の巨大トラフィックが発生します。

  • GPU間通信(All-Reduce):モデル学習で数十GB/秒

  • モデル配布:数百GBのモデルファイルを複数ノードに配布

  • 推論スパイク:同時アクセスで数万トークン/秒の並列処理

  • バックアップ・レプリケーション:TB級のデータ転送

これらは、従来の1G/10G Ethernet設計ではまったく捌けません。


🔶2. ネットワーク3層の再定義

AI基盤時代のネットワーク設計は、次の3層に分けて考えると整理しやすいです。

層1:GPU間(ノード内・ラック内)

  • 主な技術:NVLink、NVSwitch、InfiniBand NDR/XDR

  • 帯域:数百GB〜数TB/秒

  • 用途:学習ジョブの並列化、モデル分散

層2:サーバー間(DC内・DC間)

  • 主な技術:InfiniBand、RoCE(RDMA over Converged Ethernet)、400G/800G Ethernet

  • 帯域:100Gbps〜800Gbps

  • 用途:ノード横断の学習、ストレージ、モデル配布

層3:拠点間・インターネット

  • 主な技術:専用線、ダーク・ファイバ、SD-WAN

  • 帯域:10Gbps〜数百Gbps

  • 用途:クラウド接続、支社接続、ユーザーアクセス

多くの企業で見直しが必要になるのは、層1と層2です。


🔶3. InfiniBand vs Ethernet

AI基盤のネットワークで最初にぶつかる論点がこれです。

大規模学習ならInfiniBand、それ以外はEthernetで十分というのが実務的な線引きです。

「うちはPoC規模」「推論中心」ならEthernet 400G+RoCEで十分な性能が出るケースが多いです。

用語補足:RDMA(Remote Direct Memory Access)は、リモートホストのメモリに直接アクセスできる技術。CPU介在を最小化して遅延を減らせる。


🔶4. ラック内・DC内配線の実務

意外と見落とされがちなのが、物理配線の設計です。以下がチェックすべきポイント。

ケーブル種別

  • DAC(Direct Attach Cable):短距離、安価、~7m

  • AOC(Active Optical Cable):中距離、~100m

  • トランシーバ+光ファイバ:長距離、〜10km

400G/800G世代では、これらの選択で信号品質・コスト・保守性が大きく変わります。

冗長化

  • ToR(Top of Rack)スイッチの二重化

  • スパイン層の冗長化(ECMPで負荷分散)

  • 電源系統の分散

配線経路

  • 電源ケーブルと信号ケーブルの分離

  • ラック内での曲げ半径遵守(光ケーブルは特に)

  • ケーブルトレイの容量設計

現地設営で"最後の1本が入らない"というトラブルは、大規模AI基盤で頻繁に発生します。設計段階での物理シミュレーションが必須です。


🔶5. 拠点間ネットワークの再設計

企業がAI基盤を持つと、拠点間ネットワークも見直しが必要になります。よくある構成変化:

従来

本社 ─ 10G ─ DC ─ 100Mbps ─ 支社
                   │
                インターネット

AI時代

本社 ─ 100G ─ DC(GPU) ─ 400G ─ クラウド
                │
              10G ─ 支社
                │
              1G ─ 現場拠点
  • 本社 ↔ DC間:100G以上に増強(モデル配布、大規模データ転送)

  • DC ↔ クラウド:直結線(Direct Connect等)

  • 拠点 ↔ DC:業務によって帯域を階層化

「AI基盤が動き出したら社内ネットワークが詰まった」という事例が実際に多数発生しています。ネットワーク再設計は、AI基盤設計と同じタイミングで進めるべきです。


🔶6. SD-WANとゼロトラストネットワーク

AI基盤の増加と並行して、以下の技術動向も押さえておく価値があります。

SD-WAN(Software-Defined WAN)

  • 拠点間ネットワークをソフトウェアで制御

  • 経路の動的最適化

  • 中規模企業でも導入が進む

SASE(Secure Access Service Edge)

  • ネットワークとセキュリティを統合クラウドサービス化

  • ゼロトラストの実装形態の一つ

  • 拠点数が多い企業に効果的

プライベート5G

  • 工場・大規模施設で有線に代わる選択肢

  • 現場デバイス多数のIoT・AI活用と親和性が高い

「まずAI基盤、次にネットワーク刷新」ではなく、"同時並行"で設計するのが最近のトレンドです。


🔶7. コスト構造の変化

ネットワーク投資の重点は、以下のようにシフトしています。

従来型のネットワーク投資

投資の"重心"がDC内・DC間に大きくシフトしている、というのが実務での実感です。


🔶8. 見落とされがちなアプリケーション層設計

物理層・データリンク層だけでなく、
アプリケーション層の設計も忘れずに。

  • APIゲートウェイ:AIエンドポイントへのアクセス制御と流量制御

  • キャッシング:頻出クエリのキャッシュでコスト削減

  • キューイング:バーストトラフィックをキューで受ける

  • オブザーバビリティ:分散トレーシング、メトリクス、ログの統合

これらはネットワークではなくアプリ設計の話ですが、AI基盤全体のパフォーマンスに直結します。


🔶9. ネットワーク刷新の実務ステップ

私が現場で使っている進め方はこんな感じです。

「まず現状を実測する」ことが最重要です。
想像や設計書だけで判断すると、必ず数字が合いません。


🔶10. 中堅企業の現実的な進め方

大規模AI基盤を持てない中堅企業には、
以下の段階アプローチを推奨します。

  1. 既存ネットワークの実測から始める

  2. クラウド直結線(Express Route/Direct Connect)をまず引く

  3. DC内は100G EthernetでPoC

  4. AI利用が本格化したら400G/800Gに増強

  5. 必要になったらInfiniBandを追加

"最初から完璧な設計をする"必要はない、というのが実務的な結論です。段階的に、必要に応じて拡張していく設計が現実解です。


🔶推奨する次のアクション

  1. 現状のネットワーク構成を可視化し、AIワークロードのボトルネックを特定する

  2. DC内ネットワーク(層1・層2)の刷新計画を、AI基盤設計と同時に立てる

  3. 拠点⇔DC⇔クラウドの3辺の帯域を再評価し、必要な増強を洗い出す

次回(第9回)は、「スマートシティ×プライベートAI」です。地域データの事業化、自治体との協業、公共分野でAIをどう活用するかを、事業開発の視点で整理します。

読んでくださって、ありがとうございました。


参考・連載記事


初めての方はこちらを👇


📮お仕事のご相談について

最後まで読んでいただき、ありがとうございます。

LiNoah(リノア)では、通信インフラの設計代行や施工管理の補佐、
許認可の支援、ホームページ・アプリの制作と運用、
社内AIの導入支援、そして結婚相談所の運営を行っています。

「社内で手が回らない業務を、まとめて任せたい」
そんなときは、お気軽にご相談ください。
横浜市港北区を拠点に全国対応、初回相談は無料です。

▼ LiNoah 公式サイト
https://linoah.co.jp/

通信インフラの設計・施工管理・許認可支援と結婚相談所|
LiNoah(リノア)

ホームページやアプリ、撮影・広告、AIの活用などのご相談は、初回無料で承ります。

この記事は、LiNoah の note(https://note.com/tomo06103280/n/n054e0205e9ea)に掲載した内容を、このサイト向けに転載しています。