Digital
【第8回】ネットワークインフラの再設計

―—AIワークロード時代に何を見直すか
みなさん、ごきげんよう🤣。恩賜の煙草です。
「AI基盤の話をしていたら、いつの間にかネットワーク刷新の話になった」──この流れ、最近すごく増えています。
GPUクラスタを動かすと、従来の業務ネットワークとは桁違いの帯域とレイテンシ要件が出てきます。今回は、AIワークロード時代に、社内ネットワークインフラをどう見直すべきかを整理します。
🔶この記事のポイント
AIワークロードは、「GPU間」「サーバー間」「拠点間」の3つのネットワーク帯域を全部押し上げる
100GbEはもはや最低ライン、400G/800Gが標準になりつつある
InfiniBand vs Ethernetの議論は用途で分ける
ラストマイルよりもラック内・DC内の物理配線設計が重要
拠点間はキャリア回線とダーク・ファイバの併用が現実解
🔶1. AI時代のネットワーク要件が変わった理由

従来の業務ネットワークは「利用者PC ↔ サーバー ↔ インターネット」のトラフィックが中心でした。ところがAIワークロードでは、以下のような"サーバー同士"の巨大トラフィックが発生します。
GPU間通信(All-Reduce):モデル学習で数十GB/秒
モデル配布:数百GBのモデルファイルを複数ノードに配布
推論スパイク:同時アクセスで数万トークン/秒の並列処理
バックアップ・レプリケーション:TB級のデータ転送
これらは、従来の1G/10G Ethernet設計ではまったく捌けません。
🔶2. ネットワーク3層の再定義

AI基盤時代のネットワーク設計は、次の3層に分けて考えると整理しやすいです。
層1:GPU間(ノード内・ラック内)
主な技術:NVLink、NVSwitch、InfiniBand NDR/XDR
帯域:数百GB〜数TB/秒
用途:学習ジョブの並列化、モデル分散
層2:サーバー間(DC内・DC間)
主な技術:InfiniBand、RoCE(RDMA over Converged Ethernet)、400G/800G Ethernet
帯域:100Gbps〜800Gbps
用途:ノード横断の学習、ストレージ、モデル配布
層3:拠点間・インターネット
主な技術:専用線、ダーク・ファイバ、SD-WAN
帯域:10Gbps〜数百Gbps
用途:クラウド接続、支社接続、ユーザーアクセス
多くの企業で見直しが必要になるのは、層1と層2です。
🔶3. InfiniBand vs Ethernet

AI基盤のネットワークで最初にぶつかる論点がこれです。
大規模学習ならInfiniBand、それ以外はEthernetで十分というのが実務的な線引きです。
「うちはPoC規模」「推論中心」ならEthernet 400G+RoCEで十分な性能が出るケースが多いです。
用語補足:RDMA(Remote Direct Memory Access)は、リモートホストのメモリに直接アクセスできる技術。CPU介在を最小化して遅延を減らせる。
🔶4. ラック内・DC内配線の実務

意外と見落とされがちなのが、物理配線の設計です。以下がチェックすべきポイント。
ケーブル種別
DAC(Direct Attach Cable):短距離、安価、~7m
AOC(Active Optical Cable):中距離、~100m
トランシーバ+光ファイバ:長距離、〜10km
400G/800G世代では、これらの選択で信号品質・コスト・保守性が大きく変わります。
冗長化
ToR(Top of Rack)スイッチの二重化
スパイン層の冗長化(ECMPで負荷分散)
電源系統の分散
配線経路
電源ケーブルと信号ケーブルの分離
ラック内での曲げ半径遵守(光ケーブルは特に)
ケーブルトレイの容量設計
現地設営で"最後の1本が入らない"というトラブルは、大規模AI基盤で頻繁に発生します。設計段階での物理シミュレーションが必須です。
🔶5. 拠点間ネットワークの再設計

企業がAI基盤を持つと、拠点間ネットワークも見直しが必要になります。よくある構成変化:
従来
本社 ─ 10G ─ DC ─ 100Mbps ─ 支社
│
インターネットAI時代
本社 ─ 100G ─ DC(GPU) ─ 400G ─ クラウド
│
10G ─ 支社
│
1G ─ 現場拠点本社 ↔ DC間:100G以上に増強(モデル配布、大規模データ転送)
DC ↔ クラウド:直結線(Direct Connect等)
拠点 ↔ DC:業務によって帯域を階層化
「AI基盤が動き出したら社内ネットワークが詰まった」という事例が実際に多数発生しています。ネットワーク再設計は、AI基盤設計と同じタイミングで進めるべきです。
🔶6. SD-WANとゼロトラストネットワーク

AI基盤の増加と並行して、以下の技術動向も押さえておく価値があります。
SD-WAN(Software-Defined WAN)
拠点間ネットワークをソフトウェアで制御
経路の動的最適化
中規模企業でも導入が進む
SASE(Secure Access Service Edge)
ネットワークとセキュリティを統合クラウドサービス化
ゼロトラストの実装形態の一つ
拠点数が多い企業に効果的
プライベート5G
工場・大規模施設で有線に代わる選択肢
現場デバイス多数のIoT・AI活用と親和性が高い
「まずAI基盤、次にネットワーク刷新」ではなく、"同時並行"で設計するのが最近のトレンドです。
🔶7. コスト構造の変化

ネットワーク投資の重点は、以下のようにシフトしています。
従来型のネットワーク投資
投資の"重心"がDC内・DC間に大きくシフトしている、というのが実務での実感です。
🔶8. 見落とされがちなアプリケーション層設計

物理層・データリンク層だけでなく、
アプリケーション層の設計も忘れずに。
APIゲートウェイ:AIエンドポイントへのアクセス制御と流量制御
キャッシング:頻出クエリのキャッシュでコスト削減
キューイング:バーストトラフィックをキューで受ける
オブザーバビリティ:分散トレーシング、メトリクス、ログの統合
これらはネットワークではなくアプリ設計の話ですが、AI基盤全体のパフォーマンスに直結します。
🔶9. ネットワーク刷新の実務ステップ

私が現場で使っている進め方はこんな感じです。
「まず現状を実測する」ことが最重要です。
想像や設計書だけで判断すると、必ず数字が合いません。
🔶10. 中堅企業の現実的な進め方

大規模AI基盤を持てない中堅企業には、
以下の段階アプローチを推奨します。
既存ネットワークの実測から始める
クラウド直結線(Express Route/Direct Connect)をまず引く
DC内は100G EthernetでPoC
AI利用が本格化したら400G/800Gに増強
必要になったらInfiniBandを追加
"最初から完璧な設計をする"必要はない、というのが実務的な結論です。段階的に、必要に応じて拡張していく設計が現実解です。
🔶推奨する次のアクション

現状のネットワーク構成を可視化し、AIワークロードのボトルネックを特定する
DC内ネットワーク(層1・層2)の刷新計画を、AI基盤設計と同時に立てる
拠点⇔DC⇔クラウドの3辺の帯域を再評価し、必要な増強を洗い出す
次回(第9回)は、「スマートシティ×プライベートAI」です。地域データの事業化、自治体との協業、公共分野でAIをどう活用するかを、事業開発の視点で整理します。
読んでくださって、ありがとうございました。
参考・連載記事
初めての方はこちらを👇
📮お仕事のご相談について
最後まで読んでいただき、ありがとうございます。
LiNoah(リノア)では、通信インフラの設計代行や施工管理の補佐、
許認可の支援、ホームページ・アプリの制作と運用、
社内AIの導入支援、そして結婚相談所の運営を行っています。
「社内で手が回らない業務を、まとめて任せたい」
そんなときは、お気軽にご相談ください。
横浜市港北区を拠点に全国対応、初回相談は無料です。
▼ LiNoah 公式サイト
https://linoah.co.jp/
ホームページやアプリ、撮影・広告、AIの活用などのご相談は、初回無料で承ります。
この記事は、LiNoah の note(https://note.com/tomo06103280/n/n054e0205e9ea)に掲載した内容を、このサイト向けに転載しています。


