光トランスポートネットワークの層: コア層、アグリゲーション層、アクセス層

光トランスポートの急速な進化の中で、層状のアーキテクチャはシームレスなデータ接続のバックボーンとなっています。本記事では、アクセス、アグリゲーション、およびコアの各層の複雑さを解き明かしながら、光ネットワークの階層構造について詳しく探求します。それぞれの層の機能にも説明します。

光トランスポートネットワークの層

光ネットワークの層構造であるアクセス層、アグリゲーション層、コア層は、効率的かつ堅牢なデータ伝送のための包括的なフレームワークを形成しています。アクセス層はエンドユーザーやデバイスの入り口として機能し、接続性と初期データ伝送を管理します。上に進むと、アグリゲーション層は複数のアクセスポイントからのデータトラフィックを統合し、ネットワークのさまざまなセグメント間の円滑な通信を実現します。頂点に位置するコア層はバックボーンとして機能し、異なる集約ポイント間の高速かつ高容量の接続性を提供し、ネットワーク全体での迅速かつ信頼性の高いデータ転送を確保します。各層はネットワークのパフォーマンス最適化に重要な役割を果たしており、アクセス層はユーザーの接続性に焦点を当て、アグリゲーション層は効率的なデータ統合に、コア層は堅牢で高容量の相互接続性に焦点を当てています。

アクセス層

光トランスポートネットワーク（OTN）におけるアクセス層は、エンドユーザーと広範な光インフラストラクチャとの最初の接点として機能します。この層は、最後のマイル接続を提供する上で重要であり、エンドユーザーを光ファイバコミュニケーションネットワークに接続するための重要なインタフェースとなります。パッシブ光ネットワーク（PON）、ホームへのファイバ（FTTH）、デジタル加入者線（DSL）、DOCSIS（ケーブルサービスインターフェース仕様）、Wi-Fi、ケーブルネットワークなど、さまざまな技術を活用して、アクセス層は多様なユーザーのニーズに対して高帯域幅と高速接続を確保します。アクセス層では、光ライン端末（OLT）と光ネットワーク端末（ONT）が重要な役割を果たし、エンドユーザーのデバイスと光ネットワークの間での情報のシームレスな交換を管理します。アクセス層の進化する状況には、波長分割多重化（WDM）などの進歩が取り入れられており、最後のマイル接続セグメントにおいてデータ容量を向上させ、信頼性を高めることができます。

効率的かつ信頼性の高いアクセス層は、ブロードバンド、音声、ビデオサービスなど多様なビジネスアクセスを提供します。Gigabit Passive Optical Network (GPON) や Ethernet PON (EPON) などの技術を通じて、複数のユーザーが同じ光ファイバを共有することが可能です。品質サービスのメカニズムにより、リアルタイムアプリケーションの低遅延が確保され、セキュリティ対策によってユーザーデータが保護されます。アクセス層のネットワーク管理機能により、問題の迅速な検出と解決が保証され、エンドユーザーに対して高帯域幅で安全かつ安定した光アクセスサービスを提供するための基盤となります。

アグリゲーション層

光ネットワークのアグリゲーション層は、アクセス層とコア層の間に戦略的に配置され、光通信システムにおけるトラフィックの最適化と管理のための重要な接点となります。この層は、サブネットワークやサービスプロバイダーなどのさまざまなアクセスポイントからの多様なトラフィックストリームを集約します。この層では、OTN電気クロスコネクト技術を使用して、ODUkを単位としてマッピング、多重化、クロスさせることができます。これにより、あるレベルのN入力信号のブランチ間で任意のクロスコネクションを実現し、ネットワークの展開をより柔軟かつ経済的に行うことができます。シームレスなサービス統合、耐障害性のメカニズム、エスカレートするネットワーク要求に対応するスケーラビリティに焦点を当て、アグリゲーション層は洗練された中間層として機能し、トラフィックを効率的に集約し、さらなる処理と配信のためにコア層に誘導します。

技術的に優れ、運用上も多機能なアグリゲーション層は、光信号処理メカニズムを統合してデータ伝送効率を最適化します。耐障害性のメカニズムにより、迅速な障害検出と復旧が確保されます。技術的な能力に加えて、アグリゲーション層はコアネットワークへのシームレスな接続を確立し、光インフラストラクチャのバックボーンを形成する上で重要な役割を果たします。要するに、この層は現代の光ネットワークの要求を満たすために精巧に設計された、多様なトラフィックタイプの効率的な集約、管理、伝送を調和させるための不可欠な要素です。

コア層

ネットワークアーキテクチャにおけるコア層は、高い効率と速度で大容量のデータトラフィックを処理するバックボーンとして機能します。最適な効率性を実現するために設計され、高容量・高速のデータ伝送に光トランスポートネットワーク（OTN）を活用しています。コア層は高いネットワークの可用性と信頼性を確保するために、高度な光保護と復旧メカニズムを組み込んだ頑強さが特徴です。この重要な層は低遅延を考慮して設計されており、リアルタイムサービスのための信号伝搬遅延を最小限に抑えます。標準化されたフレームワークはシームレスな相互運用性を可能にし、イーサネットやSONET/SDHなどのさまざまなサービスの統合輸送が行えます。スケーラビリティが組み込まれており、コア層は追加の波長や高度な伝送技術の統合によってネットワーク容量の増大に対応することができます。要するに、OTNのコア層は現代の光トランスポートインフラストラクチャの中核バックボーンにおいて、高容量、効率性、信頼性、低遅延、相互運用性、スケーラビリティという重要な特性を提供する要素となります。

FSの製品は光トランスポートのどの層に属しますか?

FSは、アクセス層からコア層まで、上記のすべてのレベルの製品を提供できます。アクセス層では、高度なPONソリューションを提供してネットワーク機能を強化し、接続速度と信頼性を比類のないレベルに引き上げることができます。

アグリゲーション層においては、さまざまな光層ボードを使用したFMT/M6200シリーズが、複数のサービス伝送要求を満たし、効率的かつ安定した伝送を実現することができます。このシリーズは、DWDMデュアルファイバ/DWDMシングルファイバ/光ケーブル監視システムに適しており、コスト効果の高い柔軟なWDMソリューションを提供します。さらに、MS8100シリーズはMS-OTNアーキテクチャに基づいており、OTNクロスコネクト、MPLS-TPパケットスイッチング、SDHクロスコネクトをサポートすることができます。高い統合性、全サービスアクセス能力、柔軟な三重クロススケジューリング能力を持ち、複数のサービスと高いネットワークセキュリティのニーズに応えることが可能です。

最後に、NX N40/M6500/M6800シリーズは、コア層で使用することができ、トランスポートネットワークの迅速かつ柔軟な展開を実現します。

結論

光ネットワーキングでは、GPON、MPLS、DWDMなどの知識や、5GやSDNなどの新たなトレンドに対する理解が不可欠です。効果的なネットワークの計画とトラブルシューティングが重要であり、急速に進化するこの分野をシームレスに統合するためには、ネットワークアーキテクチャを包括的に理解することが求められます。

ONU（光ネットワークユニット）のクイックガイド

電気通信の分野において、ONUはシームレスな接続と高速データ伝送を可能にする重要な力です。FTTXアプリケーションのユーザー側デバイスとして、ONUは「銅線ケーブル時代」から「光ファイバ時代」への移行のための高帯域幅、高コスト効率の端末機器です。効率的なラストマイル接続のために生まれたONUは、ブロードバンド・サービス、スマートシティ、多様な産業に力を与えます。この記事では、ONUのネットワークの魅力を探り、その技術的な複雑さと現代の通信に与える変革的な影響を解き明かす。

ONUとは？

ONU (Optical Network Unit)は、PON（Passive Optical Network）ネットワークにおいて、ファイバーからの光信号を効率よく電気信号に変換し、個々の加入者にシームレスに届ける装置です。ONUはGEPON（Gigabit Passive optical network）システムのユーザー側デバイスで、OLT（光回線端末）から配信されるビジネスをPONで終端します。OLTにより、ONUはインターネット・サーフィン、VoIP、HDTVなどの幅広いブロードバンド・サービスを接続ユーザーに提供できます。さらに、エンドユーザーデバイスはONT（光ネットワーク端末）と呼ばれることもあります。ONTとONUは基本的に同じ機器ですが、ONTはITU-T用語、ONUはIEEE用語で、どちらもGEPONシステムのユーザー側機器を表します。

ONUには何種類あるのか？

ONUデバイスは、SFU/SBU、HGU、MDU/MTUなど、アプリケーションシナリオに基づいて分類されます。

SFU/SBU（シングルファミリーユニット/シングルビジネスユニット）: FTTH/FTTO光アクセス・ネットワーク構築では、各ONUは単一のユーザーに接続します。SFU/SBUは通常、EIに142 FEを提供し、ナローバンド音声サービス用に1～2 POTSインターフェースを提供することがあります。商用顧客の場合、SBUは限られた数のEIインタフェースを提供できます。

HGU（ホームゲートウェイユニット）: 主にFTTHシナリオで使用されるHGUタイプのONUは、4つのイーサネット・インターフェース、1つのWLANインターフェース、および少なくとも1つのUSBインターフェースを備えています。

MDU/MTU（集合住宅ユニット/マルチテナント・ユニット）: FTTB/C光アクセスネットワーク構築では、各ONUは複数の独立したユーザーにサービスを提供します。MDU/MTUは8/16/24 FEインターフェースまたは24/48/96 DSLインターフェースを提供し、ホーム回線はカテゴリー5またはツイストペアを使用します。音声サービスに対するユーザーのニーズを満たすため、MDU/MTUはブロードバンドデータおよびナローバンド音声サービス用のPOTSインターフェースを1:1の比率で提供します。さらに、TDMサービスに対する商用顧客の要件を満たすため、一部のMDU/MTUは2/4/8 EIインターフェースを提供できます。

ONUの特徴とは

• OLTから送信されるブロードキャスト・データを選択します。

• OLTからのレンジおよび電力制御コマンドに応答し、それに応じて調整を行います。

• ユーザーのイーサネット・データをOLTディストリビューション・ウィンドウに向けてキャッシュし、アップストリーム伝送します。

• データ、IPTV、音声（IADを使用）、その他のサービスを「トリプルプレイ」アプリケーション向けに提供します。

• 自動検出と設定に基づく「プラグ・アンド・プレイ」機能が特徴します。

• ダイイング・ガスト機能をサポートします。

• SLA（サービスレベルアグリーメント）請求に基づいた高度なQoS（サービス品質）機能の実装。

• リモート管理をサポートする豊富で強力なOAM機能。

• 低い入力光消費量で高感度の受光を実現します。

なぜONUはネットワーク・アーキテクチャにおいて重要なのか？

ONUは、いくつかの理由から、現代のネットワークアーキテクチャにおいて重要な役割を果たしています:

• 効率的なデータ伝送: 光信号を電気信号に変換するONUは、光ファイバケーブル上でのシームレスなデータ伝送を実現します。これにより、ネットワーク効率が向上し、遅延が最小限に抑えられ、信頼性の高い接続性が保証されます。

• 集中管理: ONUは、サービスプロバイダーが光ファイバインフラとエンドユーザーデバイス間の通信を一元的に管理・制御できるようにします。これにより、効率的なトラブルシューティング、プロビジョニング、ネットワークパフォーマンスの監視が容易になります。

• スケーラビリティ: 終端ポイントとして機能するONUは、ネットワークの拡張性を可能にします。サービスプロバイダは、1本の光回線に複数のONUを接続することで、高速接続を維持しながら、より多くの顧客にサービスを提供できるように容量を拡張することができます。

• 費用対効果: ONUでPONネットワークを活用することで、サービス・プロバイダーのネットワーク展開とメンテナンス・コストを削減できます。この費用対効果により、住宅、商業、工業用ユーザーに手頃な価格で高速インターネットやその他のサービスを提供することができます。

結論

ONUは、現代の電気通信に不可欠なコンポーネントであり、FTTXアプリケーションにおけるシームレスな接続性と高速データ伝送を実現します。SFU/SBU、HGU、MDU/MTUなどのタイプに分類されるONUは、多様な役割を果たし、効率的なデータ伝送、集中制御、拡張性、費用対効果を実現します。これらの機能により、ONUはネットワークアーキテクチャに大きな影響を与え、信頼性の高い接続性を確保し、手頃な価格のサービスを可能にします。

HPCデータセンターでInfiniBandネットワークが重要な理由とは？

HPCデータセンターでは、InfiniBandネットワークの利用が増加しています。また、データ分析や機械学習などの高データスループット・アプリケーションの急速な拡大により、高帯域幅で低レイテンシーの相互接続に対する需要も、より広い市場に拡大しています。イーサネットと比較して、高速相互接続のために設計されたネットワーク技術であるInfiniBandは、世界中の数多くのハイパフォーマンス・コンピューティング施設で新星として登場しています。

「こちらもチェック- InfiniBandネットワークの動向」

InfiniBandチュートリアル: InfiniBandネットワークとは?

InfiniBandは、高帯域幅、低遅延、高信頼性を備えたオープンスタンダードのネットワーク相互接続技術です。この技術はスーパーコンピュータ・クラスタの分野で広く使われています。インフィニバンド・ネットワークは、データ・スイッチ間およびデータ・スイッチ内のデータ相互接続や、ストレージ・システム間の相互接続に使用されています。

InfiniBandシステムは、チャネル・アダプタ（CA）、スイッチ、ルータ、ケーブル、コネクタで構成されています。CAは、ホスト・チャネル・アダプタ（HCA）とターゲット・チャネル・アダプタ（TCA）に分けられます。IBAスイッチは、原理的には他の標準的なネットワーク・スイッチと同様であるが、InfiniBandの高性能・低コスト要件を満たす必要があります。InfiniBandルーターは、大規模なネットワークを小さなサブネットにセグメント化し、ルーターで接続するために使用されます。HCAは、サーバーやストレージ・デバイスなどのIBエンド・ノードをIBネットワークに接続するデバイス・ポイントです。TCAはチャネルアダプタの特殊な形態で、ストレージデバイスなどの組み込み環境でよく使用されます。

HPCデータセンターにおけるInfiniBandネットワーク

InfiniBandは、高性能な入出力（I/O）アーキテクチャであり、複数のケーブル交換技術を同時に接続することができる。ポート速度に応じて、QDR InfiniBand、FDR InfiniBand、NDR InfiniBand、XDR InfiniBandなど、様々なカプセル化スイッチが用意されており、HPCデータセンターのビジネスサポートを実現します。

メインフレーム・コンピューティングでは、InfiniBandモデルの専用チャネルが、メインフレームと周辺機器間の接続とデータ転送に使用されます。最大パケットサイズが4KのInfiniBandは、ポイント・ツー・ポイントおよび双方向シリアル・リンクを可能にし、4Xおよび12Xの単位に集約することで、最大300ギガビット/秒の有用なデータ・スループット・レートを実現します。

HPC業界のさらなる発展を促進するため、多くのブランドオーナーがInfiniBand製品を導入し始めています。FSは、200Gデータセンター・スイッチ、特に200G InfiniBandスイッチを提供しており、HPCデータセンターのオプションの1つとして使用することができます。

InfiniBandネットワークはHPCデータセンターにどう対応するか？

今日、インターネットは、さまざまなデータ集約型アプリケーションを必要とする巨大なインフラです。大企業もまた、大量のデータを確実に計算したいという需要に応えるため、HPCデータセンターを建設しています。システム環境は、コンピューティングノード、ストレージ、分析システム間のHPCの極めて高い帯域幅によって構築されます。HPCアーキテクチャのもう1つの性能指標はレイテンシです。HPCデータセンターは、高帯域幅と低レイテンシの要件を満たすことができるInfiniBandネットワークの使用を決定しました。

RoCEやTCP/IPと比較して、高スループット処理環境、特にサーバー仮想化、ブレード、クラウドコンピューティング技術を使用する環境におけるInfiniBandネットワークの採用は、卓越した利点を示しています。

「こちらもチェック- RoCE vs Infiniband vs TCP/IP」

HPCデータセンターにおけるInfiniBandネットワークの利点

データ通信技術の進化であれ、インターネット技術の革新であれ、ビジュアルプレゼンテーションのアップグレードであれ、それらはすべて、より強力なコンピューティング、より大容量で安全なストレージ、より効率的なネットワークの恩恵を受けています。InfiniBandネットワークは、より広帯域のネットワークサービスを提供すると同時に、待ち時間を短縮し、ネットワーク伝送負荷によるコンピューティングリソースの消費を低減し、そのユニークな利点によりHPCデータセンターを完全に統合することができます。

ネットワーク効率: InfiniBandネットワーク（IBネットワーク）は、プロトコル処理とデータ移動をCPUからインターコネクションにオフロードすることで、CPUの効率を最大化し、超高解像度シミュレーション、大規模データセット、高度に並列化されたアルゴリズムを実行します。InfiniBandの伝送速度は168Gbps（12xFDR）に達し、10ギガビットイーサネットの10Gbpsや10ギガビットイーサネットの100Gbpsをはるかに超えています。特にHPCデータセンターでは、Web2.0、クラウドコンピューティング、ビッグデータ、金融サービス、仮想化データセンター、ストレージアプリケーションなど、大幅な性能向上が達成されます。これにより、タスク完了までの時間が短縮され、プロセス全体のコストが削減されます。

より高い帯域幅: イーサネット100G が市場を支配していた時代、IBネットワークの速度も継続的に発展し、HPCアーキテクチャの高性能要件を満たす100G/200G InfiniBandスイッチが次々に発売されました。InfiniBandスイッチは、高帯域幅、高速、低遅延のパフォーマンスにより、HPCデータセンターにとって優れたオプションとなり、高いサーバー効率とアプリケーションの生産性を実現できます。

スケーラビリティ: ネットワーク・レイヤ2は、InfiniBandのおかげで、1つのサブネットに48,000ノードを構築できます。さらに、IBネットワークはARPのようなブロードキャスト・メカニズムに依存しないため、ブロードキャスト・ストームを引き起こしたり、追加の帯域幅を浪費することもありません。異なるIBサブネットも同様に、スイッチとスイッチに関連付けることができます。

FSは、NVIDIA Quantum™-2 NDR InfiniBand 400G およびNVIDIA Quantum™ HDR InfiniBand 200G データセンター・スイッチを提供しており、マネージドおよびアンマネージドの両方の構成で利用可能です。多様な顧客ニーズに対応するため、400Gスイッチには1年、3年、5年のサービス・サポート・オプションが用意されている。確かに、作業負荷を軽減するために複数のデバイスを稼働させている場合、イーサネット・ネットワークを使用してデータ伝送を完結させることもできます。また、ネットワーク構築を支援するために、FSは複数の速度のイーサネットスイッチを提供しています。

結論

InfiniBandネットワークとその革新的な技術アーキテクチャは、その卓越したパフォーマンスにより、HPCデータセンターユーザーがビジネスパフォーマンスを最大化するのに役立ちます。Infinibandテクノロジーは、高性能ネットワークアーキテクチャを大幅に簡素化し、マルチレベルアーキテクチャ層によって生じる遅延を軽減し、主要なコンピューティングノードのアクセス帯域幅のスムーズなアップグレードを強力にサポートします。 InfiniBandネットワークがますます多くの使用シナリオに参入するのは一般的な傾向です。

InfiniBandの洞察: デジタル時代の高性能コンピューティングを強化

21世紀に入ってから、クラウドコンピューティングとビッグデータの人気の高まりにより、データセンターの急速な進化がますます明らかになってきました。このダイナミックな状況の中で、InfiniBandは極めて重要なテクノロジーとして浮上し、データセンターの中心で重要な役割を果たしています。注目すべきことに、2023年の時点では、ChatGPTのようなイノベーションに代表される大規模なAIモデルの台頭により、InfiniBandがさらに目立つ地位に押し上げられています。この注目の高まりは、GPTモデルを支えるネットワークがInfiniBandを基盤として構築されているという事実に起因しています。

しかし、InfiniBandテクノロジーとは正確には何ですか?また、その広範な採用にどのような特性が寄与しているのでしょうか? さらに、なぜ「InfiniBand 対 イーサネット」の議論が続いているのでしょうか? この包括的な記事は、これらの質問のそれぞれに対処することを目的としており、InfiniBand テクノロジーの複雑さと、進化し続けるハイ パフォーマンス コンピューティングの状況におけるその重要性についての貴重な洞察を提供します。

InfiniBandテクノロジーの進化

堅牢な通信プロトコルであるInfiniBand（IB）は、そのルーツがコンピューター アーキテクチャの進化と絡み合っています。現代のデジタルコンピュータの基礎は、算術論理ユニットと制御ユニットを含むCPU、RAMとハードディスクを含むメモリ、およびI/Oデバイスなどの重要なコンポーネントを特徴とする構造であるフォンノイマンアーキテクチャに基づいています。

1990年代初頭に入ると、コンピューティング環境では、拡大する外部デバイスをサポートする需要が急増しました。このニーズに応えて、IntelはPeripheral Component Interconnect（PCI）バス設計を標準のPCアーキテクチャに導入することで先駆者として浮上しました。この革新的なステップは、コンピューター進化の軌跡における極めて重要な瞬間を示し、現在私たちがInfiniBandとして認識している強力な通信プロトコルの最終的な出現の基礎を築きました。

その後、インターネットは急速な発展段階を経て、オンラインビジネスとユーザーベースの隆盛な成長を伴い、ITシステムの能力に大きな課題を課しました。

この期間、ムーアの法則の勢いによってCPU、メモリ、ハードドライブなどのコンポーネントは目覚ましい進歩を遂げましたが、PCIバスはアップグレードの遅れに直面していました。この開発ペースの遅さによりI/Oパフォーマンスが大幅に制約され、システム全体のボトルネックとして浮上しました。

このボトルネックに対応するため、Intel、Microsoft、SUNなどの業界大手が主導する共同の取り組みにより、「次世代 I/O (NGIO)」テクノロジ標準が誕生しました。同時に、IBM、コンパック、ヒューレット・パッカードが「Future I/O（FIO）」の開発を担当した。注目すべきは、これら3つの組織が共同で1998年にPCI-X標準の作成を先導したことです。

極めて重要な出来事として、FIO Developers ForumとNGIO Forumが合併し、InfiniBand Trade Association設立の基礎が築かれました。この共同作業により、2000年にInfiniBandアーキテクチャ仕様の1.0バージョンが正式にリリースされる道が開かれました。本質的に、InfiniBandの開始はPCIバスに取って代わることを目的としていました。RDMAプロトコルを導入したInfiniBandは、遅延の短縮、帯域幅の拡大、信頼性の向上を実現し、より強力なI/Oパフォーマンスを実現しました。

1999年5月、IntelとGalileoテクノロジーの元従業員のグループが集まり、イスラエルに拠点を置くチップ会社Mellanoxを設立しました。 設立後、MellanoxはNGIOと提携し、NGIOとFIO が合併したとき、MellanoxはInfiniBandエコシステムにシームレスに移行しました。2001年は、Mellanoxが最初のInfiniBand製品を発表し、節目となりました。

しかし、InfiniBandコミュニティの状況は2002年に顕著な変化を遂げました。主要なプレーヤーであるIntelは、2004年に正式に開始されたPCI Express（PCIe）の開発に突然注意を向けました。同時に、もう1つの主要な貢献者であるMicrosoftもInfiniBand開発への積極的な関与から撤退しました。SUNや日立などの一部の企業は粘り強く耐えましたが、業界大手の撤退はInfiniBandの発展の軌道に影を落としています。

転機は2003年に起こり、InfiniBandが新しいアプリケーションドメイン、つまりコンピュータクラスタの相互接続性を発見したときでした。同年、バージニア工科大学はInfiniBandテクノロジーに基づいたクラスターを構築し、スーパーコンピューターの世界ランキングであるTOP500リストで3位を確保しました。

2004年には、もう1つの注目すべきInfiniBand非営利組織、Open Fabrics Alliance（OFA）が誕生しました。OFAとIBTAは協力関係を維持しており、IBTAはInfiniBandプロトコル標準の開発、保守、強化に重点を置き、OFAはInfiniBandプロトコルと上位レベルのアプリケーションAPIの両方の開発と保守を担当します。

2005年、InfiniBandはストレージデバイスの接続という別のアプリケーションシナリオを発見しました。この時期には、ストレージエリアネットワーク（SAN）テクノロジとしてInfiniBandとファイバチャネル（FC）が普及し、InfiniBandテクノロジに対する認識が高まりました。

InfiniBandが勢いを増すにつれ、そのユーザーベースは拡大し、2009年までにTOP500リストの181システムがInfiniBandテクノロジーを利用していましたが、依然としてギガビットイーサネットが259システムで主流でした。

2012年以降、高性能コンピューティング（HPC）の需要の高まりに後押しされて、InfiniBandテクノロジーは進歩を続け、着実に市場シェアを拡大しました。2015年には、TOP500リストのシェアが初めて50%を超え、大きな節目を迎えました。InfiniBandは、スーパーコンピューターに推奨される内部相互接続テクノロジーになりました。

InfiniBandの進歩に応じて、イーサネットも開発されました。2010年4月、IBTAはRoCE（RDMA over Converged Ethernet）を導入し、RDMAテクノロジーをInfiniBandからイーサネットに「移植」しました。2014年までに、より成熟したバージョンであるRoCE v2が提案されました。RoCE v2により、イーサネットはコストと互換性の利点を活用して、InfiniBandとの技術的パフォーマンスのギャップを大幅に縮めました。

以下のグラフは、2007年から2021年までのTOP500リストのテクノロジー シェアを示しており、高性能コンピューティングテクノロジーのダイナミックな状況を示しています。

グラフから明らかなように、25Gおよびより高速なイーサネット（濃い緑色の線で示されている）の台頭は 2015年に始まり、すぐに業界の支持を得て、一時的にInfiniBandに影を落としました。GPT-3に代表される大規模なAI言語モデルの出現により、高性能コンピューティングとインテリジェントコンピューティングに対する社会的需要が急激に高まりました。

GPT-3のような大規模なAI言語モデルが課す驚異的な計算要求を満たすために、不可欠なバックボーンは高性能コンピューティング・クラスターです。性能に関して言えば、InfiniBandはそのようなクラスタに適した選択肢として際立っています。

高性能ネットワーキングの領域では、主にInfiniBandと高速イーサネットの戦いが繰り広げられており、双方が同等の実力を発揮しています。豊富なリソースに恵まれたメーカーはInfiniBandを選ぶことが多く、費用対効果を優先するメーカーは高速イーサネットを選ぶ傾向にあります。

IBMのBlueGene、Cray、IntelのOmniPathのような他のテクノロジーは、選択肢の第2層の代替品として残っています。これらの技術が複雑に絡み合っていることは、高性能コンピューティングのダイナミックな状況を反映しています。

InfiniBandの技術原理

InfiniBandの開発の歴史をたどった後、その動作原理を深く調査すると、InfiniBandがパフォーマンスと遅延の点で従来のイーサネットを上回る理由が明らかになります。InfiniBandはどのようにしてこのような低遅延と高性能を実現しているのでしょうか?

先駆的な進歩: RDMA

前に強調したように、InfiniBandの際立った機能は、リモートダイレクトメモリアクセス（RDMA）プロトコルの早期統合です。

従来のTCP/IPフレームワークでは、データはネットワーク・カードからメイン・メモリに転送され、さらにアプリケーションのストレージ・スペースに転送されます。逆に、アプリケーション空間からのデータも同様の経路を辿り、アプリケーション空間からメインメモリに移動した後、ネットワークカードを通じてインターネットに転送されます。

この複雑なI/O操作では、メインメモリーでの中間コピーが必要となり、データ転送経路が長くなり、CPUに負荷がかかり、転送レイテンシーが発生します。

RDMAは、効果的に「仲介者を排除する」技術として機能します。カーネルバイパスメカニズムで動作するRDMAは、アプリケーションとネットワークカード間の直接データ読み書きを容易にし、サーバー内のデータ転送レイテンシをほぼ1マイクロ秒に抑えます。

さらに、RDMAのゼロコピー・メカニズムは、受信側が送信側のメモリから直接データにアクセスすることを可能にし、メインメモリの関与の必要性を回避します。その結果、CPUの負担が大幅に軽減され、CPU全体の効率が大幅に向上します。

前に強調したように、InfiniBandの広範な採用は、データ転送効率に対するRDMAの変革的影響によるところが大きいと考えられます。

InfiniBandネットワークアーキテクチャ

InfiniBandのネットワーク・トポロジー構造は、以下の図で視覚的に表現されています:

InfiniBandはチャネルベースのアーキテクチャで構築されており、次の4つの主要コンポーネントを備えています:

• HCA (ホストチャネルアダプタ)

• TCA (ターゲットチャネルアダプタ)

• InfiniBandリンク（ケーブルからファイバ、さらにはオンボードリンクまで、さまざまなチャネルを接続する）

• InfiniBandスイッチとルーター（ネットワーキングに不可欠）

チャネル・アダプタ、特にHCAとTCAは、InfiniBandチャネルの確立において重要な役割を果たし、すべての伝送においてセキュリティと指定されたQoS（Quality of Service）レベルの遵守を保証します。

InfiniBandを利用するシステムは、複数のサブネットに構成することができ、各サブネットは60,000以上のノードをサポートすることができます。サブネット内では、InfiniBandスイッチがレイヤー2の処理を行い、ルーターやブリッジがサブネット間の接続を容易にします。

InfiniBandの第2層の処理は合理化されています。InfiniBandの各サブネットには、16ビットのローカル識別子（LID）を生成するサブネットマネージャが搭載されています。複数のポートで構成されるInfiniBandスイッチは、レイヤ2ローカル・ルーティング・ヘッダに含まれるLIDに基づいて、あるポートから別のポートへのデータ・パケットの転送を促進します。スイッチは主にパケット管理を行い、積極的にデータパケットを生成したり消費したりすることはありません。

InfiniBandは、シンプルな処理と独自のCut-Throughテクノロジーを活用することで、フォワーディング・レイテンシの大幅な短縮を実現し、100ns以下のレベルに達します。このレイテンシは、従来のイーサネット・スイッチが提供できるレイテンシよりも格段に速いです。

InfiniBandネットワークでは、データは最大4KBのパケット形式で伝送され、シリアル方式を採用しています。

InfiniBandプロトコルスタック

InfiniBandプロトコルは構造化されたレイヤーアプローチを採用しており、各レイヤーは独立して機能し、その上に位置するレイヤーにサービスを提供します。視覚的な表現として、以下の図を参照してください:

InfiniBandプロトコル・スタックには物理層が含まれ、ビット信号がどのようにワイヤー上のシンボル、フレーム、データシンボル、パケット間のデータパディングに構造化されるかを決定します。物理層は、信号プロトコルの正確な仕様を提供し、効率的なパケットの構築を容易にします。

スタックを上げると、リンク層はデータパケットのフォーマットを定義し、フロー制御、ルーティング選択、エンコード、デコードといったパケット操作に不可欠なプロトコルの概要を示します。

ネットワーク層は、40バイトのグローバル・ルート・ヘッダー（GRH）をデータ・パケットに付加することでルーティング選択を担当し、効果的なデータ転送を促進します。

転送プロセスでは、ルーターが可変CRCチェックを実行し、エンド・ツー・エンドのデータ転送の完全性を保証します。

プロトコルスタックを上へ進むと、トランスポート層がデータパケットを指定されたキューペア（QP）に配送する役割を担い、QPにパケットを効果的に処理する方法を指示します。

InfiniBandの明確に定義されたレイヤー1-4は、集合的に包括的なネットワークプロトコルを構成し、そのエンドツーエンドのフロー制御は、ネットワークのパケット送受信の基盤を形成し、ロスレスネットワークを保証します。

キュー・ペア（QP）はRDMA技術において極めて重要な役割を果たします。送信キュー（SQ）と受信キュー（RQ）の2つのキューで構成されるQPは、基本的な通信ユニットとして機能します。ユーザーがデータを送受信するためにAPIコールを呼び出すと、基本的にデータをQPに置くことになります。QP内のリクエストは、ポーリング・メカニズムを使って順次処理されます。

InfiniBandリンクレート

InfiniBandリンクは、銅線ケーブルまたは光ファイバーケーブルのいずれかを使用して確立することができ、InfiniBand専用ケーブルは、特定の接続要件に基づいて選択されます。

物理層では、InfiniBandは1X、4X、12Xといった複数のリンク速度を定義しており、それぞれが各方向に2本のワイヤを持つ4線シリアル差動接続を採用しています。

例えば、初期のSDR（シングル・データ・レート）仕様では、1Xリンクの帯域幅は2.5Gbps、4Xリンクは10Gbps、12Xリンクは30Gbpsでした。しかし、8b/10bエンコーディングの利用により、1Xリンクの実際のデータ帯域幅は2.0Gbpsでした。リンクの双方向性を考慮すると、バスに対する総帯域幅は4Gbpsでした。

時間の経過とともに、InfiniBandのネットワーク帯域幅は、SDR、DDR、QDR、FDR、EDR、HDRからNDR、XDR、GDRへと継続的にアップグレードされてきました:

InfiniBandの商用製品

FS.comは、NDR、HDR、EDR、FRDなど、お客様の様々な速度要件に対応するため、40Gから800Gまでの速度をカバーする多様な製品ポートフォリオを提供しています。当社の製品ラインには、InfiniBand Quantum/Quantum-2スイッチ、InfiniBandモジュール、InfiniBandアダプタ、0.5mから100mの距離をサポートするAOC/DACケーブルなどがあります。これらの製品は、高速相互接続と超低遅延をサポートするだけでなく、スケーラブルなソリューションを提供し、AI開発者や科学研究者の研究、イノベーション、製品開発を加速します。

さらに、当社は世界中に7つの現地倉庫を持ち、迅速な配送を保証します。FS.comは、優れた製品を保証するために、厳格なパフォーマンス、信頼性、シナリオ、互換性テストを実施しています。FS.comはプロフェッショナルな技術チームを擁し、アプリケーション・シナリオに応じたソリューションの展開において豊富な経験を有しています。ハイパフォーマンスコンピューティング、データセンター、教育、研究、生物医学、金融、エネルギー、自律走行、インターネット、製造、通信などのソリューションを積極的に提供しています。その他の分野のお客様にもプロフェッショナルなサービスを提供します。

結論

要約すると、高性能コンピューティングと人工知能の急増する需要によって推進される、InfiniBandの軌道は有望であるように見えます。

InfiniBandは、大規模なコンピューティングクラスターやスーパーコンピューターに広く採用されており、その高性能と低遅延の相互接続テクノロジで際立っています。帯域幅の向上と遅延の削減を提供することで、大規模なデータ転送と同時コンピューティングの要件にシームレスに対応します。多様なトポロジーや複雑な通信パターンへの適応性により、InfiniBandは独自の地位を確立し、高性能コンピューティングとAIの分野で強力な選択肢となっています。

それにもかかわらず、イーサネットは広く普及しているネットワーキング・テクノロジーであり、依然として進化の軌跡をたどっています。イーサネットは、高速化と技術的なブレークスルーによって、データセンターでの地位を確固たるものとし、InfiniBandとのギャップを埋めてきました。包括的なエコシステムと成熟した標準化サポートを誇るイーサネットは、一般的なデータセンター環境において、アクセスしやすく管理しやすいソリューションとして浮上しています。

技術の進歩と需要の変化に伴い、InfiniBandとイーサネットは、さまざまなアプリケーションシナリオでそれぞれの強みを発揮する態勢を整えています。InfiniBandとイーサネットの最終的な勝敗は依然として不透明であり、展開される物語を解き明かすのは時間しかない。間違いなく、InfiniBandとイーサネットは、情報技術発展の舵取りをし、高まる帯域幅のニーズに対応し、効率的なデータ伝送と処理のための優れた機能を提供し続けるでしょう。

RoCE v2ネットワークの詳細ガイド

進化し続けるネットワーキング技術の中で、RDMA（Remote Direct Memory Access）はデータ転送プロセスを合理化し、ネットワーク全体の効率を高める重要なプレーヤーとして台頭してきました。著名なRDMA技術の1つにRoCE（RDMA over Converged Ethernet）があり、その第2バージョンであるRoCE v2は性能と汎用性において大きな進歩を遂げています。この記事では、RoCE v2の複雑な技術、ネットワークカード、InfiniBandとの比較を紹介します。

RoCE v2とは何か?

RoCE v2は、イーサネットネットワーク上での低遅延、高スループットのデータ転送を容易にするために設計されたRDMAプロトコルです。複数の層の処理を必要とする従来のデータ転送方法とは異なり、RoCE v2はシステム間の直接メモリ アクセスを可能にし、CPUの関与を最小限に抑え、遅延を削減します。このため、RoCE v2は、高性能コンピューティング（HPC）環境、データセンター、クラウドコンピューティングなど、迅速かつ効率的なデータ通信が要求されるシナリオで特に有利になります。

このプロトコルは、特定の制限に対処し、全体的なパフォーマンスを向上させる機能強化を導入することにより、前任者のRoCE v1の基盤に基づいて構築されています。RoCE v2はコンバージドイーサネットインフラストラクチャを利用し、同じネットワーク上で従来のイーサネットトラフィックとRDMAトラフィックの共存を可能にします。この統合により、ネットワーク管理が合理化され、別個のRDMAファブリックが不要になり、RoCE v2がよりアクセスしやすく、コスト効率が高くなります。

RoCEネットワークカード

RoCE v2エコシステムの中心はRoCEネットワークカードであり、RDMA操作をサポートするように設計された専用のネットワークインターフェースカード（NIC）です。RoCEアダプタとも呼ばれるこのカードは、システム間のダイレクトメモリアクセスを可能にする上で極めて重要です。RoCEネットワークカードは、RDMAオペレーションをCPUからオフロードするために必要なハードウェア機能を備えており、その結果、レイテンシが低下し、システム全体のパフォーマンスが向上します。

高性能スイッチの中核は、スイッチが採用する転送チップにあります。特に、Tomahawk3シリーズ・チップはスイッチに広く採用されており、新しいTomahawk4シリーズ・チップをサポートするスイッチが増加傾向にあります。この変化は、現在の商用市場でデータ転送に一般的に使用されているこれらのチップの重要性を浮き彫りにしています。

RoCE v2 vs. Infiniband

RoCE v2（RDMA over Converged Ethernet version 2）とInfiniBandは、どちらもデータセンターやハイパフォーマンス・コンピューティング環境において高速で低レイテンシーの通信を提供するために設計された技術です。以下は、さまざまな側面における主な相違点をいくつか紹介します。

物理層

• RoCE v2: イーサネット・インフラストラクチャに依存するため、ストレージと通常のデータ・トラフィックを同じネットワーク上に集約することができます。また、既存のデータセンターへの統合も容易です。

• InfiniBand:通信にはイーサネットとは別の専用ファブリックを使用します。多くの場合、専用のInfiniBandネットワークが必要となるため、個別のケーブル配線やスイッチが必要になる場合があります。

プロトコルスタック＆ネットワークスタック

• RoCE v2: イーサネット上のRDMA（Remote Direct Memory Access）プロトコルを利用します。従来のTCP/IPスタックと統合されているため、標準的なネットワーキング・プロトコルと互換性があります。

• InfiniBand: 高速・低遅延通信に最適化された独自のプロトコル・スタックとネットワーク・スタックを持っており、専用のドライバや設定が必要になる場合があります。

スイッチング

• RoCE v2: データセンター・ブリッジング（DCB）機能を備えた標準イーサネット・スイッチ上で動作し、ロスレス・イーサネットをサポートします。

• InfiniBand: 低レイテンシー、高スループット通信用に特別に設計されたInfiniBandスイッチが必要です。

輻輳

RoCE v2:

• 輻輳の処理: RoCE v2は輻輳の処理にイーサネットスイッチのDCB（Data Center Bridging）機能に依存しています。DCBはロスレス・イーサネット環境を提供し、輻輳によるパケットロスを防ぎます。

• 輻輳制御: RoCE自体には輻輳制御メカニズムは組み込まれていません。その代わり、輻輳の管理は基礎となるイーサネット・インフラに依存しています。

InfiniBand:

• 輻輳の処理: InfiniBandは輻輳管理をネイティブにサポートしています。クレジットベースのフロー制御などのメカニズムを採用し、輻輳を防ぎ、ロスレス通信を保証します。

• 輻輳制御: InfiniBandには、トラフィックの経路を動的に調整し、ネットワークの混雑を防ぐためのアダプティブ・ルーティングと輻輳制御アルゴリズムが含まれています。

ルーティング

RoCE v2:

• ルーティング・メカニズム: RoCE v2は通常、RIP（Routing Information Protocol）やOSPF（Open Shortest Path First）といった従来のイーサネット・ルーティング・プロトコルにルーティング決定を依存しています。

• トポロジー: RoCEは標準的なイーサネット・トポロジで使用されることが多く、ルーティングの決定は基礎となるイーサネット・インフラストラクチャの影響を受けます。

InfiniBand:

• ルーティング・メカニズム: InfiniBandのルーティングメカニズムは、低レイテンシー、高スループットの通信に最適化されています。冗長性と負荷分散のために複数のパスをサポートしています。

• トポロジー:InfiniBandは、ファットツリー、ハイパーキューブ、マルチレール構成など、さまざまなトポロジーをサポートしています。トポロジの選択は、ルーティングの決定に影響を与える可能性があります。

RoCE v2とInfiniBandのどちらを選択するかは、既存のインフラストラクチャやアプリケーションの要件、環境固有のニーズなどの要因によって決まります。RoCE v2は既存のイーサネット・ネットワークによりシームレスな統合経路を提供しますが、最高レベルのパフォーマンスとスケーラビリティを要求するハイパフォーマンス・コンピューティング環境ではInfiniBandが好まれる場合があります。

UECが新たなトランスポート・プロトコルを導入

ウルトラ・イーサネット・コンソーシアム（UEC）は、現在のイーサネットの能力を凌駕することを主な目的として、7月19日に正式に設立されました。創設メンバーには、AMD、Arista、Broadcom、Cisco、Eviden、HPE、Intel、Meta、Microsoftが含まれます。これらの企業は、ネットワークインフラ、人工知能、クラウド技術、ハイパフォーマンス・コンピューティングの展開において、数十年にわたる専門知識を結集しています。

コンソーシアムでは、数十年前に確立されたリモート・ダイレクト・メモリ・アクセス（RDMA）は、AI/MLのネットワーク・トラフィックの厳しい要求に対して時代遅れになったと主張しています。RDMAは、膨大なトラフィックブロックでデータを転送する傾向があるため、リンクの不均衡や過度の負担を招く可能性があります。UECは、新たなアプリケーションのために、RDMAを統合した最新のトランスポートプロトコルの開発開始を提唱します。

まとめ

RoCE v2はRDMA技術の領域で強力な力として立ちはだかり、高性能で低レイテンシのデータ通信を求める組織に強力なソリューションを提供します。イーサネット・インフラストラクチャへのコンバージェンスとUECのトランスポート・プロトコルがもたらす進歩が相まって、RoCE v2はHPC環境からクラウド・コンピューティングに至るまで、さまざまなアプリケーションに対応する汎用的でコスト効率の高い選択肢となっています。

InfiniBandとの比較はRoCE v2の強みを際立たせますが、最適なRDMAソリューションを選択する際には、組織固有の要件と既存のインフラを考慮する必要があります。テクノロジーが進化を続ける中、RoCE v2とそれに関連するイノベーションは、高性能ネットワーキングの未来を形作る上で極めて重要な役割を果たすことになるでしょう。

大規模モデルのトレーニングに向けたRDMA強化の高速ネットワーク

高速ネットワーク用のRDMAについて

リモートダイレクトメモリアクセス（RDMA）は、超高速ネットワークメモリアクセス技術の最前線に立ち、プログラムが迅速にリモートコンピューティングノードのメモリにアクセスする方法を革新しています。その優れた速度の基本原理は、以下のように鮮明に描写されています。RDMAは、ネットワークアクセスがオペレーティングシステムのカーネルを経由する必要がないことにより、パラダイムシフトをもたらします（例：ソケット、TCP/IP）。この戦略的なバイパスにより、カーネル操作に関連するCPU時間の消費を軽減し、ネットワークインターフェースカード（NIC）または特定の文脈でのホストチャネルアダプタ（HCA）への直接メモリアクセスが可能となります。

ハードウェアの実装の領域では、RDMAは主に3つの主要な技術で表現されます：InfiniBand、RoCE、およびiWARPです。特に、InfiniBandとRoCEは、技術の進歩の最前線にいる業界の専門家によって認められ、主要な選択肢として浮上しています。

InfiniBandの発表: 卓越した帯域幅の頂点

現在、InfiniBandエコシステムは、100Gおよび200Gの高速伝送の主要な技術を含んでいます。その中でも、Enhanced Data Rate（EDR、100G）とHigh Data Rate（HDR、200G）はいくつかの独自の用語を表しています。また、一部のブランドではさらに高速のソリューションを提供できるようになっています。例えば、FSでは400GBネットワークカードを導入しており、800G光モジュールも利用可能です。InfiniBand技術は急速に進化しています。

優れた能力を持つにも関わらず、InfiniBandは高いコストのために多くのITプロフェッショナルに見落とされることがあり、一般的な使用にはあまりアクセスしにくいとされています。しかし、主要な大学や研究機関のスーパーコンピューティングセンターの中では、InfiniBandはほぼ不可欠な標準として浮上しており、特に重要なスーパーコンピューティングタスクのサポートに使用されています。

従来のスイッチとは異なり、InfiniBandネットワーキングは「Fat Tree」として知られる独特なネットワークトポロジーを採用しています。これにより、任意の2つのコンピューティングノードのネットワークカード間でシームレスな通信が行われます。Fat Tree構造は、コア層とアクセス層の2つのレイヤーで構成されています。コア層はトラフィックの転送を担当し、コンピューティングノードから切り離されています。一方、アクセス層は異なるコンピューティングノードを接続します。

Fat TreeトポロジーをInfiniBandネットワークで実装する際の高コストは、主に以下の理由によるものです。例えば、36ポートのアグリゲーションスイッチでは、半分のポートがコンピューティングノードに接続され、もう半分が上位のコアスイッチに接続され、ロスレス通信が行われます。特に、各ケーブルのコストは約1.3Kドルであり、ロスレス通信のために冗長な接続が必要です。

格言「安いものは良いものではない」という言葉は、InfiniBandに非常に適用されます。それは確かに類まれな高帯域幅と低レイテンシを提供します。Wikipediaによると、InfiniBandはEthernetと比較して著しく低いレイテンシを誇り、それぞれ100ナノ秒と230ナノ秒のレイテンシを記録しています。この優れた性能により、InfiniBandは世界有数のスーパーコンピューターで基礎技術となり、マイクロソフト、NVIDIA、アメリカの国立研究所などの業界大手によって利用されています。

RoCEの可能性を解き放つ：手頃な価格のRDMAソリューション

ネットワーク技術の領域では、RoCE（Converged Ethernet上でのRDMA）は、InfiniBandのような高価な対抗製品と比較して、費用対効果の高い代替手段として浮上しています。RoCEは安価とは言えませんが、Ethernet上でRDMAの機能を提供する、より予算に優しいオプションを提供します。最近では、RoCEは急速な発展を遂げ、特にInfiniBandのコストが制約要因となるシナリオでは、優れた代替手段として勢いを増しています。

RoCEの場合、手頃な価格である一方で、真にロスレスなネットワークを実現することは困難であり、InfiniBandに比べて全体のネットワークコストを50%以下に抑えることは難しいとされています。

大規模モデルのトレーニングを強化：GPUDirectのRDMAを解き放つ

大規模なモデルトレーニングの領域では、ノード間の通信コストが大きくのしかかります。InfiniBandとGPUの融合により、GPUDirect RDMAとして知られる重要な機能が生まれ、革新的なソリューションが表面化しました。この技術革新は、メモリとCPUの関与を回避し、ノードをまたいだGPU間の直接通信を容易にします。つまり、2つのノードの間のGPU間通信は、従来のCPUとメモリを経由する伝統的なルートを回避し、InfiniBandネットワークインターフェースカードを介して直接行われます。これにより、複雑なGPU間通信がスムーズに実現されます。

GPUDirect RDMAは、モデルがGPU上に存在するような大規模なモデルトレーニングにおいて、その重要性を増しています。モデルをCPUにコピーする従来のプロセスでは、すでにかなりの時間を費やしており、CPU経由で他のノードにモデルを転送しても、データ転送のペースが遅くなるだけです。

大規模モデルネットワークの最適化: 戦略的構成

大規模なモデルの世界では、最適なパフォーマンスを実現するためには、GPUとInfiniBandネットワークカードの適切な構成が重要です。ここでは、パートナーであるNVIDIAのDGXシステムを紹介します。DGXシステムでは、GPUとInfiniBandネットワークカードの1対1のペアリングを推奨し、基準を設定しています。このパラダイムでは、標準のコンピュートノードには9つのInfiniBand NICを搭載することができます。そのうちの1つはストレージシステムに専用され、残りの8つは個々のGPUカードに割り当てられます。

この構成は最適ですが、相当なコストがかかるため、予算に優しい代替手段を探求する必要があります。有利な妥協案としては、1つのInfiniBandネットワークカードに対して4つのGPUカードの比率を採用することです。

実際のシナリオでは、GPUとInfiniBandは通常、PCI-Eスイッチで接続され、1つのスイッチには通常2つのGPUが搭載されます。理想的なシナリオでは、それぞれのGPUに専用のInfiniBandネットワークカードが割り当てられることが望ましいです。しかし、2つのGPUが1つのInfiniBandネットワークカードとPCI-Eスイッチを共有する場合、課題が生じます。この構成では、2つのGPUが共有のInfiniBandネットワークカードへのアクセスを競い合うことで競合が発生します。

InfiniBandネットワークカードの数は、競合レベルおよびそれによって直接的に影響を受けるノード間の通信効率において重要な要素となります。以下の図は、この関係を鮮明に示しています。特に、単一の100Gbpsネットワークカードでは、帯域幅は12GB/sとなり、ネットワークカードの数が増えるにつれて帯域幅がほぼ線形に増加します。たとえば、8つのH100カードと8つの400G InfiniBand NDRカードを組み合わせた構成では、驚くべき高いデータ転送速度が実現されます。

GPU1台につきネットワークカード1枚が理想的な状況：

卓越したアーキテクチャ: 大規模モデル・ネットワーク・トポロジーのレール最適化

大規模なモデルの作業においては、成功の鍵は専用のファットツリーネットワークトポロジーの構成にあります。従来の高性能コンピューティング（HPC）用のファットツリーとは異なり、「Rails」は突破的な高性能を提供します。

この図は、ファットツリーとRails最適化トポロジーの基本的なバージョンを示しています。2つのスイッチで構成されており、MQM8700はHDRスイッチを表しています。2つのHDRスイッチ間の相互接続速度は、4本のHDRケーブルによって確保されます。各DGX GPUノードには、合計9つのInfiniBand（IB）カードが搭載されており、図中ではホストチャネルアダプタ（HCA）として表示されています。そのうちの1つのカードは専用のストレージ（ストレージターゲット）に割り当てられており、残りの8つは大規模なモデルトレーニングのために使用されます。具体的には、HCA1/3/5/7は最初のスイッチに接続され、HCA2/4/6/8は2番目のスイッチに関連付けられます。

シームレスで高性能なネットワークを構築するためには、上記の図で示されているような妨げのない、完全に最適化されたレールトポロジーを利用することをおすすめします。各DGX GPUノードは8つのIBカードを備えており、それぞれが個別のスイッチに接続されています。これらのスイッチはリーフスイッチと呼ばれ、合計で8つあります。割り当ては細心の注意が払われています：HCA1は最初のリーフスイッチに接続され、HCA2は2番目のリーフスイッチに接続されます。リーフスイッチ間の高速接続を実現するために、スパインスイッチが使用されます。

次の図に示される基礎的なトポロジーでは、スパインスイッチを表す2つの緑色のスイッチと、リーフスイッチを表す4つの青色のスイッチが使用されています。合計80本のケーブルが青色のスイッチと緑色のスイッチを相互接続し、青色のスイッチは戦略的に下に配置され、コンピュートノードに接続されています。この構成の本質は、ボトルネックを回避し、各IBカードがネットワーク内の他のすべてのIBカードと高速通信できる能力にあります。これにより、どのGPUも前例のない高速で他のGPUとシームレスに通信できる環境が実現されます。

卓越性の決定: FSのInfiniBandとRoCEソリューション

高性能でロスレスなネットワークの複雑な環境において、InfiniBandとRoCEの選択は、アプリケーションとインフラストラクチャの具体的な要件にかかっています。InfiniBandとRoCEの両方は、低レイテンシ、高帯域幅、最小限のCPUオーバーヘッドを提供し、高性能コンピューティングアプリケーションに適しているため、重要な存在です。

FSは、InfiniBandとイーサネットソリューションの両方に対応する広範な高速製品を提供しています。弊社のモジュールは、40Gから800Gまでの幅広いスピードで利用でき、マルチレートのDACやAOCのオプションも備えており、お客様の多様なニーズに対応しています。さらに、ネットワーキング能力をさらに向上させるために、NVIDIA®のスイッチやNICも提供しています。これらの製品は卓越したパフォーマンスを発揮するだけでなく、経済的なコストで顧客のビジネスの加速能力を大幅に増強する触媒としての役割も果たしています。

自動運転車におけるInfiniBandの重要な役割

自動運転車（AV）は、リアルタイムの意思決定と多様な車載システム間でのシームレスな通信を促進するために、高速かつ低遅延の機能を備えた高度な通信ネットワークに依存しています。InfiniBandネットワーク技術は、AV向けの魅力的なソリューションとして登場し、高帯域幅と低遅延通信の魅力的な組み合わせを提供します。

InfiniBandとは？

InfiniBandネットワークは、データセンターやスーパーコンピューティングアプリケーションに厳密に適用された高速インターコネクト技術として際立っています。信頼性のあるブリッジとして機能し、コンピューター、ストレージシステム、さまざまなデバイス間で高速な接続を確立し、低遅延と高帯域幅の特徴を持っています。InfiniBandは、データ伝送に特化した標準化された低レベルインターフェースを導入し、コンポーネントが高パフォーマンスな通信をシームレスに行うことを可能にします。

InfiniBandネットワークの詳細については、こちらをご覧ください: InfiniBand vs. イーサネット: 両者は何か？

自動運転車におけるInfiniBandの応用

InfiniBandの導入による接続性の向上

自動運転車の分野では、InfiniBandはセンサー、カメラ、制御システムなど、搭載されているさまざまなシステム間の接続を確立する上で重要な役割を果たしています。この高速インターコネクト技術により、センサーの読み取りデータ、ビデオフィード、制御コマンドなど、大量のデータを迅速かつ信頼性高く伝送することが可能となります。このような迅速なデータ交換により、車両のシステムは最新の情報に基づいてリアルタイムの判断を行い、通信の遅延による潜在的な問題を排除します。

自動運転車のネットワーク統合

InfiniBandネットワークは、内部システムの接続だけでなく、複数の自動運転車間のネットワーク構築にも応用できます。このネットワーク接続により、車両はシームレスに通信および調整できるようになります。この機能は、護送車やプラトゥーン・アプリケーションなど、複数の車両が協力するシナリオで特に価値を発揮します。InfiniBandの低レイテンシーと高帯域幅は、車両間の効率的な通信に貢献し、車両の行動を調整し、リアルタイムの意思決定を可能にします。

計算集約型タスクのオフロード

InfiniBandの自動運転車への注目すべき応用の一つは、計算負荷の高いタスクのオフロードです。例えば、この技術は、オンボードのコンピューティングクラスターを車両の制御システムに接続するために利用されることがあります。この戦略的な統合により、車両は画像やビデオの処理などの要求の厳しいタスクをクラスターにオフロードすることができます。その結果、制御システムは他の重要なタスクに集中することができ、全体のシステムの効率とパフォーマンスが向上します。

自動運転車に対するInfiniBandの影響

InfiniBand: 自動運転車通信への道を開く

結論として、InfiniBandネットワーク技術は、自動運転車の通信・協調要件に適切に対応する信頼性の高い高速相互接続ソリューションを提供する、極めて重要な資産として浮上しています。InfiniBand固有の低遅延と高帯域幅の顕著な組み合わせは、自律走行車が最新の情報に基づいて瞬時に意思決定できるようにすることに大きく貢献します。さらに、ネットワーク化された環境内で、これらの車両間のシームレスな調整を容易にします。

リアルタイムの意思決定を強化

InfiniBandの低レイテンシー特性により、センサーや制御ユニットを含む車載システム間の通信が迅速かつ効率的に行われます。これは、ダイナミックで予測不可能な環境をナビゲートするために重要な能力であるリアルタイムの意思決定を自律走行車に与えることになります。

ネットワーク化された連携で効率性を向上

InfiniBandの高帯域幅は、個々の車両内だけでなく、ネットワークで接続された複数の自動運転車両間の効果的な通信を促進します。このネットワーク連携は、協調行動が必要なシナリオで特に有益であり、自動運転車フリート全体の効率を高めます。

将来の重要性を予測

自律走行車の需要が増加の一途をたどる中、InfiniBandの役割はますます重要になってきています。信頼性が高く効率的な運用を保証するInfiniBandの技術は、自動運転車の進化する要件にシームレスに合致する。自動運転車のシームレスな通信と調整に対するInfiniBandの貢献は、信頼性が高くインテリジェントな自律走行システムが支配する未来への旅において、重要なイネーブラーとしての地位を確固たるものにしています。

NDR、HDR、EDR、FRDなど、さまざまな速度に対応する100Gから800Gまでの構成を備えたFSのInfiniBandジュールとスイッチのラインナップをご覧ください。FS.comの知識豊富なチームによる専門的なサポートをいつでもご利用ください。