danika3160’s blog

ここで通信分野と関連する記事を紹介していきます！ よろしくお願いいたします。

RoCE v2ネットワークの詳細ガイド

進化し続けるネットワーキング技術の中で、RDMA（Remote Direct Memory Access）はデータ転送プロセスを合理化し、ネットワーク全体の効率を高める重要なプレーヤーとして台頭してきました。著名なRDMA技術の1つにRoCE（RDMA over Converged Ethernet）があり、その第2バージョンであるRoCE v2は性能と汎用性において大きな進歩を遂げています。この記事では、RoCE v2の複雑な技術、ネットワークカード、InfiniBandとの比較を紹介します。

RoCE v2とは何か?

RoCE v2は、イーサネットネットワーク上での低遅延、高スループットのデータ転送を容易にするために設計されたRDMAプロトコルです。複数の層の処理を必要とする従来のデータ転送方法とは異なり、RoCE v2はシステム間の直接メモリ アクセスを可能にし、CPUの関与を最小限に抑え、遅延を削減します。このため、RoCE v2は、高性能コンピューティング（HPC）環境、データセンター、クラウドコンピューティングなど、迅速かつ効率的なデータ通信が要求されるシナリオで特に有利になります。

このプロトコルは、特定の制限に対処し、全体的なパフォーマンスを向上させる機能強化を導入することにより、前任者のRoCE v1の基盤に基づいて構築されています。RoCE v2はコンバージドイーサネットインフラストラクチャを利用し、同じネットワーク上で従来のイーサネットトラフィックとRDMAトラフィックの共存を可能にします。この統合により、ネットワーク管理が合理化され、別個のRDMAファブリックが不要になり、RoCE v2がよりアクセスしやすく、コスト効率が高くなります。

RoCE v2 Network Infrastructure

RoCEネットワークカード

RoCE v2エコシステムの中心はRoCEネットワークカードであり、RDMA操作をサポートするように設計された専用のネットワークインターフェースカード（NIC）です。RoCEアダプタとも呼ばれるこのカードは、システム間のダイレクトメモリアクセスを可能にする上で極めて重要です。RoCEネットワークカードは、RDMAオペレーションをCPUからオフロードするために必要なハードウェア機能を備えており、その結果、レイテンシが低下し、システム全体のパフォーマンスが向上します。

RoCE Network Card

高性能スイッチの中核は、スイッチが採用する転送チップにあります。特に、Tomahawk3シリーズ・チップはスイッチに広く採用されており、新しいTomahawk4シリーズ・チップをサポートするスイッチが増加傾向にあります。この変化は、現在の商用市場でデータ転送に一般的に使用されているこれらのチップの重要性を浮き彫りにしています。

Tomahawk3 series chips

RoCE v2 vs. Infiniband

RoCE v2（RDMA over Converged Ethernet version 2）とInfiniBandは、どちらもデータセンターやハイパフォーマンス・コンピューティング環境において高速で低レイテンシーの通信を提供するために設計された技術です。以下は、さまざまな側面における主な相違点をいくつか紹介します。

RoCE v2 vs. Infiniband

物理層

  • RoCE v2: イーサネット・インフラストラクチャに依存するため、ストレージと通常のデータ・トラフィックを同じネットワーク上に集約することができます。また、既存のデータセンターへの統合も容易です。

  • InfiniBand:通信にはイーサネットとは別の専用ファブリックを使用します。多くの場合、専用のInfiniBandネットワークが必要となるため、個別のケーブル配線やスイッチが必要になる場合があります。

プロトコルスタック＆ネットワークスタック

  • RoCE v2: イーサネット上のRDMA（Remote Direct Memory Access）プロトコルを利用します。従来のTCP/IPスタックと統合されているため、標準的なネットワーキング・プロトコルと互換性があります。

  • InfiniBand: 高速・低遅延通信に最適化された独自のプロトコル・スタックとネットワーク・スタックを持っており、専用のドライバや設定が必要になる場合があります。

スイッチング

輻輳

RoCE v2:

InfiniBand:

ルーティング

RoCE v2:

  • ルーティング・メカニズム: RoCE v2は通常、RIP（Routing Information Protocol）やOSPF（Open Shortest Path First）といった従来のイーサネット・ルーティング・プロトコルにルーティング決定を依存しています。

  • トポロジー: RoCEは標準的なイーサネット・トポロジで使用されることが多く、ルーティングの決定は基礎となるイーサネット・インフラストラクチャの影響を受けます。

InfiniBand:

  • ルーティング・メカニズム: InfiniBandのルーティングメカニズムは、低レイテンシー、高スループットの通信に最適化されています。冗長性と負荷分散のために複数のパスをサポートしています。

  • トポロジー:InfiniBandは、ファットツリー、ハイパーキューブ、マルチレール構成など、さまざまなトポロジーをサポートしています。トポロジの選択は、ルーティングの決定に影響を与える可能性があります。

RoCE v2とInfiniBandのどちらを選択するかは、既存のインフラストラクチャやアプリケーションの要件、環境固有のニーズなどの要因によって決まります。RoCE v2は既存のイーサネット・ネットワークによりシームレスな統合経路を提供しますが、最高レベルのパフォーマンスとスケーラビリティを要求するハイパフォーマンス・コンピューティング環境ではInfiniBandが好まれる場合があります。

UECが新たなトランスポート・プロトコルを導入

ウルトラ・イーサネット・コンソーシアム（UEC）は、現在のイーサネットの能力を凌駕することを主な目的として、7月19日に正式に設立されました。創設メンバーには、AMD、Arista、Broadcom、Cisco、Eviden、HPE、Intel、Meta、Microsoftが含まれます。これらの企業は、ネットワークインフラ、人工知能、クラウド技術、ハイパフォーマンス・コンピューティングの展開において、数十年にわたる専門知識を結集しています。

コンソーシアムでは、数十年前に確立されたリモート・ダイレクト・メモリ・アクセス（RDMA）は、AI/MLのネットワーク・トラフィックの厳しい要求に対して時代遅れになったと主張しています。RDMAは、膨大なトラフィックブロックでデータを転送する傾向があるため、リンクの不均衡や過度の負担を招く可能性があります。UECは、新たなアプリケーションのために、RDMAを統合した最新のトランスポートプロトコルの開発開始を提唱します。

まとめ

RoCE v2はRDMA技術の領域で強力な力として立ちはだかり、高性能で低レイテンシのデータ通信を求める組織に強力なソリューションを提供します。イーサネット・インフラストラクチャへのコンバージェンスとUECのトランスポート・プロトコルがもたらす進歩が相まって、RoCE v2はHPC環境からクラウド・コンピューティングに至るまで、さまざまなアプリケーションに対応する汎用的でコスト効率の高い選択肢となっています。

InfiniBandとの比較はRoCE v2の強みを際立たせますが、最適なRDMAソリューションを選択する際には、組織固有の要件と既存のインフラを考慮する必要があります。テクノロジーが進化を続ける中、RoCE v2とそれに関連するイノベーションは、高性能ネットワーキングの未来を形作る上で極めて重要な役割を果たすことになるでしょう。