人工知能向けの高度なネットワーキングソリューション

近年、大規模な人工知能（AI）モデルは、自然言語理解、クロスメディア処理、および一般的なAIへの進歩の可能性において顕著な能力を持つため、AIコミュニティ内で大きな注目を集めています。業界をリードする著名な大規模モデルのパラメータ規模は、数兆から数十兆の注文に達しています。

2023年、ChatGPTという名の注目すべきAI製品が人気を博し、会話、コード生成、質問応答、小説執筆の能力を披露しました。GPT-3.5の基礎技術は、1750億のパラメータを誇り、細かく調整されたGPT-3.5大規模モデルに基づいています。報告によると、GPT-3.5のトレーニングには、マイクロソフトが構築した専用のAIスーパーコンピューティング・システムが利用されました。このシステムは、10,000個のV100 GPUを収容する高性能ネットワーク・クラスターで構成され、累積計算パワー消費量は約3640PF-daysでした。仮に毎秒10兆回の計算で計算すると、3640日かかる計算になりました。

AIの卓越性を実現するネットワークの向上

人工知能の時代において、ネットワークに対する需要はかつてないほど急増し、比類ないパフォーマンスと信頼性が求められています。AI技術が進歩し続け、大規模なモデルが標準となるにつれ、ネットワーク・インフラはこうした需要に応え、卓越したレベルの接続性と応答性を提供できるように進化しなければなりません。AIアルゴリズムのシームレスな実行、データ転送の効率性、リアルタイムの意思決定に直接影響することから、最適なネットワークエクスペリエンスを追求することが最も重要です。高速データ転送から超低遅延接続まで、非の打ちどころのないネットワークの追求はAI成功の礎石となります。最先端技術を活用し、ネットワーク機能の限界を押し広げ続けることによってのみ、デジタル時代におけるAIの可能性を完全に解き放つことができるのです。

大規模GPUクラスタにおけるネットワークのボトルネック

アムダールの法則に従うと、並列システムの効率はシリアル通信の性能によって決まます。並列システムのノード数が増加するにつれて、通信の割合も増加し、システム全体の性能に与える影響が大きくなります。数百、数千のGPUの計算能力を伴う大規模なモデルトレーニングタスクでは、多数のサーバーノードとサーバー間通信の要件により、ネットワーク帯域幅がGPUクラスタシステムのボトルネックとなります。特に，大規模なモデルアーキテ クチャで一般的に使用されているMoE（Mixture-of-Experts）は、ゲー トが疎であり、All-to-Allの通信パターンを特徴としているため，クラスタ サイズが大きくなるにつれて，ネットワーク性能に対する要求が非常に 高くなります。最近の業界では、All-to-All通信の最適化戦略の中心は、通信時間を最小化し、MoEモデルのトレーニング速度を向上させるために、ネットワークの広帯域幅を最大限に活用することです。

大規模GPUクラスタにおける安定性の課題

GPUクラスタが特定の規模に達すると、性能の最適化に加えて、クラスタシステムの安定性を確保することが新たな課題となります。ネットワークの信頼性は、クラスタ全体の計算安定性を決定する上で極めて重要な役割を果たします。これには次のような理由があります:

• 大規模なネットワーク障害領域：クラスタの計算能力のごく一部に影響を与えるシングルポイントCPU障害とは異なり、ネットワーク障害は数十、あるいはそれ以上のGPUの接続を中断させる可能性があります。システムの計算能力の完全性を維持するためには、安定したネットワークが不可欠です。

• ネットワーク・パフォーマンスの変動が与える大きな影響：低パフォーマンスのGPUやサーバーを1台だけ切り離すことが比較的容易なのとは対照的に、ネットワークはクラスタ全体の共有リソースです。ネットワーク・パフォーマンスの変動は、すべてのコンピューティング・リソースの利用率に大きな影響を与える可能性があります。

これらの考慮事項に対処することは、大規模GPUクラスタの堅牢性と一貫した性能を維持するために不可欠です。

高性能AIトレーニングネットワークの強化

計算の反復と勾配の同期に膨大な通信量が要求される大規模モデルトレーニングの領域では、1回の反復で数百ギガバイトに達することも珍しくありません。さらに、アクセラレーションフレームワークによる並列モードと通信要件の導入により、従来の低速ネットワークはGPUクラスタのロバストな計算をサポートするには非効率的なものとなっています。GPUの強力な計算能力をフルに活用するには、高性能ネットワークインフラが不可欠であり、高帯域幅、スケーラビリティ、低遅延通信機能を備えた超帯域幅コンピューティングノードを提供することで、AIトレーニングに固有の通信の課題に対処します。

NVIDIA InfiniBand (IB)ネットワークは、各コンピューティングノードに最大1.6Tbpsの超高速通信帯域幅を提供することで際立っています。これは、従来のネットワークと比較して10倍以上の改善を意味します。NVIDIA InfiniBandネットワークの主な特徴は以下の通りです:

• ノンブロッキング・ファットツリー・トポロジー：ノンブロッキング・ネットワーク・トポロジーを採用することで、クラスタ内での効率的な転送を実現し、最大2K GPUの単一クラスタ・スケールをサポートし、superEFLOPS（FP16）レベルのクラスタ性能を提供します。

• 柔軟なネットワーク拡張性：ネットワークは柔軟な拡張が可能で、最大32KのGPUコンピューティングクラスターをサポートします。この柔軟性により、需要に応じてクラスタサイズを調整することができ、さまざまな規模での大規模モデルトレーニングに対応できます。

• 広帯域アクセス：コンピューティング・ノードのネットワーク・プレーンには8枚のROCEネットワーク・カードが搭載され、1.6Tbpsの超高帯域幅アクセスが可能です。この高帯域幅設計により、コンピューティング・ノード間の迅速なデータ転送が可能になり、通信待ち時間を最小限に抑えることができます。

NVIDIA InfiniBandネットワークを活用することで、超高帯域幅のコンピューティングノードの構築が可能となり、AIトレーニングをサポートする強固な通信性能を実現します。さらにFSは、一流のInfiniBandスイッチ、InfiniBandネットワークカード、GPUサーバー、InfiniBand HDR AOCとDACなどの高速製品を提供しています。これらの製品は、AIの高性能ネットワーク・サーバ・クラスタの低レイテンシ、高帯域幅、および信頼性の要件に適合しています。

まとめ

GPUコンピューティングパワーの継続的な向上と、大規模なAIモデルトレーニングの進化に伴い、高性能ネットワークインフラの構築が急務となっています。GPUクラスター・ネットワークのアーキテクチャは、システム・コンピューティング・パワーの最適な利用と可用性を確保するために、継続的な反復と強化が必要です。絶え間ないイノベーションとアップグレードによってのみ、ネットワークに対する高まる要求に対応し、比類のないネットワーク性能と信頼性を実現することができるのです。

AIの時代には、高帯域幅、低レイテンシー、スケーラビリティを特徴とするネットワークが標準になりつつあります。これらの特性は、大規模なモデルトレーニングを強固にサポートし、リアルタイムの意思決定を促進するために不可欠です。光ネットワーク・ソリューションのリーディング・プロバイダとして、当社はAIサーバ・クラスタに合わせた高品質で高性能なネットワーク接続ソリューションを提供することに揺るぎないコミットメントを表明しています。私たちの献身は、継続的な技術革新、信頼性の高い高性能ネットワークインフラの構築、AI技術の開発と応用のための安定した信頼できる基盤の提供に及んでいます。

AI時代の課題を共同で乗り越え、インテリジェントな未来のための新たな章を共に書き上げましょう。