標準サーバー向けの NVIDIA H100 Tensor コア GPU には NVIDIA AI Enterprise ソフトウェア スイートが付属しており、その非常に優れた性能によって AI を簡単に導入できます。
次世代ワークロードのためのアクセラレーテッド コンピューティング プラットフォーム。
NVIDIA Hopper™ アーキテクチャによるアクセラレーテッド コンピューティングの次の大きな飛躍をご覧ください。Hopper は、小規模なシステムからエクサスケールのハイパフォーマンス コンピューティング (HPC) 、兆単位のパラメーターがある AI まで、あらゆるデータ センターにおける多様なワークロードを安全に拡張し、才気溢れるイノベーターが人類史上最も速いペースで大きな変革を実現できるようにします。
飛躍的な技術的進歩
最新の TSMC 4N プロセスを利用し、800 億を超えるトランジスタで構築された Hopper は、NVIDIA H200 およ�� H100 Tensor コア GPU を加速し 、世界最大の言語生成モデルである NVIDIA の Megatron 530B チャットボットの AI 推論で、前世代と比較して 30 倍という驚異的なスピードアップを実現する 5 つの画期的なイノベーションを備えています。
Transformer Engine
NVIDIA Hopper アーキテクチャは、AI モデルのトレーニングを高速化するように設計された Transformer Engine との組み合わせで Tensor コア テクノロジを前進させます。Hopper Tensor コアでは FP8 と FP16 の精度を混在させることができます。トランスフォーマーの AI 計算が劇的に速くなります。Hopper はまた、TF32、FP64、FP16、INT8 の精度の浮動小数点演算 (FLOPS) を前世代の 3 倍にします。Transformer Engine と第 4 世代 NVIDIA® NVLink® と組み合わせることで Hopper Tensor コアは HPC と AI のワークロードを桁違いに高速化します。
NVLink、NVSwitch、NVLink スイッチ システム
エクサスケール HPC や兆単位のパラメーターを持つ AI モデルをビジネスのスピードに合わせて動かすには、大規模に高速化するために、サーバークラスター内のあらゆる GPU 間で高速でシームレスな通信を行う必要があります。
第 4 世代 NVLink は NVIDIA の DGX™ サーバーと HGX™ サーバーでマルチ GPU IO (入出力) を、GPU あたり双方向で毎秒 900 ギガバイト (GB/s) 、帯域幅は PCIe Gen5 の 7 倍以上の帯域幅で拡張することができます。
第 3 世代の NVIDIA NVSwitch™ は、これまで Infiniband でのみ利用可能だった Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ のネットワーク内コンピューティングをサポートし、前世代の A100 Tensor コア GPU と比較すると、H200 または H100 の GPU サーバー 8 台で、All-Reduce のスループットが 2 倍に向上しています。
DGX GH200 システムと NVLink Switch System の組み合わせでは、最大 256 基の H200 を接続したクラスターをサポートし、毎秒 57.6 テラバイトの All-to-All 帯域幅を提供します。
NVIDIA コンフィデンシャル コンピューティング
データはストレージに保存されているときと、ネットワーク間を転送されるときは暗号化されますが、処理中は保護が解除されます。この保護のない時間に対処するのが NVIDIA コンフィデンシャル コンピューティングです。使用中のデータとアプリケーションを保護します。NVIDIA Hopper アーキテクチャは、コンフィデンシャル コンピューティング機能を持った世界初のアクセラレーテッド コンピューティング プラットフォームを導入するものです。
強力なハードウェアベースのセキュリティにより、ユーザーはオンプレミス、クラウド、エッジでアプリケーションを実行できます。権限のないエンティティは使用中のアプリケーション コードやデータを閲覧することも、変更することもできません。これにより、AI トレーニング、AI 推論、HPC ワークロードのために H200 および H100 GPU のこれまでにないアクセラレーションを利用しながら、データとアプリケーションの機密性と完全性を保護します。
第 2 世代 MIG
マルチインスタンス GPU (MIG) という機能では GPU を、完全に分離された複数の小さなインスタンスに分割できます。それぞれにメモリ、キャッシュ、コンピューティング コアが与えられます。Hopper アーキテクチャは MIG の機能をさらに強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。そして、Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソース割り当てを最適化できます。
研究者のワークロードが比較的少ない場合、完全な CSP インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、処理中のデータが安全なため、安心です。
DPX 命令
動的プログラミングは、複雑な再帰的問題を単純な小問題に分割して解決するアルゴリズム手法です。小問題の結果を格納しておけば、後で再計算する必要がありません。幾何級数的問題の解決にかかる時間が短縮され、その複雑性が緩和されます。動的プログラミングは幅広い使用例で一般的に使用されています。たとえば、Floyd-Warshall は、出荷車両と配送車両のための最短経路を地図に表示する経路最適化アルゴリズムです。Smith-Waterman アルゴリズムは DNA 配列とタンパク質フォールディングの応用に使用されます。
Hopper の DPX 命令は、従来のデュアル ソケット CPU のみのサーバーと比較して 40 倍、NVIDIA Ampere アーキテクチャ GPU と比較して 7 倍の速さで、動的プログラミング アルゴリズムを加速します。これにより、病気の診断、ルーティングの最適化、さらにはグラフ分析を飛躍的に高速化します。
仕様は変更される場合があります。
DPX 命令の比較 HGX H100 4-GPU とデュアル ソケット 32 コア IceLake