サービス高速外部ストレージ / 概要・特長
概要
AIモデルの学習用途でご利用いただける高速ストレージを提供いたします。複数のGPUから高速ストレージに対して、直接かつ同時に読み書きすることが可能です。
特長
メタデータの分散保持
- 大量の小ファイルへのランダムアクセスが発生するAIモデルの学習では、高速ストレージのメタデータ処理にかかる負荷が学習プロセス全体のボトルネックとなる課題がありました。
- 提供する高速ストレージは、メタデータをクラスタ内の各ノードに分散保持することで処理の集中を回避します。
オールフラッシュストレージ
- データ保管デバイスとしてNVMe SSDを使用し、低レイテンシと高IOPSを実現しています。
GPUとの直接通信
- NVIDIA GPUDirect® Storageに対応しているため、GPUが高速ストレージに対して直接データを読み書きすることができます。
提供条件
- 各ストレージノードは、ノード数と同数の400Gbpsイーサネットリンクでストレージネットワークに接続されます。
- このリンク帯域は全テナントで共有されますが、ロスレスネットワークとしてお使いいただけます。