BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース Google Cloud、Cloud Storageに階層型ネームスペースを導入し、AI/MLワークフローを強化

Google Cloud、Cloud Storageに階層型ネームスペースを導入し、AI/MLワークフローを強化

原文リンク(2025-05-14)

2025年3月17日、Google CloudはCloud Storageに階層型ネームスペース(HNS)機能を導入し、データの整理、パフォーマンス、信頼性を向上させることで、AIおよび機械学習(ML)ワークロードの最適化を目指した。

AI/MLプロセス、特にモデルのトレーニング中は、モデルの状態を保存するために頻繁にチェックポイントを作成する。従来のフラットネームスペースストレージシステムでは、フォルダの名前変更を行う際に各オブジェクトを個別に書き換えたり削除したりする必要があり、これが時間がかかりエラーが発生しやすい原因となっていた。しかし、HNSを使用することでCloud Storageは原子的なフォルダレベルの操作をサポートし、より迅速かつ信頼性の高いチェックポイント作成を可能にした。Googleのブログ投稿によると、Googleのベンチマークによれば、階層型ネームスペースバケットはフラットバケットと比較してチェックポイントの書き込みを最大20倍速くすることができるとのことだ。この改善は、メタデータのみの操作を行う新しいRenameFolder APIによって実現されておりフラットネームスペースバケットで必要とされる時間のごく一部でタスクを完了できた。

Googleは、実際のアプリケーションがHNSの利点を示していると主張している。例えば、AssemblyAIは、Cloud Storage FUSEとHNSを使用することで、Google Cloud Storageのスループットが10倍向上し、トレーニング速度が15倍改善されたと報告している。

さらに、HNSは最適化されたストレージレイアウトを提供することで、読み取りおよび書き込み操作のクエリ数(QPS)を向上させ、パフォーマンスを強化する。これは、同期I/O操作がボトルネックを引き起こす可能性がある大規模クラスターで実行されるAI/MLワークロードにとって特に有益だ。階層型ネームスペースバケットは、フラットネームスペースバケットと比較して、初期のオブジェクト読み取りおよび書き込みQPSが最大8倍高く、迅速な立ち上げと計算リソースのより良い活用を促進する。

GoogleのエンジニアリングのシニアディレクターであるJason Stevens氏は、これらの意見に同意し次のように述べた。

Google Cloud Storage (GCS)の階層型ネームスペース(HNS)は、フォルダの名前変更などのファイルシステムセマンティクスに依存するストレージワークロードを加速し、AIワークロードの効率を 向上させる。最大20倍の速さでチェックポイントを作成でき、QPSは8倍高くなるHNSは、AI/MLパイプラインにおけるGPUおよびTPUの利用を最大化するのに役立つ。

Google Cloud Storageで階層型ネームスペース機能を有効にするには、バケット作成時に設定する必要がある。既存のバケットに対しては遡って有効にすることはできない。gcloud CLIを使用する場合、gcloud storage buckets createコマンドを実行し、--enable-hierarchical-namespaceフラグを指定し、希望するバケット名とロケーションを設定する。あるいは、Google Cloud ConsoleでCloud Storageセクションに移動し、「バケットを作成」を選択し、詳細設定内で階層型ネームスペースを有効にするオプションにチェックを入れて、残りの設定を完了できる。一度有効にすると、そのバケットはファイルシステムのようなフォルダ、原子的な名前変更、読み取りおよび書き込み操作のスループット向上をサポートすることで、AIおよび機械学習のユースケースに最適化される。

作者について

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

BT
OSZAR »