GPU モニタリングフリートページ

このドキュメントは最新ではありません。最新版はこちらをクリックして英語版をご覧ください。
This product is not supported for your selected Datadog site. ().

概要

GPU フリートページ は、指定された期間を対象にすべての GPU アクセラレーションホストの詳細な一覧を提供します。このビューを使用して、リソーステレメトリを通じて、パフォーマンスや使用状況のメトリクスからコストまで、非効率な点を明らかにします。このページでは、デバイス向けの Datadog の OOTB プロビジョニングおよびパフォーマンス最適化の推奨事項も表示され、GPU 投資の効果を最大化するのに役立ちます。

クラスター、ホスト、またはデバイスごとにインフラストラクチャーを分類

最初に、Kubernetes クラスター (Kubernetes ユーザーのみ利用可能)、ホスト (ノード)、または GPU デバイスでフリートをグループ化するトグルを使って、GPU フリートの把握方法を選択します。

Kubernetes クラスター、ホスト、またはデバイスごとにテーブルの結果をグループ分けする GPU フリートページのトグル。

選択内容は、結果として表示されるテーブルに反映されます。_クラスター_または_ホスト_を選択した場合、各テーブルエントリの隣にある > ボタンをクリックすると、クラスターのホストやホストのデバイスを表示できます。

テーブル内のホストエントリ

注意: クラスターテーブルは、Kubernetes を使用している場合のみ表示されます。

フィルターやグループ化で GPU フリートを探索

ページの上部にあるクイックフィルターのドロップダウンを使用して、特定の [Provider] (プロバイダー)、[Device Type] (デバイスタイプ)、[Cluster] (クラスター)、[Region] (リージョン)、[Service] (サービス)、[Data Center] (データセンター)、[Environment] (環境)、[Team] (チーム) でフィルタリングできます。

他のタグで検索または分類することもできます。たとえば、ホストのトグルを選択し、次に Team でグループ化して、各一意のチームごとにテーブルエントリを表示できます。任意のエントリの隣にある > ボタンをクリックして、そのチームが使用しているホストと、それらのホストを加速している GPU デバイスを確認します。

注意: 追加のタグでグループ化できるのは 1 つだけです。

GPU フリートページでのフィルタリングとグループ化のメニュー

ユースケース駆動型のビュー

Datadog では、ユースケースに基づいた 2 種類の専用ビューを提供し、プロビジョニングおよびパフォーマンス最適化のワークフローをガイドします。

プロビジョニング

[Provisioning] (プロビジョニング) タブは、キャパシティの割り当てと管理に関する重要な推奨事項とメトリクスのインサイトを示します。

プロビジョニングユースケース駆動のビュー

OOTB 推奨事項 Datadog は、サーマルスロットリングやハードウェア不具合を事前に検出し、ECC/XID エラーなどのハードウェアエラーに基づいて即座に対処策を提示します。 Datadog は、非アクティブなデバイスがプロビジョニングされるべきかどうかを検出し、デバイスがアイドル状態になるのを避けます。

プロビジョニングワークフローに関連するメトリクス ECC および XID エラー数 グラフィックスアクティビティ SM アクティビティ GPU メモリ 割り当てられたデバイス (Kubernetes ユーザーのみ利用可能) アクティブデバイス アイドリングコスト

パフォーマンス

[Performance] (パフォーマンス) タブは、ワークロードの実行状況を把握し、GPU の利用を調整してデバイスをより効果的に使用するのに役立ちます。

パフォーマンスユースケース駆動のビュー

OOTB 推奨事項 CPU 負荷の高いワークロードの場合、Datadog は CPU 飽和状態のホストにフラグを立て、解決策を提示します。 ワークロードが割り当てられた GPU を十分に活用できていない場合、Datadog はその能力を引き出すためのチューニング方法を提案します。

パフォーマンスワークフローに関連するメトリクス ECC および XID エラー数 グラフィックスアクティビティ SM アクティビティ GPU メモリ 有効デバイス 電力 温度 PCIe RX PCIe Tx CPU 利用率

サマリーグラフ

クラスター、ホスト、またはデバイスを切り替えると、[Summary Graph] (サマリーグラフ) にGPU インフラストラクチャー全体の主要なリソーステレメトリが、その選択値ごとにグループ化されて表示されます。下のセクションを展開すると、利用可能なメトリクスとその内容を示す表が表示されます。

メトリクス定義メトリクス名
コア利用率(高度な eBPF メトリクス用にシステムプローブが有効な場合のみ利用可能) GPU プロセス用使用コア/コア制限。時間的コア利用率の測定。gpu_core_utilization
メモリ利用率GPU プロセス用の GPU メモリ使用量/GPU メモリ制限。gpu_memory_utilization
PCIe スループットGPU デバイスから PCI を通じて受信したバイト数と送信したバイト数 (毎秒)。gpu.pci.throughput.rx,gpu.pci.throughput.tx
グラフィックスアクティビティグラフィックスエンジンがアクティブだった時間の割合。gpu.gr_engine_active
SM アクティビティストリーミングマルチプロセッサーがアクティブだった時間の割合。gpu.sm_active
電力GPU デバイスの電力使用量。
注意: GA100 およびそれ以前のアーキテクチャでは、瞬時電力を表します。
新しいアーキテクチャでは、これは 1 秒間の平均電力消費 (ワット) を表します。		gpu.power.usage
温度GPU デバイスの温度。gpu.temperature
使用コア(プロセスがアクティブな場合のみ出力されます) インターバル内でプロセスが使用していた GPU コアの平均数。gpu.core.usage
使用メモリ(プロセスがアクティブな場合のみ出力されます) メトリクスがクエリされた時点でこのプロセスが使用していたメモリ。gpu.memory.usage
デバイス合計この時間枠内でデータを送信しているすべてのデバイスの数。gpu.device.total

追加のタグ (例: チーム) でグループ化を選択した場合、サマリーグラフのすべてのユニークな時系列は、選択したメトリクスに対するチームの値に対応します。

GPU 駆動インフラストラクチャーのインベントリ

この表は、任意に選んだタグごとに GPU 駆動インフラストラクチャーの内訳を示します。[Group by] (グループ化) フィールドで追加のタグが指定されていない場合、結果はトグルで選択されたビュー (クラスター、ホスト、またはデバイス) ごとにグループ化されます。

デフォルトでは、結果テーブルには以下の列が表示されます。

デバイスタイプ グラフィックスエンジンアクティビティ SM アクティビティ (システムプローブが有効な場合のみ) コア利用率 メモリ利用率 アイドリングコスト 推奨事項

ギアアイコンをクリックすると、テーブル内に表示されるメトリクスをカスタマイズできます。以下のセクションを展開すると、利用可能なメトリクスの一覧が表示されます。

メトリクス定義メトリクス名
CPU 使用率CPU がユーザースペースプロセスを実行していた時間の割合。パーセントで表示されます。system.cpu.user
デバイスタイプGPU デバイスのタイプ。gpu_device
総デバイス数この時間枠内でデータを送信しているすべてのデバイスの数。gpu.device.total
割り当てられたデバイス(Kubernetes を使用している場合のみ利用可能) ワークロードに割り当てられたデバイスの数。gpu.device.total
アクティブデバイスワークロードに積極的に使用されているデバイス/ビジー状態のデバイスの数。Kubernetes を使用している場合: ワークロードに積極的に使用されている割り当てられたデバイスの数。gpu.gr_engine_active
有効なデバイスライフサイクルの 50% 以上の期間で使用されているデバイスの数。gpu.sm_active
グラフィックスエンジンアクティビティグラフィックスエンジンがアクティブであった時間の割合。gpu.gr_engine_active
SM アクティビティストリーミングマルチプロセッサーがアクティブだった時間の割合。gpu.sm_active
SM クロックSM クロック周波数 (MHz) です。gpu.clock_speed.sm
PCIe RX スループットGPU デバイスが PCI を通じて 1 秒間に受信したバイト数。gpu.pci.throughput.rx
PCIe TX スループットGPU デバイスへ PCI を通じて 1 秒間に送信されたバイト数。gpu.pci.throughput.tx
電力GPU デバイスの電力使用量。
注意: GA100 およびそれ以前のアーキテクチャでは、瞬時電力を表します。
新しいアーキテクチャでは、これは 1 秒間の平均電力消費 (ワット) を表します。		gpu.power.usage
温度GPU デバイスの温度。gpu.temperature
使用コア(プロセスがアクティブな場合のみ出力されます) インターバル内でプロセスが使用していた GPU コアの平均数。gpu.core.usage
コア制限プロセス、コンテナ、またはデバイスが利用可能な GPU コアの数。gpu.core.limit
使用メモリ(プロセスがアクティブな場合のみ出力されます) メトリクス送信時点でこのプロセスが使用しているメモリ量。gpu.memory.usage
メモリ制限プロセス、コンテナ、またはデバイスが割り当てることができる最大メモリ容量。gpu.memory.limit
メトリクストン CO2メトリクストンの二酸化炭素換算 (MTCO2e) は、温室効果ガスの排出量を地球温暖化係数 (GWP) に基づいて比較するための単位。これは、ガスの量にその GWP を掛けることで算出されます。たとえば、GWP が 21 のメタンの場合、メタン 100 万トンは二酸化炭素 2,100 万トンに相当します。gpu.power.usage に基づく式
コア利用率(システムプローブが有効な場合のみ利用可能) GPU プロセス用の 使用コア/コア制限。時間ベースのコア利用率です。gpu_core_utilization
メモリ利用率GPU プロセス用の GPU メモリ使用量/GPU メモリ制限。gpu_memory_utilization
アイドリングコスト(2 日以上の期間でのみ非ゼロ) 予約および割り当て済みなのに使用されていない GPU リソースのコスト。

詳細サイドパネル

フリートテーブルの任意の行をクリックすると、選択したクラスター、ホスト、またはデバイスの詳細が表示されるサイドパネルが開きます。

接続されたエンティティ

Datadog の GPU モニターは、NVIDIA の DCGM Exporter を必要としません。Datadog Agent を使用して GPU を直接観察し、ポッドやプロセスの GPU 使用量とコストに関するインサイトを提供します。任意の詳細ビューの [Connected Entities] (接続されたエンティティ) セクションでは、SM アクティビティ、GPU コア利用率 (システムプローブが有効な場合のみ)、およびポッド、プロセス、Slurm ジョブのメモリ使用量を確認できます。これにより、合計使用量を減らすために削減または最適化すべきワークロードを特定できます。

注意: [Pod] (ポッド) タブは、Kubernetes を使用している場合にのみ利用可能です。

    このサイドパネル内には、特定のクラスターを識別するためのクラスター特有のファネルがあります。

    特定のクラスター内の総数、割り当てられた (Kubernetes ユーザーのみ)、アクティブ、効果的なデバイスの数 特定クラスターの推定総コストとアイドリングコスト 特定クラスターに接続されているエンティティ: ポッド、プロセス、および Slurm ジョブ そのクラスターのための 4 つの主要指標 (カスタマイズ可能): コア利用率 (システムプローブが有効な場合のみ)、メモリ利用率、PCIe スループット、およびグラフィックスエンジンアクティビティ そのクラスターに関連するホストのテーブル

    クラスターごとに、アイドルデバイス、コスト、および接続されたエンティティの内訳を表示するサイドパネル

    このサイドパネル内には、ホスト別のビューがあり、以下を特定できます。

    プロバイダー、インスタンスタイプ、CPU利用率、使用中のシステムメモリ、システムメモリ合計、システム IO 利用、SM アクティビティ、および温度などのホスト関連メタデータ (Kubernetes ユーザーのみ利用可能) そのホストに割り当てられた特定の GPU デバイス (グラフィックスエンジンアクティビティでソート) そのホストの接続されたエンティティ: ポッド、プロセス、および Slurm ジョブ

    そのホストに関連付けられた GPU デバイスと接続されたエンティティを表示するホスト特有のサイドパネル

    このサイドパネル内には、デバイス別のビューがあり、以下を特定できます。

    このデバイスをより効果的に使用するための推奨事項 (ある場合) デバイス関連の詳細: デバイスタイプ、SM アクティビティ、および温度 GPU に関連する 4 つの主要メトリクス: SM アクティビティ、メモリ利用率、電力、およびグラフィックスエンジンアクティビティ そのクラスターの接続されたエンティティ: Pod とプロセス

    デバイスをより効果的に使用するための推奨事項とその他の重要なテレメトリを表示するデバイス固有のサイドパネル。

    インストール推奨事項

    Datadog はインフラストラクチャー全体を積極的に監視し、GPU Monitoring の価値を十分に引き出せない原因となるインストールの不備を検出します。このモーダルでは、GPU モニタリングの最適な価値を得るためのインストール更新推奨事項を見つけることができます。たとえば、ホストに Datadog エージェントの 最新バージョン がインストールされていることを確認し、NVIDIA ドライバーの最新バージョンをインストールし、ホストの設定ミスをチェックします。

    関連するプロセスや SLURM ジョブによる GPU リソースの帰属などの高度な GPU モニタリング機能を表示するには、それぞれ Live Processes と Slurm のインテグレーションを有効にする必要があります。

    スムーズな GPU モニタリングのユーザー体験のためのインストールガイダンスを含むモーダル。

    参考資料

    お役に立つドキュメント、リンクや記事:

    Datadog GPU モニタリングを使用して、AI インフラストラクチャーの最適化とトラブルシューティングを行いましょう。BLOG more more