This product is not supported for your selected Datadog site. ().

概要

このドキュメントで説明しているパイプラインとプロセッサーは、オンプレミスのログ環境に特化しています。クラウドベースのログを集約、処理、ルーティングするには、Log Management Pipelines を参照してください。

Observability Pipelines では、パイプラインは 3 種類のコンポーネントから構成される順次の経路です。

  • ソース: データソース (例えば、Datadog Agent) からデータを受信します。
  • プロセッサー: データを強化し、変換します。
  • 送信先: 処理されたデータの送信先。
1 つのソースが 2 つのプロセッサグループと 2 つの宛先に接続されたパイプライン

次のいずれかの方法でパイプラインを作成できます。

UI で作成したパイプラインをプログラムでデプロイしたい場合は、パイプライン構成を JSON または Terraform にエクスポートを参照してください。

UI でパイプラインを設定する

パイプラインコンポーネントを設定する

  1. Observability Pipelines に移動します。
  2. ユースケースに基づいてテンプレートを選択します。
  3. ソースを選択してセットアップします。
  4. ログデータを変換、マスク、強化するためにプロセッサーを追加します。: パイプラインキャンバスには、プロセッサグループが 25、プロセッサが合計 150 という制限があります。
    • プロセッサをコピーしたい場合は、そのプロセッサのコピーアイコンをクリックし、次に command-v を使用して貼り付けます。
  5. 処理されたログの送信先を選択して設定します。

コンポーネントを追加または削除する

別のプロセッサグループを追加する
同じ宛先にログを送信する 2 つのプロセッサグループを示す Pipelines ページ

If you want to add another group of processors for a destination:

  1. Click the plus sign (+) at the bottom of the existing processor group.
  2. Click the name of the processor group to update it.
  3. Optionally, enter a group filter. Only data that match the filter query are sent through the processors in the group. See Search Syntax for more information.
  4. Click Add to add processors to the group.
  5. If you want to copy all processors in a group and paste them into the same processor group or a different group:
    1. Click the three dots on the processor group.
    2. Select Copy all processors.
    3. Select the desired processor group, and then paste the processors into it.
  6. You can toggle the switch to enable and disable the processor group and also each individual processor.

Notes:

  • There is a limit of 25 processor groups for a pipeline canvas.
別のプロセッサと宛先のセットを追加する
2 つの異なる宛先にログを送信する 2 つのプロセッサグループを示す Pipelines ページ

If you want to add another set of processors and destinations, click the plus sign (+) to the left of the processor group to add another set of processors and destinations to the source.

To delete a processor group, you need to delete all destinations linked to that processor group. When the last destination is deleted, the processor group is removed with it.

プロセッサグループに別の宛先を追加する
1 つのプロセッサグループが 2 つの異なる宛先にログを送信していることを示す Pipelines ページ

If you want to add an additional destination to a processor group, click the plus sign (+) to the right of the processor group.

To delete a destination, click on the pencil icon to the top right of the destination, and select Delete node.

  • If you delete a destination from a processor group that has multiple destinations, only the deleted destination is removed.
  • If you delete a destination from a processor group that only has one destination, both the destination and the processor group are removed.

Notes:

  • A pipeline must have at least one destination. If a processor group only has one destination, that destination cannot be deleted.
  • You can add a total of three destinations for a pipeline.
  • A specific destination can only be added once. For example, you cannot add multiple Splunk HEC destinations.
Metric Tag Governance は Preview です。アクセスをリクエストするには、フォームに記入します。
  1. Observability Pipelines に移動します。
  2. Metric Tag Governance テンプレートを選択します。
  3. Datadog Agent ソースを設定します。
  4. メトリクスをフィルタリングおよび変換するためにプロセッサーを追加します。: パイプラインキャンバスには、プロセッサグループが 25、プロセッサが合計 150 という制限があります。
    • プロセッサをコピーしたい場合は、そのプロセッサのコピーアイコンをクリックし、次に貼り付けます (Cmd+V は Mac、Ctrl+V は Windows/Linux)。
  5. Datadog Metrics 宛先を設定します。

別のプロセッサグループを追加する

同じ宛先にログを送信する 2 つのプロセッサグループを示す Pipelines ページ

If you want to add another group of processors for a destination:

  1. Click the plus sign (+) at the bottom of the existing processor group.
  2. Click the name of the processor group to update it.
  3. Optionally, enter a group filter. Only data that match the filter query are sent through the processors in the group. See Search Syntax for more information.
  4. Click Add to add processors to the group.
  5. If you want to copy all processors in a group and paste them into the same processor group or a different group:
    1. Click the three dots on the processor group.
    2. Select Copy all processors.
    3. Select the desired processor group, and then paste the processors into it.
  6. You can toggle the switch to enable and disable the processor group and also each individual processor.

Notes:

  • There is a limit of 25 processor groups for a pipeline canvas.

ワーカーをインストールしてパイプラインをデプロイする

ソース、プロセッサ、および宛先を設定した後、Next: Install をクリックします。プラットフォームに Worker をインストールする方法については、Worker のインストールを参照してください。ブートストラップオプションについては、高度な Worker 構成を参照してください。

デプロイ後にパイプラインに変更を加えたい場合は、既存のパイプラインの更新を参照してください。

パイプラインのすぐに使えるモニターを有効化する

  1. Pipelines ページに移動し、パイプラインを見つけます。
  2. パイプラインの Monitors 列で Enable monitors をクリックします。
  3. Start をクリックして、提示されたユースケースの 1 つについてモニターをセットアップします。
    • メトリックモニターは、選択したユースケースに基づいて構成されます。構成を更新して、さらにカスタマイズできます。詳細については、メトリクスモニタードキュメントを参照してください。

API を使用してパイプラインをセットアップする

  1. Observability Pipelines API を使用してパイプラインを作成します。リクエストペイロードの例については、API reference を参照してください。

  2. パイプラインを作成した後、Worker をインストールして、パイプラインを通じてデータを送信します。

    • Worker をインストールする際に必要なソース、プロセッサ、および宛先ごとの環境変数のリストについては、環境変数を参照してください。

既存のパイプラインに変更を加えるには、パイプラインを更新エンドポイントを使用します。

ブートストラップオプションについては、高度な Worker 構成を参照してください。

Terraform を使用してパイプラインをセットアップする

Terraform 3.84.0 は、スタンドアロンプロセッサを プロセッサグループ に置き換える破壊的変更です。Terraform 3.84.0 にアップグレードしたい場合は、既存のリソースを移行する方法についての指示は PR の説明を参照してください。
  1. Terraform を使用してパイプラインを作成するには、datadog_observability_pipeline モジュールを使用します。

  2. パイプラインを作成した後、Worker をインストールして、パイプラインを通じてデータを送信します。

    • Worker をインストールする際に必要なソース、プロセッサ、および宛先ごとの環境変数のリストについては、環境変数を参照してください。

既存のパイプラインに変更を加えるには、datadog_observability_pipeline モジュールを使用します。

ブートストラップオプションについては、高度な Worker 構成を参照してください。

パイプラインを複製する

UI でパイプラインを複製するには:

  1. Observability Pipelines に移動します。
  2. 複製するパイプラインを選択します。
  3. ページの右上にある歯車アイコンをクリックし、Clone を選択します。

パイプラインを削除する

UI でパイプラインを削除するには:

  1. Observability Pipelines に移動します。
  2. 削除するパイプラインを選択します。
  3. ページの右上にある歯車アイコンをクリックし、Delete を選択します。

: アクティブなパイプラインは削除できません。削除する前に、そのパイプラインのすべての Worker を停止する必要があります。

パイプラインの要件と制限

  • パイプラインには少なくとも 1 つの宛先が必要です。プロセッサグループに宛先が 1 つしかない場合、その宛先は削除できません。
  • ログパイプラインの場合。
    • ログパイプラインには合計 3 つの宛先を追加できます。

参考資料