Confluent Platform

Supported OS Linux Windows Mac OS

インテグレーションバージョン3.0.0

To find out if this integration is available in your organization, see your Datadog Integrations page or ask your organization administrator.

To initiate an exception request to enable this integration for your organization, email [email protected].

概要

このチェックは、Datadog Agent を通じて Confluent Platform と Kafka のコンポーネントを監視します。

このインテグレーションは、以下のコンポーネントの JMX メトリクスを収集します。

  • Broker
  • Connect
  • Replicator
  • Schema Registry
  • ksqlDB サーバー
  • Streams
  • REST Proxy

Confluent Platform インテグレーションを強化する手段として、Data Streams Monitoring の利用を検討してください。このソリューションではパイプラインを可視化し、ラグ (遅延) を追跡できるため、ボトルネックの特定と解消に役立ちます。

セットアップ

インストール

Confluent Platform チェックは Datadog Agent パッケージに含まれています。Confluent Platform コンポーネントサーバーに追加でインストールする必要はありません。

注: このチェックはメトリクスを JMX を使用して収集するため、Agent が jmxfetch を実行できるように、各ノード上に JVM が必要です。Oracle 提供の JVM を使用することをお勧めします。

構成

  1. Agent のコンフィギュレーションディレクトリのルートにある conf.d/ フォルダーの confluent_platform.d/conf.yaml ファイルを編集し、Confluent Platform のパフォーマンスデータを収集します。使用可能なすべてのコンフィギュレーションオプションについては、confluent_platform.d/conf.yaml のサンプルを参照してください。

    各コンポーネントごとに、その JMX メトリクスを収集するための個別のインスタンスを作成する必要があります。デフォルトで収集されるメトリクスの一覧は metrics.yaml ファイル に記載されています。例えば:

    instances:
 - host: localhost
   port: 8686
   name: broker_instance
   user: username
   password: password
 - host: localhost
   port: 8687
   name: schema_registry_instance
 - host: localhost
   port: 8688
   name: rest_proxy_instance

  2. Agent を再起動します。

ログ収集

Agent バージョン 6.0 以降で利用可能

  1. Datadog Agent で、ログの収集はデフォルトで無効になっています。以下のように、datadog.yaml でこれを有効にする必要があります。

    logs_enabled: true

  2. Confluent Platform コンポーネントのログの収集を開始するには、次のコンフィギュレーションブロックを confluent_platform.d/conf.yaml ファイルに追加します。

      logs:
    - type: file
      path: <CONFLUENT_COMPONENT_PATH>/logs/*.log
      source: confluent_platform
      service: <SERVICE_NAME>
      log_processing_rules:
        - type: multi_line
          name: new_log_start_with_date
          pattern: \[\d{4}\-\d{2}\-\d{2}

    path パラメーターと service パラメーターの値を変更し、環境に合わせて構成してください。使用可能なすべてのコンフィギュレーションオプションの詳細については、confluent_platform.d/conf.yaml のサンプルを参照してください。

  3. Agent を再起動します。

メトリクスの収集

コンテナ環境の場合は、JMX を使用したオートディスカバリーのガイドを参照してください。

検証

Agent の status サブコマンドを実行し、JMXFetch セクションの confluent_platform を探します。

    ========
    JMXFetch
    ========

      Initialized checks
      ==================
        confluent_platform
          instance_name : confluent_platform-localhost-31006
          message :
          metric_count : 26
          service_check_count : 0
          status : OK

収集データ

メトリクス

イベント

Confluent Platform チェックには、イベントは含まれません。

サービスチェック

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。