Aurora マネージド Postgres の Database Monitoring のセットアップ
Database Monitoring は、クエリメトリクス、クエリサンプル、実行計画、データベースの状態、フェイルオーバー、イベントを公開することで、Postgres データベースを詳細に可視化します。
読み取り専用ユーザーとしてログインし、Agent でデータベースから直接テレメトリを収集します。Postgres データベースで Database Monitoring を有効にするには、以下のセットアップを実行します。
- データベースパラメーターを構成する
- Agent にデータベースへのアクセス権を付与する
- Agent をインストールし構成する
- RDS インテグレーションをインストールする
はじめに
- サポート対象の PostgreSQL バージョン
- 9.6、10、11、12、13、14、15、16、17
- サポート対象の Agent バージョン
- 7.36.1 以上
- パフォーマンスへの影響
- Database Monitoring のデフォルトの Agent 構成は保守的ですが、収集間隔やクエリのサンプリングレートなどの設定を調整することで、よりニーズに合ったものにすることができます。大半のワークロードで、Agent はデータベース上のクエリ実行時間の 1 % 未満、および CPU の 1 % 未満を占めています。
Database Monitoring は、ベースとなる Agent 上のインテグレーションとして動作します (ベンチマークを参照)。 - プロキシ、ロードバランサー、コネクションプーラー
- Datadog Agent は、モニター対象のホストに直接接続する必要があります。セルフホスト型のデータベースの場合は、
127.0.0.1 またはソケットを使用してください。Agent は、プロキシ、ロードバランサー、コネクションプーラー (pgbouncer など)、または Aurora クラスターエンドポイントを介してデータベースに接続すべきではありません。クラスターエンドポイントに接続されている場合、Agent はランダムな 1 つのレプリカからデータを収集し、そのレプリカの可視性だけを提供します。Agent が実行中に異なるホストに接続すると (フェイルオーバーやロードバランシングなどの場合)、Agent は 2 つのホスト間で統計情報の差を計算し、不正確なメトリクスを生成します。 - データセキュリティへの配慮
- Agent がお客様のデータベースからどのようなデータを収集するか、またそのデータの安全性をどのように確保しているかについては、機密情報 を参照してください。
Postgres 設定を構成する
DB パラメーターグループ に以下の パラメーター を構成し、サーバーを再起動すると設定が有効になります。これらのパラメーターの詳細については、Postgres ドキュメント を参照してください。
必須パラメーター
| パラメーター | 値 | 説明 |
|---|
shared_preload_libraries | pg_stat_statements | postgresql.queries.* メトリクスで必要です。pg_stat_statements 拡張機能を使用して、クエリメトリクスの収集を可能にします。Aurora では、デフォルトでオンです。 |
track_activity_query_size | 4096 | より大きなクエリを収集するために必要です。pg_stat_activity の SQL テキストのサイズを拡大します。デフォルト値のままにした場合、1024 文字を超えるクエリは収集されません。 |
オプションパラメーター
| パラメーター | 値 | 説明 |
|---|
pg_stat_statements.track | ALL | ストアドプロシージャや関数内のステートメントを追跡することができます。 |
pg_stat_statements.max | 10000 | pg_stat_statements で追跡する正規化されたクエリの数を増やします。多くの異なるクライアントからさまざまな種類のクエリが送信される大容量のデータベースに推奨されます。 |
pg_stat_statements.track_utility | off | PREPARE や EXPLAIN といったユーティリティコマンドを無効にします。この値を off に設定すると、SELECT、UPDATE、DELETE のようなクエリのみが追跡されます。 |
track_io_timing | on | クエリのブロックの読み取りおよび書き込み時間の収集を有効にします。 |
Agent にアクセスを付与する
Datadog Agent が統計やクエリを収集するためには、データベースサーバーへの読み取り専用のアクセスが必要となります。
Postgres が複製されている場合、以下の SQL コマンドはクラスター内のプライマリデータベースサーバー (ライター) で実行します。Agent は、接続しているデータベースにかかわらず、サーバー上のすべてのデータベースからテレメトリを収集できます。Agent で 別のデータベースに固有のデータに対するカスタムクエリ を実行する必要がない限り、デフォルトの postgres データベースを使用してください。
選択したデータベースに、スーパーユーザー (または十分な権限を持つほかのユーザー) として接続します。たとえば、psql を使用して postgres データベースに接続するには、次のようにします。
psql -h mydb.example.com -d postgres -U postgres
datadog ユーザーを作成します。
CREATE USER datadog WITH password '<PASSWORD>';
注: IAM 認証もサポートされています。Aurora インスタンスの場合の構成方法については、ガイド を参照してください。
すべてのデータベースに以下のスキーマを作成します。
CREATE SCHEMA datadog;
GRANT USAGE ON SCHEMA datadog TO datadog;
GRANT USAGE ON SCHEMA public TO datadog;
GRANT pg_monitor TO datadog;
CREATE EXTENSION IF NOT EXISTS pg_stat_statements;
すべてのデータベースに以下のスキーマを作成します。
CREATE SCHEMA datadog;
GRANT USAGE ON SCHEMA datadog TO datadog;
GRANT USAGE ON SCHEMA public TO datadog;
GRANT SELECT ON pg_stat_database TO datadog;
CREATE EXTENSION IF NOT EXISTS pg_stat_statements;
すべてのデータベースに関数を作成して、Agent が pg_stat_activity および pg_stat_statements の全コンテンツを読み込めるようにします。
CREATE OR REPLACE FUNCTION datadog.pg_stat_activity() RETURNS SETOF pg_stat_activity AS
$$ SELECT * FROM pg_catalog.pg_stat_activity; $$
LANGUAGE sql
SECURITY DEFINER;
CREATE OR REPLACE FUNCTION datadog.pg_stat_statements() RETURNS SETOF pg_stat_statements AS
$$ SELECT * FROM pg_stat_statements; $$
LANGUAGE sql
SECURITY DEFINER;
追加のテーブルをクエリする必要があるデータ収集または Custom Metrics の場合は、それらのテーブルの
SELECT 権限を
datadog ユーザーに付与する必要がある場合があります。例:
grant SELECT on <TABLE_NAME> to datadog;詳細については、
PostgreSQL Custom Metrics の収集を参照してください。
実行計画関数を作成する
Agent が実行計画を収集できるように、すべてのデータベースに次の関数を作成します。
CREATE OR REPLACE FUNCTION datadog.explain_statement(
l_query TEXT,
OUT explain JSON
)
RETURNS SETOF JSON AS
$$
DECLARE
curs REFCURSOR;
plan JSON;
BEGIN
SET TRANSACTION READ ONLY;
OPEN curs FOR EXECUTE pg_catalog.concat('EXPLAIN (FORMAT JSON) ', l_query);
FETCH curs INTO plan;
CLOSE curs;
RETURN QUERY SELECT plan;
END;
$$
LANGUAGE 'plpgsql'
RETURNS NULL ON NULL INPUT
SECURITY DEFINER;
パスワードを安全に保管する
Store your password using secret management software such as Vault. You can then reference this password as ENC[<SECRET_NAME>] in your Agent configuration files: for example, ENC[datadog_user_database_password]. See Secrets Management for more information.
The examples on this page use datadog_user_database_password to refer to the name of the secret where your password is stored. It is possible to reference your password in plain text, but this is not recommended.
データベースの権限を確認する
権限が正しく設定されていることを確認するために、次のコマンドを実行して、Agent ユーザーがデータベースに接続してコアテーブルを読み取れることを確認します。
psql -h localhost -U datadog postgres -A \
-c "select * from pg_stat_database limit 1;" \
&& echo -e "\e[0;32mPostgres connection - OK\e[0m" \
|| echo -e "\e[0;31mCannot connect to Postgres\e[0m"
psql -h localhost -U datadog postgres -A \
-c "select * from pg_stat_activity limit 1;" \
&& echo -e "\e[0;32mPostgres pg_stat_activity read OK\e[0m" \
|| echo -e "\e[0;31mCannot read from pg_stat_activity\e[0m"
psql -h localhost -U datadog postgres -A \
-c "select * from pg_stat_statements limit 1;" \
&& echo -e "\e[0;32mPostgres pg_stat_statements read OK\e[0m" \
|| echo -e "\e[0;31mCannot read from pg_stat_statements\e[0m"
psql -h localhost -U datadog postgres -A \
-c "select * from pg_stat_database limit 1;" \
&& echo -e "\e[0;32mPostgres connection - OK\e[0m" \
|| echo -e "\e[0;31mCannot connect to Postgres\e[0m"
psql -h localhost -U datadog postgres -A \
-c "select * from datadog.pg_stat_activity() limit 1;" \
&& echo -e "\e[0;32mPostgres pg_stat_activity read OK\e[0m" \
|| echo -e "\e[0;31mCannot read from pg_stat_activity\e[0m"
psql -h localhost -U datadog postgres -A \
-c "select * from datadog.pg_stat_statements() limit 1;" \
&& echo -e "\e[0;32mPostgres pg_stat_statements read OK\e[0m" \
|| echo -e "\e[0;31mCannot read from pg_stat_statements\e[0m"
パスワードの入力を求められた場合は、datadog ユーザーを作成したときに入力したパスワードを使用してください。
Aurora ホストをモニターするには、インフラストラクチャーに Datadog Agent をインストールし、各インスタンスのエンドポイントにリモートで接続するよう構成します。Agent はデータベース上で動作する必要はなく、データベースに接続するだけで構いません。ここに記載されていない、Agent のその他のインストール方法については、Agent インストール手順 を参照してください。
Autodiscovery のセットアップ (推奨)
Datadog Agent は、クラスター内のすべての Aurora エンドポイントの Autodiscovery をサポートしています。
インスタンスごとに異なる構成が必要な場合や、Aurora エンドポイントを手動で指定したい場合は、以下の手動セットアップに関するセクションの手順に従ってください。
それ以外の場合は、Aurora DB クラスターの Autodiscovery セットアップ手順 を使用することをお勧めします。
ホスト上で実行されている Agent の Database Monitoring メトリクスの収集を構成するには、次の手順に従ってください。(Agent で Aurora データベースからメトリクスを収集するために小規模な EC2 インスタンスをプロビジョニングする場合など)
postgres.d/conf.yaml ファイルを編集して、host/port を指定し、モニターするマスターを設定します。使用可能なすべての構成オプションについては、サンプルの postgres.d/conf.yaml を参照してください。
init_config:
instances:
- dbm: true
host: '<AWS_INSTANCE_ENDPOINT>'
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
aws:
instance_endpoint: '<AWS_INSTANCE_ENDPOINT>'
region: '<REGION>'
## Optional: Connect to a different database if needed for `custom_queries`
# dbname: '<DB_NAME>'
ここでは、クラスターのエンドポイントではなく、Aurora インスタンスのエンドポイントを使用してください。
- Agent を再起動 します。
ECS や Fargate のような Docker コンテナで実行されている Agent に対してインテグレーションを構成するには、いくつかの方法があり、すべて Docker 構成ドキュメント で詳しく説明されています。
次の例では、Docker ラベル と Autodiscovery テンプレート を使用して Postgres インテグレーションを構成する方法を示しています。
注: Autodiscovery によるラベルの検出を有効にするには、Agent が Docker ソケットの読み取り権限を持っている必要があります。
コマンドライン
コマンドライン から次のコマンドを実行して Agent を起動します。プレースホルダーの値は、ご使用のアカウントと環境の値に置き換えてください。
export DD_API_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
export DD_AGENT_VERSION=<AGENT_VERSION>
docker run -e "DD_API_KEY=${DD_API_KEY}" \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
-l com.datadoghq.ad.checks='{"postgres": {
"init_config": {},
"instances": [{
"dbm": true,
"host": "<AWS_INSTANCE_ENDPOINT>",
"port": 5432,
"username": "datadog",
"password": "<UNIQUEPASSWORD>",
"aws": {
"instance_endpoint": "<AWS_INSTANCE_ENDPOINT>",
"region": "<REGION>"
},
"tags": ["dbinstanceidentifier:<DB_INSTANCE_NAME>"]
}]
}}' \
registry.datadoghq.com/agent:${DD_AGENT_VERSION}
Postgres 9.6 の場合、ホストとポートが指定されているインスタンス構成に次の設定を追加します。
"pg_stat_statements_view": "datadog.pg_stat_statements()",
"pg_stat_activity_view": "datadog.pg_stat_activity()"
Dockerfile
Dockerfile 内でラベルを指定することもできます。これにより、インフラストラクチャー構成を変更することなくカスタムの Agent を構築してデプロイできます。
FROM registry.datadoghq.com/agent:<AGENT_VERSION>
LABEL "com.datadoghq.ad.check_names"='["postgres"]'
LABEL "com.datadoghq.ad.init_configs"='[{}]'
LABEL "com.datadoghq.ad.instances"='[{"dbm": true, "host": "<AWS_INSTANCE_ENDPOINT>", "port": 5432,"username": "datadog","password": "ENC[datadog_user_database_password]","aws": {"instance_endpoint": "<AWS_INSTANCE_ENDPOINT>", "region": "<REGION>"}, "tags": ["dbinstanceidentifier:<DB_INSTANCE_NAME>"]}]'
Postgres 9.6 の場合、ホストとポートが指定されているインスタンス構成に次の設定を追加します。
"pg_stat_statements_view": "datadog.pg_stat_statements()",
"pg_stat_activity_view": "datadog.pg_stat_activity()"
datadog ユーザーのパスワードがプレーンテキストで公開されることがないようにするために、Agent の シークレット管理パッケージ を使用し、ENC[] 構文でパスワードを宣言します。または、Autodiscovery テンプレート変数のドキュメント を参照して、パスワードを環境変数として渡すこともできます。
Kubernetes クラスターを実行している場合は、Datadog Cluster Agent を使用して Database Monitoring を有効にしてください。
注: 続行する前に、Datadog Cluster Agent の クラスターチェック が有効になっていることを確認してください。
以下は、Datadog Cluster Agent のさまざまなデプロイ方法を使用して Postgres インテグレーションを構成するための手順です。
Operator
Kubernetesと Integrations の Operator 手順 を参照し、次の手順に従って Postgres インテグレーションを設定します。
次の構成で datadog-agent.yaml ファイルを作成または更新します。
apiVersion: datadoghq.com/v2alpha1
kind: DatadogAgent
metadata:
name: datadog
spec:
global:
clusterName: <CLUSTER_NAME>
site: <DD_SITE>
credentials:
apiSecret:
secretName: datadog-agent-secret
keyName: api-key
features:
clusterChecks:
enabled: true
override:
nodeAgent:
image:
name: agent
tag: <AGENT_VERSION>
clusterAgent:
extraConfd:
configDataMap:
postgres.yaml: |-
cluster_check: true
init_config:
instances:
- host: <AWS_INSTANCE_ENDPOINT>
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
dbm: true
aws:
instance_endpoint: <AWS_INSTANCE_ENDPOINT>
region: <REGION>
tags:
- "dbinstanceidentifier:<DB_INSTANCE_NAME>"
Note: For Postgres 9.6, add the following lines to the instance config where host and port are specified:
pg_stat_statements_view: datadog.pg_stat_statements()
pg_stat_activity_view: datadog.pg_stat_activity()
次のコマンドを使用して Datadog Operator に変更を適用します。
kubectl apply -f datadog-agent.yaml
Helm
Kubernetes と Integrations の Helm 手順 を参照し、次の手順に従って Postgres インテグレーションを設定します。
Cluster Agent インストール手順で使用した datadog-values.yaml ファイルを、次の構成で更新します。
datadog:
clusterChecks:
enabled: true
clusterChecksRunner:
enabled: true
clusterAgent:
enabled: true
confd:
postgres.yaml: |-
cluster_check: true
init_config:
instances:
- dbm: true
host: <AWS_INSTANCE_ENDPOINT>
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
aws:
instance_endpoint: <AWS_INSTANCE_ENDPOINT>
region: <REGION>
tags:
- "dbinstanceidentifier:<DB_INSTANCE_NAME>"
Note: For Postgres 9.6, add the following lines to the instance config where host and port are specified:
pg_stat_statements_view: datadog.pg_stat_statements()
pg_stat_activity_view: datadog.pg_stat_activity()
上記の構成ファイルを使用し、次のコマンドで Agent をデプロイします。
helm install datadog-agent -f datadog-values.yaml datadog/datadog
Windows の場合は、 --set targetSystem=windows を helm install コマンドに追加します。
マウントされた構成ファイルを使用してクラスターチェックを構成するには、構成ファイルを Cluster Agent コンテナのパス /conf.d/postgres.yaml にマウントします。
cluster_check: true # Make sure to include this flag
init_config:
instances:
- dbm: true
host: '<AWS_INSTANCE_ENDPOINT>'
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
aws:
instance_endpoint: <AWS_INSTANCE_ENDPOINT>
region: <REGION>
tags:
- "dbinstanceidentifier:<DB_INSTANCE_NAME>"
ファイルをマウントする代わりに、インスタンス構成を Kubernetes サービスとして宣言できます。Kubernetes 上で実行されている Agent に対してこのチェックを構成するには、次の構文を使用してサービスを作成します。
Autodiscovery アノテーション v2
apiVersion: v1
kind: Service
metadata:
name: postgres
labels:
tags.datadoghq.com/env: '<ENV>'
tags.datadoghq.com/service: '<SERVICE>'
annotations:
ad.datadoghq.com/service.checks: |
{
"postgres": {
"init_config": <INIT_CONFIG>,
"instances": [
{
"dbm": true,
"host": "<AWS_INSTANCE_ENDPOINT>",
"port": 5432,
"username": "datadog",
"password": "ENC[datadog_user_database_password]",
"aws": {
"instance_endpoint": "<AWS_INSTANCE_ENDPOINT>",
"region": "<REGION>"
},
"tags": [
"dbinstanceidentifier:<DB_INSTANCE_NAME>"
]
}
]
}
}
spec:
ports:
- port: 5432
protocol: TCP
targetPort: 5432
name: postgres
詳細については、Autodiscovery アノテーション を参照してください。
Postgres 9.6 を使用している場合は、インスタンス構成に次の内容を追加します。
"pg_stat_statements_view": "datadog.pg_stat_statements()",
"pg_stat_activity_view": "datadog.pg_stat_activity()"
Cluster Agent は自動的にこの構成を登録し、Postgres チェックを開始します。
datadog ユーザーのパスワードがプレーンテキストで公開されることがないようにするために、Agent の シークレット管理パッケージ を使用し、ENC[] 構文でパスワードを宣言します。
Agent の設定を確認する
Agent の status サブコマンドを実行 し、[Checks] セクションに postgres があることを確認します。または、データベース ページにアクセスして開始することもできます。
Agent の構成例
One agent connecting to multiple hosts
It is common to configure a single Agent host to connect to multiple remote database instances (see Agent installation architectures for DBM). To connect to multiple hosts, create an entry for each host in the Postgres integration config.
Datadog recommends using one Agent to monitor no more than 30 database instances.
Benchmarks show that one Agent running on a t4g.medium EC2 instance (2 CPUs and 4GB of RAM) can successfully monitor 30 RDS db.t3.medium instances (2 CPUs and 4GB of RAM).
init_config:
instances:
- dbm: true
host: example-service-primary.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
tags:
- 'env:prod'
- 'team:team-discovery'
- 'service:example-service'
- dbm: true
host: example-service–replica-1.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
tags:
- 'env:prod'
- 'team:team-discovery'
- 'service:example-service'
- dbm: true
host: example-service–replica-2.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
tags:
- 'env:prod'
- 'team:team-discovery'
- 'service:example-service'
[...]
Monitoring multiple databases on a database host
Use the database_autodiscovery option to permit the Agent to discover all databases on your host to monitor. You can specify include or exclude fields to narrow the scope of databases discovered. See the sample postgres.d/conf.yaml for more details.
init_config:
instances:
- dbm: true
host: example-service-primary.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
database_autodiscovery:
enabled: true
# Optionally, set the include field to specify
# a set of databases you are interested in discovering
include:
- mydb.*
- example.*
tags:
- 'env:prod'
- 'team:team-discovery'
- 'service:example-service'
Running custom queries
To collect custom metrics, use the custom_queries option. See the sample postgres.d/conf.yaml for more details.
init_config:
instances:
- dbm: true
host: localhost
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
custom_queries:
- metric_prefix: employee
query: SELECT age, salary, hours_worked, name FROM hr.employees;
columns:
- name: custom.employee_age
type: gauge
- name: custom.employee_salary
type: gauge
- name: custom.employee_hours
type: count
- name: name
type: tag
tags:
- 'table:employees'
Monitoring relation metrics for multiple databases
In order to collect relation metrics (such as postgresql.seq_scans, postgresql.dead_rows, postgresql.index_rows_read, and postgresql.table_size), the Agent must be configured to connect to each database (by default, the Agent only connects to the postgres database).
Specify a single “DBM” instance to collect DBM telemetry from all databases. Use the database_autodiscovery option to avoid specifying each database name.
init_config:
instances:
# This instance is the "DBM" instance. It will connect to the
# all logical databases, and send DBM telemetry from all databases
- dbm: true
host: example-service-primary.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
database_autodiscovery:
enabled: true
exclude:
- ^users$
- ^inventory$
relations:
- relation_regex: .*
# This instance only collects data from the `users` database
# and collects relation metrics from tables prefixed by "2022_"
- host: example-service-primary.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
dbname: users
dbstrict: true
relations:
- relation_regex: 2022_.*
relkind:
- r
- i
# This instance only collects data from the `inventory` database
# and collects relation metrics only from the specified tables
- host: example-service-primary.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
dbname: inventory
dbstrict: true
relations:
- relation_name: products
- relation_name: external_seller_products
Collecting schemas
To enable this feature, use the collect_schemas option. You must also configure the Agent to connect to each logical database.
Use the database_autodiscovery option to avoid specifying each logical database. See the sample postgres.d/conf.yaml for more details.
init_config:
# This instance only collects data from the `users` database
# and collects relation metrics only from the specified tables
instances:
- dbm: true
host: example-service-primary.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
dbname: users
dbstrict: true
collect_schemas:
enabled: true
relations:
- products
- external_seller_products
# This instance detects every logical database automatically
# and collects relation metrics from every table
- dbm: true
host: example-service–replica-1.example-host.com
port: 5432
username: datadog
password: 'ENC[datadog_user_database_password]'
database_autodiscovery:
enabled: true
collect_schemas:
enabled: true
relations:
- relation_regex: .*
Working with hosts through a proxy
If the Agent must connect through a proxy such as the Cloud SQL Auth proxy, all telemetry is tagged with the hostname of the proxy rather than the database instance. Use the reported_hostname option to set a custom override of the hostname detected by the Agent.
init_config:
instances:
- dbm: true
host: localhost
port: 5000
username: datadog
password: 'ENC[datadog_user_database_password]'
reported_hostname: example-service-primary
- dbm: true
host: localhost
port: 5001
username: datadog
password: 'ENC[datadog_user_database_password]'
reported_hostname: example-service-replica-1
RDS インテグレーションをインストールする
DBM でデータベースのテレメトリとともに CPU などの AWS からのインフラストラクチャーメトリクスを直接確認するには、RDS インテグレーション をインストールします (オプション)。
トラブルシューティング
インテグレーションと Agent を手順どおりにインストールおよび構成しても期待通りに動作しない場合は、トラブルシューティング を参照してください。
参考資料