AWS サービスのログは、Datadog Forwarder Lambda 関数を使用して収集できます。この Lambda は、S3 バケット、CloudWatch ロググループ、および EventBridge イベントでトリガーされ、ログを Datadog に転送します。

AWS サービスからログの収集を開始するには

1. AWS アカウントで Datadog Forwarder Lambda 関数 をセットアップします。 AWS サービスで 2. Enable logging します (ほとんどの AWS サービスは、S3 バケットまたは CloudWatch ロググループにログを記録できます)。 新しいログがある場合に、Forwarder Lambda を実行させる 3. Set up the triggers します。トリガーを設定する方法は 2 つあります。

注:

• AWS PrivateLink を使用して、プライベート接続経由でログを送信できます。
• CloudFormation はすべてのリソースに対して KMS:Decrypt を含む IAM ポリシーを作成し、AWS Security Hub のベストプラクティスに沿っていません。この権限は、Lambda 関数をセットアップするために KMS で暗号化された S3 バケットからオブジェクトを復号化するために使用され、S3 バケットを暗号化するために使用される KMS キーは予測できません。インストールが正常に完了した後、この権限は安全に削除できます。

AWS サービスのログを有効にします

S3 バケットまたは CloudWatch ロググループにログを生成する任意の AWS サービスがサポートされています。最も使用されるサービスのためのセットアップ手順を以下のテーブルに示します。

トリガーの設定

Datadog Forwarder Lambda 関数でトリガーを構成する場合、オプションは 2 つあります。

• Automatically: Datadog は選択した AWS サービスのログの場所を自動的に取得し、Datadog Forwarder Lambda 関数にトリガーとして追加します。Datadog はリストを常に最新の状態に保ちます。
• Manually: 各トリガーを自分で設定します。

トリガーを自動的に設定する

Datadog は、AWS ログを収集するために Datadog Forwarder Lambda 関数にトリガーを自動的に構成することができます。ただし、自動サブスクリプションは異なる AWS アカウントやリージョンにまたがるトリガーの作成をサポートしていません。ログが別のアカウントの S3 バケットに公開されるシナリオでは、この制限に対する対応策として、バケットと同じアカウントで手動でトリガーを作成することをお勧めします。

以下のソースと場所がサポートされています。

注: サブスクリプション フィルター は、Datadog Forwarder によって CloudWatch ロググループに自動的に作成され、DD_LOG_SUBSCRIPTION_FILTER_<LOG_GROUP_NAME> の形式で名前が付けられます。

1. まだセットアップしていない場合、Datadog のログ収集用 AWS Lambda 関数 をセットアップしてください。

2. Datadog-AWS インテグレーション に使用される IAM ロールのポリシーに、以下の権限があることを確認してください。これらの権限がどのように使用されるかについての情報は、以下の説明にあります。

   "airflow:GetEnvironment",
   "airflow:ListEnvironments",
   "appsync:ListGraphqlApis",
   "batch:DescribeJobDefinitions",
   "cloudfront:GetDistributionConfig",
   "cloudfront:ListDistributions",
   "cloudtrail:GetTrail",
   "cloudtrail:ListTrails",
   "codebuild:BatchGetProjects",
   "codebuild:ListProjects",
   "dms:DescribeReplicationInstances",
   "ec2:DescribeFlowLogs",
   "ec2:DescribeVerifiedAccessInstanceLoggingConfigurations",
   "ec2:DescribeVpnConnections",
   "ecs:DescribeTaskDefinition",
   "ecs:ListTaskDefinitionFamilies",
   "eks:DescribeCluster",
   "eks:ListClusters",
   "elasticloadbalancing:DescribeLoadBalancerAttributes",
   "elasticloadbalancing:DescribeLoadBalancers",
   "glue:BatchGetJobs",
   "glue:GetJobs",
   "glue:GetJob",
   "glue:ListJobs",
   "iot:GetV2LoggingOptions",
   "lambda:GetPolicy",
   "lambda:InvokeFunction",
   "lambda:List*",
   "logs:DeleteSubscriptionFilter",
   "logs:DescribeDeliveries",
   "logs:DescribeDeliverySources",
   "logs:DescribeLogGroups",
   "logs:DescribeSubscriptionFilters",
   "logs:GetDeliveryDestination",
   "logs:PutSubscriptionFilter",
   "network-firewall:DescribeLoggingConfiguration",
   "network-firewall:ListFirewalls",
   "rds:DescribeDBClusters",
   "rds:DescribeDBInstances",
   "redshift-serverless:ListNamespaces",
   "redshift:DescribeClusters",
   "redshift:DescribeLoggingStatus",
   "route53:ListQueryLoggingConfigs",
   "route53resolver:ListResolverQueryLogConfigs",
   "s3:GetBucketLocation",
   "s3:GetBucketLogging",
   "s3:GetBucketNotification",
   "s3:ListAllMyBuckets",
   "s3:PutBucketNotification",
   "ssm:GetServiceSetting",
   "ssm:ListCommands",
   "states:DescribeStateMachine",
   "states:ListStateMachines",
   "wafv2:ListLoggingConfigurations"
   

   AWS Permission	Description
   airflow:ListEnvironments	List all MWAA environment names.
   airflow:GetEnvironment	Get information about a MWAA environment.
   appsync:ListGraphqlApis	List all GraphQL Apis.
   batch:DescribeJobDefinitions	List all Batch job definitions.
   cloudfront:GetDistributionConfig	Get the name of the S3 bucket containing CloudFront access logs.
   cloudfront:ListDistributions	List all CloudFront distributions.
   cloudtrail:GetTrail	Get Trail logging information.
   cloudtrail:ListTrails	List all Cloudtrail trails.
   codebuild:BatchGetProjects	List all CodeBuild projects.
   codebuild:ListProjects	Get information on CodeBuild projects.
   dms:DescribeReplicationInstances	List all replication instances for DMS.
   ec2:DescribeFlowLogs	List all Flow log configurations.
   ec2:DescribeVerifiedAccessInstanceLoggingConfigurations	List all Verified Access instance logging configurations.
   ec2:DescribeVpnConnections	List all VPN connections.
   ecs:DescribeTaskDefinition	Describe ECS task definition.
   ecs:ListTaskDefinitionFamilies	List all task definition families.
   elasticloadbalancing: DescribeLoadBalancers	List all load balancers.
   elasticloadbalancing: DescribeLoadBalancerAttributes	Get the name of the S3 bucket containing ELB access logs.
   glue:BatchGetJobs	Get information about multiple Glue jobs.
   glue:GetJob	Get information about a Glue job.
   glue:GetJobs	List all Glue jobs.
   glue:ListJobs	List all Glue job names.
   eks:DescribeCluster	Describe an EKS cluster.
   eks:ListClusters	List all EKS clusters.
   iot:GetV2LoggingOptions	Get IoT V2 logging options.
   lambda:InvokeFunction	Invoke a Lambda function.
   lambda:List*	List all Lambda functions.
   lambda:GetPolicy	Get the Lambda policy when triggers are to be removed.
   logs:PutSubscriptionFilter	Add a Lambda trigger based on CloudWatch Log events.
   logs:DeleteSubscriptionFilter	Remove a Lambda trigger based on CloudWatch Log events.
   logs:DescribeLogGroups	Describe CloudWatch log groups.
   logs:DescribeDeliveries	Describe CloudWatch log deliveries.
   logs:DescribeDeliverySources	Describe CloudWatch log delivery sources.
   logs:DescribeSubscriptionFilters	List the subscription filters for the specified log group.
   logs:GetDeliveryDestination	Get a CloudWatch log delivery destination.
   network-firewall:DescribeLoggingConfiguration	Get the logging configuration of a firewall.
   network-firewall:ListFirewalls	List all Network Firewall firewalls.
   rds:DescribeDBClusters	List all RDS clusters.
   rds:DescribeDBInstances	List all RDS instances.
   redshift:DescribeClusters	List all Redshift clusters.
   redshift:DescribeLoggingStatus	Get the name of the S3 bucket containing Redshift Logs.
   redshift-serverless:ListNamespaces	List all Redshift Serverless namespaces.
   route53:ListQueryLoggingConfigs	List all DNS query logging configurations for Route 53.
   route53resolver:ListResolverQueryLogConfigs	List all Resolver query logging configurations for Route 53.
   s3:GetBucketLogging	Get the name of the S3 bucket containing S3 access logs.
   s3:GetBucketLocation	Get the region of the S3 bucket containing S3 access logs.
   s3:GetBucketNotification	Get existing Lambda trigger configurations.
   s3:ListAllMyBuckets	List all S3 buckets.
   s3:PutBucketNotification	Add or remove a Lambda trigger based on S3 bucket events.
   ssm:GetServiceSetting	Get the SSM service setting for customer script log group name.
   ssm:ListCommands	List all SSM commands.
   states:ListStateMachines	List all Step Functions.
   states:DescribeStateMachine	Get logging details about a Step Function.
   wafv2:ListLoggingConfigurations	List all logging configurations of the Web Application Firewall.

3. AWS インテグレーション ページ で、ログを収集する AWS アカウントを選択し、[Log Collection] (ログ収集) タブをクリックします。

4. [Datadog Forwarder Lambda] セクションで、前のセクションで作成した Lambda の ARN を入力し、[Add] (追加) をクリックします。Lambda 関数は、名前、バージョン、およびリージョンとともに下のテーブルに表示されます。

5. [Log Autosubscription] (ログ自動サブスクリプション) セクションで、[Log Sources] (ログソース) の下に、ログを収集したいサービスをトグルして有効にします。特定のサービスからのログ収集を停止するには、ログソースをオフにします。

6. (オプション) [Log Source Tag Filters] (ログソースタグフィルター) セクションで、各ログソースのリソースタグによってログ収集をフィルタリングできます。ドロップダウンメニューからログソースを選択し、key:value 形式でタグを追加して、収集するリソースのログを制限します。注: リソースタグは、Datadog プラットフォームの規約に合わせて自動的に小文字に変換されます。不一致を避けるため、タグフィルターは小文字で定義してください。

7. 複数のリージョンにログがある場合は、そのリージョンに追加の Lambda 関数を作成し、[Datadog Forwarder Lambda] セクションに追加する必要があります。

8. 特定の Lambda 関数からすべての AWS ログの収集を停止するには、テーブル内の Lambda にカーソルを合わせて削除アイコンをクリックします。その関数のすべてのトリガーが削除されます。

9. この初期のセットアップから数分以内に、AWS ログが Datadog Log エクスプローラー に表示されるようになります。

手動でトリガーをセットアップする

CloudWatch ロググループからログを収集する

CloudWatch ロググループからログを収集している場合、以下のいずれかの方法で Datadog Forwarder Lambda 関数 へのトリガーを構成します。

data "aws_cloudwatch_log_group" "some_log_group" {
  name = "/some/log/group"
}

resource "aws_lambda_permission" "lambda_permission" {
  action        = "lambda:InvokeFunction"
  function_name = "datadog-forwarder" # this is the default but may be different in your case
  principal     = "logs.amazonaws.com" # or logs.amazonaws.com.cn for China*
  source_arn    = data.aws_cloudwatch_log_group.some_log_group.arn
}

resource "aws_cloudwatch_log_subscription_filter" "datadog_log_subscription_filter" {
  name            = "datadog_log_subscription_filter"
  log_group_name  = <CLOUDWATCH_LOG_GROUP_NAME> # for example, /some/log/group
  destination_arn = <DATADOG_FORWARDER_ARN> # for example,  arn:aws:lambda:us-east-1:123:function:datadog-forwarder
  filter_pattern  = ""
}

Resources:
  MyLogSubscriptionFilter:
    Type: "AWS::Logs::SubscriptionFilter"
    Properties:
      DestinationArn: "<DATADOG_FORWARDER_ARN>"
      LogGroupName: "<CLOUDWATCH_LOG_GROUP_NAME>"
      FilterPattern: ""

S3 バケットからログを収集する

S3 バケットからログを収集している場合、以下のいずれかの方法で Datadog Forwarder Lambda 関数 へのトリガーを構成します。

resource "aws_s3_bucket_notification" "my_bucket_notification" {
  bucket = my_bucket
  lambda_function {
    lambda_function_arn = "<DATADOG_FORWARDER_ARN>"
    events              = ["s3:ObjectCreated:*"]
    filter_prefix       = "AWSLogs/"
    filter_suffix       = ".log"
  }
}

Resources:
  Bucket:
    Type: AWS::S3::Bucket
    Properties:
      BucketName: "<MY_BUCKET>"
      NotificationConfiguration:
        LambdaConfigurations:
        - Event: 's3:ObjectCreated:*'
          Function: "<DATADOG_FORWARDER_ARN>"

スクラビングとフィルタリング

Lambda 関数から送信されるログに対して、メールアドレスや IP アドレスをスクラビングでき、Lambda パラメーター でカスタムのスクラビングルールを定義することもできます。 フィルタリング機能 を使用して、特定のパターンに一致するログを除外したり、一致するログだけを送信したりすることもできます。

参考資料

お役に立つドキュメント、リンクや記事:

ログの調査方法ドキュメント ログ分析の実行ドキュメント ログの処理方法ドキュメント データ転送料金を削減しながら Datadog にログを送信する方法ガイド AWS ログを送信するラーニングセンター