Mise en place

Configurez Storage Management pour Amazon S3 avec l’une des méthodes suivantes :

• CloudFormation : Une configuration guidée dans le produit qui configure l’intégration AWS, active S3 Inventory sur les buckets que vous sélectionnez, et active éventuellement les journaux d’accès S3. Une pile CloudFormation applique les modifications à votre compte AWS.
• Terraform : Utilisez le module Terraform officiel de Datadog Storage Management pour configurer l’inventaire et les journaux d’accès en tant que code.
• Manuel : Configurez vous-même S3 Inventory et les autorisations requises dans la console AWS, puis enregistrez la destination d’inventaire avec Storage Management.

provider "aws" {
  region = "<AWS_REGION>"
}

provider "datadog" {
  # Configure with environment variables:
  #   DD_API_KEY, DD_APP_KEY, DD_SITE
}

module "datadog_storage_management" {
  source = "DataDog/storage-management/aws"

  name                              = "<MODULE_NAME>"
  datadog_aws_integration_role_name = "<DATADOG_AWS_INTEGRATION_ROLE_NAME>"
  source_bucket_names               = ["<SOURCE_BUCKET_1>", "<SOURCE_BUCKET_2>"]
  destination_bucket_name           = "<DESTINATION_BUCKET_NAME>"

  # Bucket policy: "none", "create", or "merge" (default)
  destination_bucket_policy_management = "merge"

  # Optional: Enable S3 access logs for prefix-level request and latency metrics
  enable_access_logging           = true
  datadog_forwarder_function_name = "<DATADOG_FORWARDER_FUNCTION_NAME>"
}

curl -X PUT "https://api.${DD_SITE}/api/v2/cloudinventoryservice/syncconfigs" \
  -H "Accept: application/json" \
  -H "Content-Type: application/json" \
  -H "DD-API-KEY: ${DD_API_KEY}" \
  -H "DD-APPLICATION-KEY: ${DD_APP_KEY}" \
  -d '{
    "data": {
      "id": "aws",
      "type": "cloud_provider",
      "attributes": {
        "aws": {
          "aws_account_id": "<AWS_ACCOUNT_ID>",
          "destination_bucket_name": "<DESTINATION_BUCKET_NAME>",
          "destination_bucket_region": "<DESTINATION_BUCKET_REGION>",
          "destination_prefix": "<DESTINATION_PREFIX>"
        }
      }
    }
  }'

Validation

Pour vérifier votre configuration :

1. Attendez que le premier rapport d’inventaire soit généré (jusqu’à 24 heures pour les inventaires quotidiens).
2. Accédez à Infrastructure > Gestion du stockage pour voir si les compartiments que vous avez configurés apparaissent dans la liste de l’explorateur lorsque Compartiments surveillés est sélectionné.

Meilleures pratiques

Suivez ces meilleures pratiques pour optimiser la configuration de la gestion du stockage :

• Configurez des politiques de cycle de vie pour les compartiments de destination d’inventaire : Les rapports d’inventaire S3 sont générés quotidiennement et stockés dans votre compartiment de destination. Pour éviter que les anciens fichiers d’inventaire ne s’accumulent et n’entraînent des coûts de stockage, ajoutez une politique de cycle de vie pour supprimer automatiquement les rapports d’inventaire de plus de trois jours.

• Configurez des politiques de cycle de vie pour les journaux d’accès S3 : Si vous avez activé les journaux d’accès S3 pour les métriques de requêtes au niveau du préfixe, les fichiers journaux bruts s’accumulent dans votre compartiment de destination. Après que ces journaux ont été transférés à Datadog, les fichiers bruts ne sont plus nécessaires à des fins de gestion du stockage. Pour supprimer automatiquement les fichiers journaux d’accès après les avoir transférés à Datadog, ajoutez une règle de cycle de vie.

  Remarque : Avant d’activer la suppression automatique, vérifiez qu’il n’y a pas d’exigences de conformité ou d’audit dans votre organisation qui imposent de conserver les journaux d’accès S3 bruts pendant une période spécifique.

• Créez des filtres d’exclusion pour les journaux d’accès S3 : Si les journaux d’accès S3 sont transférés à Datadog uniquement pour la gestion du stockage et n’ont pas besoin d’être indexés pour la recherche ou l’analyse, ajoutez un filtre d’exclusion pour les exclure du volume de journaux indexés.

Dépannage

Si vous ne voyez pas de données pour les compartiments que vous avez configurés pour la gestion du stockage, utilisez la page Paramètres de gestion du stockage pour voir tous les compartiments configurés, leur statut d’inventaire et les erreurs de configuration éventuelles. La page met en évidence les problèmes avec des étapes de remédiation exploitables. Si vous avez des questions, contactez Datadog.

Identifiez et agissez sur les économies de coûts avec Bits Chat

Les équipes FinOps et d’ingénierie peuvent utiliser Bits Chat et la gestion du stockage pour identifier les opportunités d’économies de coûts S3, générer des rapports dans Datadog Notebooks et mettre en œuvre les changements recommandés. Pour utiliser Bits Chat avec la gestion du stockage, activez la compétence storage dans les paramètres de Bits Chat.

Avec la compétence storage activée pour Bits Chat, vous pouvez :

• Trouvez les plus grandes opportunités d’économies : Posez des questions en langage naturel pour faire ressortir les préfixes, classes de stockage ou compartiments ayant le plus grand impact où des changements de cycle de vie réduiraient le plus les coûts.
• Créer des rapports via Notebooks : Générez un Notebook Datadog résumant les résultats, les économies estimées et les actions recommandées pour que votre équipe puisse les examiner et les partager.
• Mettre en œuvre des changements : Obtenez des conseils étape par étape avec Bits Code pour appliquer des politiques de cycle de vie, transférer des objets vers des niveaux de stockage moins chers ou expirer les versions non actuelles dans les préfixes ayant le plus grand potentiel d’économies.

Visualisez l’utilisation granulaire de S3 avec des métriques d’inventaire

Un modèle de tableau de bord Gestion du stockage S3 prêt à l’emploi est disponible pour vous aider à visualiser les métriques ci-dessous. Vous pouvez le cloner et le personnaliser selon vos besoins.

*prefixN fait référence aux niveaux de préfixe tels que prefix0, prefix1, prefix2, etc.

Remarque : Utilisez la bonne métrique pour la question à laquelle vous répondez :

• aws.s3.inventory.prefix_object_count et aws.s3.inventory.total_prefix_size (avec le tag prefix) incluent tout ce qui se trouve dans un dossier et tous ses sous-dossiers. Utilisez ceux-ci lorsque vous souhaitez obtenir le nombre total ou la taille d’un dossier spécifique (par exemple, « combien y a-t-il dans logs/2024/ ?»).
• aws.s3.inventory.prefix_object_count.levels et aws.s3.inventory.total_prefix_size.levels (avec prefix1, prefix2, prefix3, etc.) comptent ou mesurent des objets uniquement à cette profondeur exacte. Utilisez ceux-ci lorsque vous souhaitez construire une carte arborescente ou comparer les tailles de dossiers à travers les niveaux (par exemple, « quels dossiers de premier niveau sont les plus grands ?»).

Remarque : Pour une surveillance et une visualisation les plus précises, incluez toutes les versions d’objet pour voir les recommandations ou métriques d’objets non actuels.

Agissez sur les optimisations avec les recommandations de gestion du stockage

Storage Management analyse vos données d’inventaire et vos journaux d’accès pour faire ressortir des recommandations au niveau des préfixes en vue de réduire les coûts de stockage S3. Ces recommandations sont disponibles pour tous les clients de Storage Management. Les économies potentielles sont estimées en utilisant les prix de liste AWS. Si vous avez Cloud Cost Management activé, les recommandations apparaissent également dans Cloud Cost Recommendations, et vous pouvez suivre les économies réelles issues des optimisations.

Les recommandations sont exécutées quotidiennement et sont automatiquement mises à jour dans votre compte dès que les recommandations sont publiées.

Conditions préalables

Voir les recommandations a les conditions préalables suivantes :

1. Configurez les buckets S3 pour Storage Management en suivant les étapes ci-dessus sur cette page.
2. Pour voir les recommandations pour déplacer les données rarement accessibles vers des niveaux moins chers par préfixe, activez et transférez les journaux d’accès S3 à Datadog (des frais de Datadog Log Management s’appliquent).
3. Pour voir les recommandations pour identifier les versions non actuelles dans les préfixes, incluez « All versions » dans la configuration de l’inventaire S3.

Recommandations disponibles

• Transférez les données S3 non accessibles dans le préfixe vers Infrequent Access.

• Faites expirer les anciens objets de version non courante dans le préfixe du bucket S3.

• Consolidez les petits fichiers dans le préfixe pour minimiser les coûts de stockage par objet.