Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Mode de comptabilisation des jetons dans Amazon Bedrock
Lorsque vous exécutez l’inférence de modèle, le nombre de jetons pouvant être traités est soumis à des quotas en fonction du modèle Amazon Bedrock que vous utilisez. Consultez la terminologie suivante relative aux quotas de jetons :
| Durée | Définition |
|---|---|
InputTokenCount |
Le CloudWatch Métrique d'exécution Amazon Bedrock qui représente le nombre de jetons d'entrée traités par le modèle, à l'exclusion des jetons mis en cache. Pour déterminer votre consommation totale de jetons d'entrée par rapport à votre quota, additionnez InputTokenCount + CacheWriteInputTokenCount. |
OutputTokenCount |
Le CloudWatch Métrique d'exécution Amazon Bedrock qui représente le nombre de jetons générés par le modèle en réponse à une demande. |
CacheReadInputTokenCount |
Le CloudWatch Métrique d'exécution Amazon Bedrock qui représente le nombre de jetons d'entrée qui ont été extraits avec succès d'un cache au lieu d'être retraités par le modèle. Cette valeur est 0 si vous n’utilisez pas la mise en cache des invites. |
CacheWriteInputTokenCount |
Le CloudWatch Métrique d'exécution Amazon Bedrock qui représente le nombre de jetons d'entrée correctement écrits dans le cache. Cette valeur est 0 si vous n’utilisez pas la mise en cache des invites. |
| Jetons par minute (TPM) | Un quota fixé par AWS au niveau du modèle sur le nombre de jetons (entrées et sorties compris) que vous pouvez utiliser en une minute. |
| Jetons par jour (TDP) | Nombre maximum de jetons par jour sur tous les modèles Amazon Bedrock pris en charge pour ce compte. Le nombre de jetons est estimé sur la base de la tarification à la demande ; la consommation réelle de jetons varie selon le modèle, input/output ratio et utilisation du cache. |
max_tokens |
Un paramètre que vous fournissez dans votre demande pour définir le nombre maximum de jetons de sortie que le modèle peut générer. |
| Taux de destruction | Vitesse à laquelle les jetons d’entrée et de sortie sont convertis en quotas de jetons utilisés par le système de limitation. |
Le taux de combustion des modèles Anthropic Claude version 4.8 est 15x pour les jetons de sortie (1 jeton de sortie consomme 15 jetons provenant de vos quotas) et le taux de combustion d'Anthropic Claude Opus 5.5, Claude Sonnet 5, Claude Opus 5 et Claude Fable 5.1 est 10x pour les jetons de sortie. Pour tous les autres modèles Anthropic version 4.7 et antérieures, le burn-down est 5x pour les jetons de sortie (1 jeton de sortie consomme 5 jetons de vos quotas).
Le taux de combustion d'OpenAI GPT-5.6 Sol, GPT-5.6 Terra, et GPT-5.6 Luna sur le bedrock-runtime point de terminaison est 10x pour les jetons de sortie (1 jeton de sortie consomme 10 jetons de vos quotas).
Sauf indication contraire sur la fiche modèle, le taux de combustion de tous les autres modèles est 1:1 (1 jeton de sortie consomme 1 jeton de votre quota).
Les taux d'épuisement des jetons s'appliquent uniquement aux modèles disponibles sur bedrock-runtime point final. Modèles disponibles exclusivement sur bedrock-mantle les points de terminaison ont des quotas distincts pour les jetons d'entrée et de sortie, donc le burndown ne s'applique pas.
Rubriques
Compréhension de la gestion des quotas de jetons
Lorsque vous envoyez une demande, les jetons sont déduits de vos quotas TPM et TDP. Les calculs se déroulent selon les étapes suivantes :
-
Au début de la demande — La somme suivante est déduite de vos quotas. La demande est limitée si vous dépassez un quota.
Total input tokens + max_tokens -
Pendant le traitement : le quota consommé par la demande est ajusté périodiquement pour tenir compte du nombre réel de jetons de sortie générés.
-
À la fin de la demande : le nombre total de jetons consommés par la demande sera calculé comme suit et tous les jetons non utilisés seront réapprovisionnés selon votre quota :
InputTokenCount + CacheWriteInputTokenCount + (OutputTokenCount x burndown rate)CacheReadInputTokenCountne contribuent pas à ce calcul et ne sont pas pris en compte dans votre quota. Si vous n'utilisez pas mise en cache rapide, les deuxCacheWriteInputTokenCountetCacheReadInputTokenCountsera égal à 0.
Vous n’êtes facturé que pour l’utilisation réelle de vos jetons.
Par exemple, si vous utilisez Anthropic Claude Sonnet 4 et envoyez une demande contenant 1 000 jetons d’entrée et qu’elle génère une réponse équivalente à 100 jetons :
-
1 500 jetons (1 000 + 100 x 5) seront épuisés de vos quotas TPM et TDP.
-
Vous ne serez facturé que pour 1 100 jetons.
Compréhension de l’impact du paramètre max_tokens
La valeur max_tokens est déduite de votre quota au début de chaque demande. Si vous atteignez les quotas de TPM plus tôt que prévu, essayez de réduire les max_tokens pour obtenir une meilleure approximation de la taille de vos résultats.
Les scénarios suivants fournissent des exemples de la façon dont les déductions de quotas auraient fonctionné sur les demandes traitées en utilisant un modèle dont le taux de destruction des jetons de sortie est 5 fois supérieur :
Supposons les paramètres suivants :
-
InputTokenCount: 3 000
-
CacheReadInputTokenCount: 4 000
-
CacheWriteInputTokenCount: 1 000
-
OutputTokenCount: 1 000
-
max_tokens : 32 000
Les déductions de quotas suivantes ont lieu :
-
Déduction initiale lors de la demande : 36 000 (= 3 000 + 1 000 + 32 000)
-
Déduction ajustée finale après génération de la réponse : 9 000 (= 3 000 + 1 000 + 1 000 x 5)
Dans ce scénario, moins de demandes simultanées pourraient être effectuées, car le paramètre max_tokens était défini à un niveau trop élevé. Cela réduit la simultanéité des demandes, le débit et l'utilisation des quotas, car la capacité de quota du TPM serait atteinte rapidement.
Supposons les paramètres suivants :
-
InputTokenCount: 3 000
-
CacheReadInputTokenCount: 4 000
-
CacheWriteInputTokenCount: 1 000
-
OutputTokenCount: 1 000
-
max_tokens : 1 250
Les déductions de quotas suivantes ont lieu :
-
Déduction initiale lors de la demande : 5 250 (= 3 000 + 1 000 + 1 250)
-
Déduction ajustée finale après génération de la réponse : 9 000 (= 3 000 + 1 000 + 1 000 x 5)
Dans ce scénario, le paramètre max_tokens a été optimisé, car la déduction initiale n’est que légèrement supérieure à la déduction ajustée finale. Cela a permis d'augmenter la simultanéité des demandes, le débit et l'utilisation des quotas.
Optimisation du paramètre max_tokens
En optimisant max_tokens paramètre, vous pouvez utiliser efficacement la capacité de quota qui vous est allouée. Pour vous aider à prendre une décision éclairée concernant ce paramètre, vous pouvez utiliser Amazon CloudWatch, qui collecte automatiquement des statistiques auprès de AWS services, y compris les données d'utilisation des jetons dans Amazon Bedrock.
Les jetons sont enregistrés dans les métriques d’exécution InputTokenCount et OutputTokenCount (pour plus de métriques, consultez Métriques d’exécution Amazon Bedrock.
À utiliser CloudWatch surveillance pour éclairer votre décision concernant max_tokens paramètre, procédez comme suit dans Console de gestion AWS:
-
Connectez-vous à Amazon CloudWatch console à https://console.aws.amazon.com/cloudwatch
. -
Dans le volet de navigation de gauche, sélectionnez Tableaux de bord.
-
Sélectionnez l’onglet Tableaux de bord automatiques.
-
Sélectionnez Bedrock.
-
Dans le tableau de bord Nombre de jetons par modèle, sélectionnez l’icône de développement.
-
Sélectionnez une durée et des paramètres de plage pour les métriques afin de tenir compte de l’utilisation de pointe.
-
Dans le menu déroulant Somme, vous pouvez choisir différentes métriques pour observer l’utilisation de vos jetons. Examinez ces métriques pour orienter votre décision quant à la définition de votre valeur
max_tokens.