Guide d'entraînement pour l'application d'IA de
détection d'anomalies CyberSec
Introduction
Ce guide fournit des instructions détaillées et des meilleures pratiques pour l'entraînement du modèle
d'intelligence artificielle intégré à l'application CyberSec, un système conteneurisé de surveillance et de
détection d'anomalies en temps réel pour l'analyse des logs système. L'objectif de ce document est de
vous aider à comprendre le fonctionnement interne du détecteur d'anomalies, à préparer vos données,
à entraîner le modèle efficacement, à évaluer ses performances et à l'optimiser pour vos besoins
spécifiques en cybersécurité.
L'application CyberSec utilise l'algorithme Isolation Forest, un modèle d'apprentissage automatique
non supervisé, pour identifier les comportements suspects dans les logs système. Une compréhension
approfondie de cet algorithme et de son implémentation est cruciale pour garantir la précision et la
fiabilité de la détection d'anomalies.
Ce guide est structuré pour vous accompagner à travers les différentes étapes du processus
d'entraînement, de la compréhension de l'architecture à l'optimisation des hyperparamètres, en
passant par l'évaluation des performances du modèle. Il est destiné aux administrateurs système, aux
analystes de sécurité et aux ingénieurs en apprentissage automatique souhaitant tirer le meilleur parti
de l'application CyberSec.
Architecture de l'application et rôle du détecteur d'anomalies
L'application CyberSec est conçue sur une architecture microservices conteneurisée, ce qui assure une
séparation claire des responsabilités, une maintenance facilitée et une grande évolutivité. Les principaux
composants de cette architecture sont un proxy NGINX, une application Streamlit pour l'interface
utilisateur, un processeur de logs, une base de données ElasticSearch et Kibana pour l'exploration des
données [1].
Le flux de données commence par le processeur de logs, qui surveille en continu les fichiers de logs
système, notamment /var/log/[Link] . Ce composant est responsable du parsing intelligent des
logs bruts, de l'extraction et de la structuration des informations pertinentes. C'est à cette étape que le
modèle d'IA de détection d'anomalies entre en jeu.
Le cœur de la détection d'anomalies réside dans le fichier app/[Link] . Ce script implémente la
classe AnomalyDetector , qui encapsule le modèle Isolation Forest de la bibliothèque scikit-learn . Le
rôle principal de ce détecteur est d'analyser les données de logs prétraitées et d'identifier les
comportements qui s'écartent de la norme établie.
Fonctionnement du AnomalyDetector
La classe AnomalyDetector est initialisée avec un paramètre contamination , qui représente la
proportion attendue d'anomalies dans les données. Ce paramètre est crucial car il influence directement
le seuil de détection du modèle. Le détecteur utilise deux caractéristiques principales pour l'analyse des
logs : process_encoded et message_length .
1. process_encoded : La colonne process des logs (par exemple, 'sshd', 'cron', 'sudo') est encodée
numériquement à l'aide d'un LabelEncoder . Cela permet au modèle d'apprentissage
automatique de traiter cette caractéristique catégorielle. Le prétraitement gère également les
nouvelles catégories de processus qui pourraient apparaître après l'entraînement initial du
modèle.
2. message_length : La longueur du message de log ( message ) est calculée et utilisée comme une
caractéristique numérique. Les messages de longueur inhabituelle peuvent souvent être des
indicateurs d'activités suspectes, comme des tentatives d'exfiltration de données ou des injections
de code.
Le pipeline de détection d'anomalies au sein de l'application CyberSec suit ces étapes :
Prétraitement des données : Les logs bruts sont transformés en un format structuré, et les
caractéristiques process_encoded et message_length sont extraites.
Entraînement du modèle : Le modèle IsolationForest est entraîné sur un ensemble de données
de logs, apprenant ainsi les patterns de comportement
normal. Le modèle est entraîné en utilisant la méthode fit de IsolationForest . * Prédiction
d'anomalies : Une fois entraîné, le modèle utilise la méthode predict pour classer les nouvelles
entrées de logs comme normales (valeur 1) ou anormales (valeur -1). La fonction decision_function
fournit un score d'anomalie, où des scores plus bas indiquent une plus grande probabilité d'être une
anomalie. * Stockage et Visualisation : Les logs, enrichis des prédictions et scores d'anomalie, sont
ensuite indexés dans ElasticSearch. L'application Streamlit récupère ces données pour les afficher dans
un tableau de bord interactif, permettant aux analystes de sécurité de visualiser et d'investiguer les
anomalies détectées.
En résumé, le détecteur d'anomalies est un composant essentiel qui transforme les logs bruts en
informations de sécurité exploitables, en s'appuyant sur l'apprentissage automatique pour identifier les
menaces potentielles de manière proactive.
Préparation des données pour l'entraînement
La qualité et la pertinence des données d'entraînement sont primordiales pour l'efficacité d'un modèle
de détection d'anomalies. Dans le cas de l'application CyberSec, le modèle Isolation Forest est entraîné
sur des logs système. Il est important de comprendre que, par nature, la détection d'anomalies est
souvent confrontée à des jeux de données déséquilibrés, où les instances normales sont largement
majoritaires par rapport aux anomalies [2].
Collecte des données
Le processeur de logs de l'application CyberSec est configuré pour lire les logs depuis
/var/log/[Link] . Pour l'entraînement initial ou le réentraînement du modèle, il est recommandé
d'utiliser un historique de logs représentatif de l'activité normale de votre système. Cela signifie collecter
des logs sur une période suffisamment longue pour capturer les variations saisonnières et les
comportements typiques, tout en minimisant la présence d'anomalies connues (qui devraient être rares
dans un environnement sain).
Prétraitement et ingénierie des caractéristiques
Le fichier app/[Link] gère automatiquement une partie du prétraitement et de l'ingénierie des
caractéristiques. Les étapes clés sont :
1. Encodage du processus ( process_encoded ) : La colonne process est encodée en utilisant
LabelEncoder . Il est crucial que cet encodeur soit ajusté sur un ensemble de données qui contient
toutes les catégories de processus attendues. Si de nouvelles catégories apparaissent après
l'entraînement, le code est conçu pour les gérer en étendant les classes de l'encodeur. Cependant,
pour un entraînement optimal, il est préférable que l'encodeur soit exposé à une diversité
maximale de processus dès le départ.
2. Longueur du message ( message_length ) : La longueur du champ message est calculée. Cette
caractéristique est simple mais puissante, car des messages de log anormalement courts ou longs
peuvent indiquer des activités suspectes.
Bien que le code actuel utilise uniquement process_encoded et message_length , l'ingénierie de
caractéristiques supplémentaires peut améliorer la performance du modèle. Par exemple, vous pourriez
envisager :
Fréquence des événements : Le nombre d'occurrences d'un certain type de log ou d'un processus
sur une période donnée (par exemple, 5 minutes, 1 heure). Une fréquence anormalement élevée ou
basse pourrait indiquer une anomalie.
Heure de la journée/Jour de la semaine : Les activités système ont souvent des patterns
temporels. Un événement se produisant à une heure inhabituelle (par exemple, une connexion SSH
réussie à 3h du matin un dimanche) pourrait être un indicateur d'anomalie.
Taux d'échec/succès : Pour les événements de connexion, le ratio d'échecs par rapport aux succès
peut être une caractéristique pertinente.
Pour intégrer de nouvelles caractéristiques, vous devrez modifier la méthode preprocess dans
app/[Link] et ajouter les nouvelles caractéristiques à la liste [Link] .
Gestion des données déséquilibrées
La détection d'anomalies est intrinsèquement un problème de données déséquilibrées, car les
anomalies sont rares par rapport aux instances normales. Isolation Forest est un algorithme robuste à
cet égard, car il se concentre sur l'isolation des points plutôt que sur la modélisation de la distribution
normale. Cependant, le paramètre contamination joue un rôle crucial [3].
Le paramètre contamination dans IsolationForest représente la proportion attendue d'anomalies
dans votre jeu de données. Si vous avez une idée du pourcentage d'anomalies dans vos logs (par
exemple, 0,1 % ou 1 %), vous pouvez définir cette valeur. Une valeur incorrecte peut entraîner un
nombre élevé de faux positifs ou de faux négatifs. Si vous n'avez aucune idée de la proportion
d'anomalies, vous pouvez commencer avec une petite valeur (par exemple, 0,01) et l'ajuster en fonction
des résultats de l'évaluation.
Il est important de noter que l'entraînement d'un modèle de détection d'anomalies avec des données
déséquilibrées ne nécessite pas toujours des techniques de suréchantillonnage (oversampling) ou de
sous-échantillonnage (undersampling) comme pour les problèmes de classification supervisée.
Isolation Forest est conçu pour fonctionner efficacement avec des données majoritairement normales.
Processus d'entraînement du modèle
L'entraînement du modèle Isolation Forest est une étape cruciale qui détermine sa capacité à distinguer
les activités normales des anomalies. Le processus d'entraînement est géré par la méthode train de la
classe AnomalyDetector dans app/[Link] . Cette méthode prend en entrée un DataFrame pandas
contenant les données de logs prétraitées et ajuste le modèle IsolationForest sur ces données.
Comment entraîner le modèle
Pour entraîner le modèle, vous devez d'abord charger un ensemble de données de logs représentatif de
l'activité normale de votre système. Cet ensemble de données doit être sous la forme d'un DataFrame
pandas avec les colonnes process et message . Voici un exemple de la manière dont vous pourriez
entraîner le modèle en utilisant un fichier CSV de logs :
import pandas as pd
from [Link] import AnomalyDetector
# Charger les données de logs
data = pd.read_csv('path/to/your/[Link]')
# Initialiser le détecteur d'anomalies
detector = AnomalyDetector(contamination=0.01)
# Entraîner le modèle
[Link](data)
print("Modèle d'IA entraîné avec succès.")
Dans cet exemple, contamination=0.01 indique que nous nous attendons à ce que 1% des données
soient des anomalies. Vous devriez ajuster cette valeur en fonction de votre connaissance du domaine et
des résultats de l'évaluation.
Paramètres clés de l'entraînement
Le modèle IsolationForest de scikit-learn possède plusieurs hyperparamètres qui peuvent être
ajustés pour optimiser ses performances. Les plus importants sont :
n_estimators : Le nombre d'arbres (iTrees) dans la forêt. Une valeur plus élevée peut améliorer la
performance du modèle, mais augmente également le temps de calcul. La valeur par défaut est
100.
max_samples : Le nombre d'échantillons à tirer des données pour entraîner chaque arbre. La
valeur par défaut est 'auto', ce qui signifie max_samples=min(256, n_samples) . Si vous avez un
grand jeu de données, vous pouvez augmenter cette valeur pour améliorer la précision.
contamination : La proportion attendue d'anomalies dans les données. C'est l'un des paramètres
les plus importants à régler. Une valeur trop élevée peut entraîner un grand nombre de faux
positifs, tandis qu'une valeur trop faible peut manquer des anomalies réelles.
max_features : Le nombre de caractéristiques à tirer pour entraîner chaque arbre. La valeur par
défaut est 1.0, ce qui signifie que toutes les caractéristiques sont utilisées.
Vous pouvez modifier ces hyperparamètres lors de l'initialisation de la classe AnomalyDetector en les
passant au constructeur de IsolationForest .
Entraînement continu
Dans un environnement de cybersécurité dynamique, les patterns de comportement normal peuvent
évoluer avec le temps. Il est donc recommandé de réentraîner périodiquement le modèle de détection
d'anomalies pour s'assurer qu'il reste à jour. Vous pouvez mettre en place un processus de
réentraînement automatisé qui s'exécute, par exemple, toutes les semaines ou tous les mois, en utilisant
les logs les plus récents comme données d'entraînement.
Lors du réentraînement, il est important de s'assurer que les nouvelles données d'entraînement sont
également représentatives de l'activité normale et ne contiennent pas une proportion significative
d'anomalies non étiquetées, car cela pourrait biaiser le modèle.
Évaluation du modèle et interprétation des résultats
L'évaluation d'un modèle de détection d'anomalies, en particulier un modèle non supervisé comme
Isolation Forest, est un défi unique en raison de la nature déséquilibrée des données et de l'absence de
labels clairs pour les anomalies. Contrairement aux problèmes de classification traditionnels, où la
précision et le rappel sont directement calculables, la détection d'anomalies se concentre sur
l'identification de points rares et inhabituels. [4]
Métriques d'évaluation
Bien qu'il n'y ait pas de "vérité terrain" parfaite pour les anomalies dans un contexte non supervisé,
certaines métriques peuvent être utilisées pour évaluer la performance du modèle. Ces métriques sont
souvent basées sur la capacité du modèle à séparer les anomalies des données normales, ou sur la
pertinence des scores d'anomalie générés.
1. Score d'anomalie ( decision_function ) : Le modèle Isolation Forest attribue un score à chaque
instance, indiquant à quel point elle est anormale. Des scores plus bas indiquent une plus grande
probabilité d'être une anomalie. L'analyse de la distribution de ces scores peut aider à comprendre
la performance du modèle. Vous pouvez visualiser cette distribution pour identifier un seuil de
détection approprié.
2. Précision, Rappel, F1-score (avec un seuil) : Si vous avez un ensemble de données de test avec
des anomalies étiquetées (même si c'est un petit sous-ensemble), vous pouvez évaluer le modèle
en utilisant des métriques de classification traditionnelles. Pour ce faire, vous devez définir un seuil
sur le score d'anomalie pour classer les instances comme normales ou anormales. Cependant,
cette approche est souvent limitée par la rareté des anomalies étiquetées.
Précision : Proportion d'anomalies correctement identifiées parmi toutes les instances que le
modèle a classées comme anomalies.
Rappel : Proportion d'anomalies correctement identifiées parmi toutes les anomalies réelles
présentes dans les données.
F1-score : Moyenne harmonique de la précision et du rappel, utile lorsque vous avez besoin
d'un équilibre entre les deux.
3. Courbe ROC et AUC (Area Under the Curve) : La courbe ROC (Receiver Operating Characteristic)
trace le taux de vrais positifs (rappel) en fonction du taux de faux positifs à différents seuils. L'AUC
est une métrique agrégée qui représente la capacité du modèle à distinguer les classes. Une AUC
élevée (proche de 1) indique une bonne performance. L'AUC est particulièrement utile pour les
problèmes de détection d'anomalies car elle est insensible au déséquilibre des classes. [5]
Interprétation des résultats
L'interprétation des résultats d'un modèle de détection d'anomalies va au-delà des simples métriques.
Elle nécessite une compréhension du domaine et une analyse qualitative des anomalies détectées.
Analyse des faux positifs : Examinez les instances que le modèle a classées comme anomalies
mais qui sont en réalité normales. Cela peut indiquer que le modèle est trop sensible ou que les
données d'entraînement ne sont pas suffisamment représentatives de l'activité normale.
Analyse des faux négatifs : Si possible, identifiez les anomalies réelles que le modèle n'a pas
détectées. Cela peut suggérer que le modèle n'est pas assez sensible ou que les caractéristiques
utilisées ne sont pas suffisantes pour capturer ces types d'anomalies.
Validation par les experts du domaine : La meilleure façon de valider un modèle de détection
d'anomalies est de faire examiner les anomalies détectées par des experts en cybersécurité. Leur
feedback est inestimable pour affiner le modèle et ajuster les seuils.
Visualisation des anomalies
La visualisation est un outil puissant pour comprendre les performances du modèle et interpréter les
anomalies. Le tableau de bord Streamlit de l'application CyberSec fournit déjà une visualisation des
anomalies détectées. Vous pouvez également créer des visualisations personnalisées pour explorer les
données et les scores d'anomalie. Par exemple, des graphiques de dispersion des scores d'anomalie par
rapport aux caractéristiques clés peuvent révéler des patterns intéressants.
En résumé, l'évaluation d'un modèle de détection d'anomalies est un processus itératif qui combine des
métriques quantitatives avec une analyse qualitative et l'expertise du domaine. L'objectif est de trouver
un équilibre entre la détection des anomalies réelles et la minimisation des faux positifs, qui peuvent
entraîner une surcharge de travail pour les analystes.
Optimisation et déploiement
Une fois que votre modèle de détection d'anomalies est entraîné et évalué, l'étape suivante consiste à
l'optimiser pour la production et à le déployer efficacement au sein de l'application CyberSec.
L'optimisation vise à améliorer la performance du modèle (réduire les faux positifs/négatifs) et son
efficacité (temps de calcul, consommation de ressources), tandis que le déploiement assure son
intégration fluide dans le pipeline de surveillance.
Optimisation des hyperparamètres
Les hyperparamètres de l'Isolation Forest, tels que n_estimators , max_samples , et contamination ,
ont un impact significatif sur la performance du modèle. L'optimisation de ces paramètres est cruciale
pour adapter le modèle à vos données spécifiques et à vos objectifs de détection. [6]
Plusieurs techniques peuvent être utilisées pour l'optimisation des hyperparamètres :
Recherche par grille (Grid Search) : Cette méthode explore systématiquement toutes les
combinaisons possibles d'hyperparamètres définies dans une grille. C'est une approche exhaustive
qui garantit de trouver la meilleure combinaison au sein de la grille, mais elle peut être coûteuse en
termes de calcul pour un grand nombre de paramètres ou de valeurs.
```python from sklearn.model_selection import GridSearchCV from [Link] import
IsolationForest import pandas as pd
Supposons que 'X' est votre DataFrame de
données prétraitées
X=
[Link](your_training_dataframe)
param_grid = { 'n_estimators': [50, 100, 200], # Nombre d'arbres 'max_samples': ['auto', 0.1, 0.2], #
Proportion d'échantillons pour chaque arbre 'contamination': [0.005, 0.01, 0.02] # Proportion
d'anomalies attendues }
Initialiser le modèle Isolation Forest
iso_forest = IsolationForest(random_state=42)
Configurer GridSearchCV
Utilisez une métrique d'évaluation appropriée
pour la détection d'anomalies, par exemple
'roc_auc'
Note: Pour 'roc_auc', vous aurez besoin de
labels pour vos données d'entraînement, ce
qui est rare en non-supervisé.
Une alternative est d'utiliser une métrique
basée sur les scores de décision si vous avez un
seuil défini.
Pour un modèle purement non supervisé sans
labels, l'évaluation est plus complexe et
souvent qualitative.
Pour cet exemple, nous allons simuler une
évaluation si des labels étaient disponibles.
Si vous n'avez pas de labels, vous devrez
évaluer qualitativement ou par d'autres
moyens.
Pour l'exemple, nous allons utiliser une
métrique simple pour illustrer le concept.
Supposons que 'y_true' sont des labels
binaires (1 pour normal, -1 pour anomalie)
pour l'évaluation.
Si vous n'avez pas de y_true, vous ne pouvez
pas utiliser GridSearchCV avec un scoring
standard.
Dans ce cas, l'optimisation se ferait par
observation des résultats et ajustement
manuel.
Exemple avec un scoring fictif si des labels
étaient disponibles
grid_search = GridSearchCV(iso_forest,
param_grid, scoring='roc_auc', cv=5,
n_jobs=-1)
grid_search.fit(X, y_true) # y_true serait
nécessaire ici
print(f"Meilleurs paramètres:
{grid_search.best_params_}")
print(f"Meilleur score ROC-AUC:
{grid_search.best_score_}")
Pour l'optimisation sans labels, l'approche est
souvent plus empirique ou basée sur des
métriques internes
ou des techniques comme l'analyse de la
stabilité des clusters d'anomalies.
print("L'optimisation des hyperparamètres sans labels nécessite une approche plus avancée (ex:
validation croisée non supervisée) ou une évaluation qualitative.") print("Pour des modèles non
supervisés comme Isolation Forest, l'ajustement de 'contamination' est souvent le plus critique et
se fait par essais/erreurs ou connaissance du domaine.") ```
Recherche aléatoire (Random Search) : Au lieu d'explorer toutes les combinaisons, la recherche
aléatoire échantillonne un nombre fixe de combinaisons d'hyperparamètres à partir d'une
distribution spécifiée. Elle est souvent plus efficace que la recherche par grille pour trouver de
bonnes combinaisons, surtout lorsque certains hyperparamètres ont peu d'impact.
Optimisation bayésienne : Des techniques plus avancées comme l'optimisation bayésienne
construisent un modèle probabiliste des performances du modèle en fonction des
hyperparamètres, ce qui permet d'explorer l'espace des paramètres de manière plus intelligente et
efficace.
Déploiement et intégration
Le modèle entraîné doit être intégré au pipeline de détection de l'application CyberSec. Le fichier
app/[Link] est déjà structuré pour cela. Le modèle est instancié et utilisé par le processeur de
logs pour analyser les données en temps réel.
Pour déployer un nouveau modèle entraîné ou optimisé :
1. Sauvegarder le modèle : Après l'entraînement, sauvegardez le modèle IsolationForest entraîné
à l'aide de joblib ou pickle . Cela permet de recharger le modèle sans avoir à le réentraîner à
chaque démarrage de l'application.
```python import joblib
... après l'entraînement du détecteur ...
[Link]([Link], 'path/to/your/trained_isolation_forest_model.joblib')
[Link](detector.label_encoders, 'path/to/your/trained_label_encoders.joblib') ```
2. Charger le modèle : Modifiez le processeur de logs (ou le [Link] lui-même) pour charger le
modèle sauvegardé au lieu de l'entraîner à chaque fois.
```python import joblib from [Link] import IsolationForest from [Link]
import LabelEncoder
class AnomalyDetector: def init(self, contamination=0.01, model_path=None,
encoders_path=None): if model_path and encoders_path: [Link] = [Link](model_path)
self.label_encoders = [Link](encoders_path) print("Modèle et encodeurs chargés depuis le
disque.") else: [Link] = IsolationForest(contamination=contamination, random_state=42)
self.label_encoders = {} [Link] = ["process_encoded", "message_length"] # ... reste du code
de la classe ... ```
3. Mettre à jour l'application : Assurez-vous que les conteneurs Docker de l'application CyberSec
utilisent la version la plus récente du code et des modèles. Cela peut impliquer de reconstruire les
images Docker et de redéployer les services via docker-compose .
```bash
Reconstruire l'image de l'application si le code
a changé
make build-app
Redémarrer les services pour utiliser la
nouvelle image et le modèle
make restart-app ```
Surveillance continue et réentraînement
Le déploiement n'est pas la fin du processus. La performance d'un modèle de détection d'anomalies
peut se dégrader avec le temps en raison de l'évolution des patterns de données (dérive des données). Il
est essentiel de mettre en place un système de surveillance continue et un plan de réentraînement
régulier.
Surveillance des performances : Surveillez les métriques clés telles que le nombre d'anomalies
détectées, le taux de faux positifs (si des retours manuels sont disponibles), et les performances du
système (latence, utilisation CPU/mémoire). Le tableau de bord Streamlit et Kibana sont
d'excellents outils pour cela.
Réentraînement périodique : Planifiez un réentraînement régulier du modèle (par exemple,
toutes les semaines, tous les mois) en utilisant les données de logs les plus récentes. Cela permet
au modèle de s'adapter aux nouveaux comportements normaux et de maintenir sa pertinence.
Déclenchement du réentraînement : Envisagez des mécanismes pour déclencher un
réentraînement en cas de dégradation significative des performances ou de changements majeurs
dans l'environnement système.
En suivant ces étapes d'optimisation et de déploiement, vous pouvez vous assurer que votre application
d'IA de détection d'anomalies reste efficace et pertinente face aux menaces de cybersécurité en
constante évolution.
Références
[1] [Link] du projet CyberSec AI. [2] Medium. (2024, January 24). Anomaly Detection Handbook:
Dealing with unbalanced data and anomaly detection algorithms.
[Link]
anomaly-detection-algorithms-1821868d2991 [3] Analytics Vidhya. (2021, July 2). Anomaly detection
using Isolation Forest - Analytics Vidhya. [Link]
detection-using-isolation-forest-a-complete-guide/ [4] Medium. (2022, July 12). A Review of Anomaly
Detection Metrics. [Link]
related-information-736d88774712 [5] Monolith AI. How To Evaluate an Anomaly Detection Model?.
[Link] [6] Number Analytics.
(2025, June 23). Mastering Isolation Forest. [Link]
isolation-forest
