Série Amélioration de l'Observabilité des API (Partie 2) : Analyse des Logs

Introduction

L'observabilité des API fait référence à la surveillance et à l'analyse en temps réel de leur état opérationnel, de leurs performances et de leur santé. Cette capacité englobe trois composantes clés : la surveillance des métriques, l'analyse des logs et l'analyse des traces. Dans l'article précédent, nous avons exploré la surveillance des métriques. Dans cet article, nous nous concentrerons sur la manière d'améliorer l'observabilité des API du point de vue de l'analyse des logs.

Aspects clés de l'analyse des logs

Caractéristiques des logs d'API

Différents types d'informations peuvent être contenus dans les logs d'API, cruciales pour la surveillance et la résolution des problèmes, notamment :

1. Données structurées et non structurées

Données structurées : Suivent généralement un format fixe et incluent des champs tels que les horodatages des appels d'API, les méthodes de requête (GET, POST, etc.), les chemins de requête, les codes d'état, etc. Ces données facilitent la recherche et l'analyse via des langages de requête comme SQL.
Données non structurées : Peuvent inclure le contenu spécifique des corps de requête et de réponse, souvent sous forme de texte ou de JSON avec un contenu variable. L'analyse des données non structurées nécessite généralement des techniques de traitement de texte, de correspondance d'expressions régulières ou de traitement du langage naturel.

2. Données en temps réel et historiques

Temps réel : Les logs d'API nécessitent souvent une analyse en temps réel pour détecter et résoudre rapidement des anomalies telles que des requêtes d'erreur excessives ou une dégradation des performances.
Données historiques : L'analyse des données historiques permet de comprendre les tendances de performance à long terme des API, d'identifier des problèmes périodiques ou de planifier la capacité.

3. Données d'erreur et de performance

Données d'erreur : Incluent des codes d'état anormaux, des messages d'erreur ou des traces de pile, essentiels pour identifier et résoudre les problèmes d'API.
Données de performance : Comme le temps de réponse, le débit, etc., peuvent aider à évaluer les performances des API, identifier les goulots d'étranglement et optimiser.

Méthodes de collecte des logs d'API

Collecte automatisée des fichiers de logs : Balayage et collecte réguliers des fichiers de logs, les transférant vers des systèmes de stockage et d'analyse centralisés.
Traitement en temps réel des flux de logs : Envoi en temps réel des logs vers des points de terminaison ou des flux spécifiques comme Kafka, Flume, etc., pour une analyse et une gestion en temps réel des anomalies.
Outils de collecte de logs tiers : Utilisation d'outils de gestion de logs matures comme ELK Stack (Elasticsearch, Logstash et Kibana) ou Graylog, offrant des fonctionnalités comme la collecte, l'analyse, le stockage, la recherche et la visualisation des logs.

Lors de la collecte des logs, il faut tenir compte de la sécurité, de la persistance, de la compression, de l'archivage, etc., pour garantir l'intégrité et la sécurité des données.

logging analysis in API7 Enterprise

Méthodes pour améliorer l'observabilité des API - Analyse des logs

1. Sélection des outils de logs appropriés

La sélection d'outils de logs adaptés est une étape cruciale pour améliorer l'observabilité des API. Voici quelques outils de logs populaires et leurs caractéristiques :

ELK Stack (Elasticsearch, Logstash, Kibana)

Elasticsearch : Offre des capacités de recherche et d'analyse de texte puissantes.

Logstash : Utilisé pour la collecte, l'analyse et la transformation des données.

Kibana : Fournit une interface visuelle facilitant la requête et l'analyse des données de logs.
Graylog : Prend en charge diverses sources et formats de logs, offrant des fonctionnalités de recherche, d'analyse et de visualisation en temps réel.
Fluentd : Un outil de collecte de logs efficace prenant en charge plusieurs plugins d'entrée et de sortie, facilement intégrable avec d'autres systèmes.

Ces outils aident à collecter, stocker, rechercher et analyser les logs d'API, permettant de localiser rapidement les problèmes et d'optimiser les performances.

2. Nettoyage et prétraitement des données

Les données de logs contiennent souvent beaucoup d'informations non pertinentes et de bruit, nécessitant un nettoyage et un prétraitement pour améliorer l'efficacité de l'analyse.

Filtrage des informations non pertinentes : Élimination des entrées de logs non pertinentes pour l'observabilité des API, comme les logs système, les informations de débogage, etc.
Formatage et standardisation : Conversion des données de logs en un format et une structure unifiés, facilitant l'analyse et les requêtes ultérieures.
Filtrage et agrégation des données : Filtrage et agrégation des données de logs selon les besoins pour extraire les métriques et caractéristiques clés.

3. Recherche et requête des logs

Des capacités de recherche et de requête efficaces des logs sont essentielles pour identifier rapidement les problèmes.

Recherche par mot-clé : Prise en charge des recherches de logs par mot-clé pour localiser rapidement les entrées contenant des informations spécifiques.
Filtrage par plage de temps : Capacité à filtrer les données de logs par plage de temps pour analyser les problèmes et tendances dans des périodes spécifiques.
Requêtes composites à plusieurs conditions : Prise en charge des requêtes combinant plusieurs conditions pour aider les utilisateurs à identifier plus précisément les problèmes.

4. Reconnaissance des motifs et statistiques des logs

En reconnaissant les motifs et en analysant statistiquement les données de logs, on peut découvrir des problèmes potentiels et des points d'optimisation.

Reconnaissance des motifs anormaux : Utilisation d'algorithmes et de techniques d'apprentissage automatique pour identifier des motifs anormaux dans les logs, comme des codes d'erreur, des piles d'exception, etc.
Analyse des goulots d'étranglement de performance : Analyse des métriques clés comme le temps de réponse, le débit, etc., pour identifier les goulots d'étranglement des API.
Statistiques de volume et de fréquence d'accès : Statistiques sur le volume et la fréquence d'accès aux API fournissent des insights sur l'utilisation et la charge des API.

5. Introduction de l'apprentissage automatique pour l'analyse des logs

Les techniques d'apprentissage automatique améliorent encore la précision et l'efficacité de l'analyse des logs.

Détection d'anomalies : Utilisation d'algorithmes d'apprentissage automatique pour détecter les anomalies dans les données de logs, identifiant et alertant automatiquement sur les problèmes potentiels.
Analyse des causes racines : Analyse des données de logs à l'aide de modèles d'apprentissage automatique pour déduire automatiquement les causes racines des problèmes, réduisant le temps d'investigation manuel.
Maintenance prédictive : Entraînement de modèles prédictifs basés sur les données de logs historiques pour anticiper les futurs problèmes et goulots d'étranglement, permettant une maintenance et une optimisation proactives.

Analyse de cas pratique

Considérons une API d'une plateforme e-commerce responsable du traitement des requêtes de recherche de produits. Récemment, nous avons remarqué une augmentation du temps de réponse et un certain taux d'erreur. Pour identifier rapidement le problème, nous utiliserons l'analyse des logs pour améliorer l'observabilité de l'API.

Voici quelques données de logs d'API simulées, enregistrant des informations pertinentes sur les requêtes d'API :

{  
  "timestamp": "2023-10-23T10:00:01Z",  
  "api_endpoint": "/products/search",  
  "method": "GET",  
  "status_code": 200,  
  "response_time": 300,  
  "request_body": "{\"keywords\":\"phone\"}",  
  "response_body": "{\"products\":[...]}"  
}  
  
{  
  "timestamp": "2023-10-23T10:00:02Z",  
  "api_endpoint": "/products/search",  
  "method": "GET",  
  "status_code": 500,  
  "response_time": 1000,  
  "error_message": "Database connection failed"  
}  
  
...

Procédure opérationnelle

Collecte et intégration des logs : Utilisation de Logstash pour collecter les données de logs simulées dans Elasticsearch et les stocker de manière structurée.
Nettoyage et prétraitement des données : Définition des mappings d'index dans Elasticsearch pour s'assurer que les champs comme les horodatages, les codes d'état, les temps de réponse, etc., sont correctement analysés et stockés. Création également de champs dérivés comme la conversion du temps de réponse en millisecondes.
Reconnaissance des motifs anormaux : Utilisation de la fonction de recherche de Kibana pour filtrer rapidement les logs d'erreur avec un code d'état de 500. Par exemple, une requête de recherche pourrait être : status_code: 500. En examinant ces logs d'erreur, nous trouvons un log contenant le message d'erreur "Database connection failed", indiquant un problème possible de connexion à la base de données.
Analyse des goulots d'étranglement de performance : Pour analyser les goulots d'étranglement de performance, création d'un histogramme temporel dans Kibana avec le temps de réponse sur l'axe Y et le temps sur l'axe X. Cela nous permet d'observer visuellement la distribution des temps de réponse et d'identifier les périodes de latence élevée. Par analyse, nous observons certaines périodes avec des temps de réponse généralement élevés, possiblement liés aux requêtes de base de données, à la charge du système ou à d'autres facteurs.
Analyse des causes racines et validation : En combinant les logs d'erreur et les résultats de l'analyse de performance, nous émettons l'hypothèse que le problème de connexion à la base de données pourrait être la cause principale de la dégradation des performances et de l'augmentation du taux d'erreur. Pour valider cette hypothèse, nous analysons plus en détail les informations sur les requêtes de base de données dans les logs ou combinons avec d'autres outils de surveillance (comme la surveillance de la base de données) pour observer les métriques de performance de la base de données.
Résolution des problèmes et surveillance : Sur la base des résultats de l'analyse, nous décidons d'optimiser la configuration du pool de connexions à la base de données en augmentant le nombre de connexions et en ajustant les paramètres de timeout. Après avoir mis en œuvre ces optimisations, nous surveillons les performances de l'API et les taux d'erreur pour nous assurer que le problème est résolu.

Résultat pratique

Grâce à l'analyse des logs, nous avons identifié avec succès le problème de connexion à la base de données comme la cause principale de la dégradation des performances et de l'augmentation du taux d'erreur. En optimisant la configuration du pool de connexions à la base de données, les performances de l'API se sont significativement améliorées et les taux d'erreur ont considérablement diminué.

À travers cette étude de cas pratique avec des données simulées, nous avons une compréhension plus concrète de la manière dont l'analyse des logs améliore l'observabilité des API et validons la faisabilité et l'efficacité des méthodes d'analyse.

Conclusion

Améliorer l'observabilité des API aide à identifier et résoudre rapidement les problèmes, à optimiser les performances des API et à améliorer l'expérience utilisateur. En utilisant des méthodes comme la sélection d'outils de logs appropriés, le nettoyage et le prétraitement des données, la recherche et la requête des logs, la reconnaissance des motifs et les statistiques des logs, et l'introduction de l'apprentissage automatique, l'observabilité des API peut être améliorée, facilitant la localisation rapide des problèmes et l'optimisation des performances.