La gestion des journaux peut être une entreprise complexe. Non seulement une organisation typique en génère une tonne, mais elles proviennent de diverses sources, chacune avec un format potentiellement différent et contenant des informations différentes. Pour mettre un semblant d'ordre dans quelque chose qui peut rapidement devenir chaotique, la gestion des journaux a été inventée. Aujourd'hui, nous examinons les meilleures pratiques et systèmes de gestion des journaux. Nous espérons que cela vous aidera à y voir clair.
Nous commencerons par une brève description de la gestion des journaux. Ensuite, nous plongerons directement dans les meilleures pratiques de gestion des logs. Nous verrons si vous devez utiliser un système prêt à l'emploi ou le faire vous-même. Nous examinerons également ce qu'il faut surveiller et ce qu'il ne faut pas surveiller, suivis de la sécurité et de la rétention des journaux ainsi que des considérations de stockage. Et avant de passer en revue certains des meilleurs systèmes de gestion des journaux, nous examinerons les différentes tâches de gestion, la révision et la maintenance des journaux, la corrélation des sources de données et certaines considérations d'automatisation.
À propos de la gestion des journaux
Simplement défini, un journal est la documentation produite automatiquement et horodatée d'un événement relatif à un système particulier. Lorsqu'un événement se produit sur un système, un journal (ou une entrée de journal) est généré. Différents systèmes généreront des journaux pour différents événements. Quant à la gestion des journaux, elle fait généralement référence aux processus et politiques utilisés pour administrer et faciliter la génération, la transmission, l'analyse et le stockage des données des journaux. La gestion des journaux implique généralement un système centralisé dans lequel les journaux de plusieurs sources sont agrégés.
Cependant, la gestion des journaux ne se limite pas à la collecte de journaux. Comme son nom l'indique, la partie gestion est importante. Une fois que les journaux sont reçus par le système de gestion des journaux, ils sont « traduits » dans un format commun. Cela est nécessaire car différents systèmes formatent les journaux différemment et incluent des données différentes dans leurs journaux. Pour faciliter la recherche et la corrélation des événements, l'un des objectifs des systèmes de gestion des journaux est de garantir que toutes les entrées de journal collectées sont stockées dans un format uniforme.
En parlant de recherche et même de corrélation, c'est une autre caractéristique majeure de la plupart des systèmes de gestion de journaux. Les meilleurs systèmes de gestion de journaux disposent d'un puissant moteur de recherche. Il permet aux administrateurs de se concentrer sur ce qui est exactement nécessaire. De plus, la corrélation d'événements regroupera automatiquement les événements liés, même s'ils proviennent de sources différentes.
Meilleures pratiques de gestion des journaux
La gestion des journaux est un processus complexe, nous ne pouvons pas y faire grand-chose. Avec cette complexité vient le risque de se tromper. Pour éviter cela, nous avons compilé une liste de certaines des meilleures pratiques de gestion des journaux. Notre objectif est de vous donner le plus d'informations possible afin de choisir le système de gestion de logs le mieux adapté à vos besoins mais, surtout, d'en tirer le meilleur parti.
Système de gestion des journaux ou bricolage ?
Pour une raison quelconque, certaines personnes pensent qu'elles peuvent implémenter manuellement un « système de gestion des journaux ». Si vous faites partie de ces personnes, arrêtez immédiatement de vous leurrer. Bien qu'il soit possible de mettre en œuvre une certaine forme de gestion des journaux manuellement, les efforts requis dépassent de loin ceux requis pour mettre en œuvre un véritable système de gestion des journaux. Et avec plusieurs outils gratuits et open source disponibles, l'argument du coût n'est pas valable.
Il est presque toujours judicieux d'utiliser une solution de journalisation gérée qui est conçue, prise en charge et mise à l'échelle par un fournisseur réputé plutôt que de créer un système par vous-même. Avec eux, tout ce que vous avez généralement à faire est de connecter vos sources et vos destinations et vous êtes prêt à analyser les journaux du système et des applications en toute simplicité. Vous serez libre de consacrer plus de temps à la surveillance et à la journalisation plutôt qu'à la construction de votre infrastructure de journalisation.
Savoir quoi surveiller (et ce qu'il ne faut pas)
Il est important de savoir quoi enregistrer, mais il est encore plus important de savoir ce qu'il ne faut pas enregistrer. Ce n'est pas parce que vous pouvez enregistrer quelque chose que vous devez nécessairement le faire. Une trop grande journalisation ne fait souvent rien de plus que de rendre plus difficile la recherche de données qui comptent réellement. De plus, le volume supplémentaire de journaux ajoute de la complexité et des coûts à vos processus de stockage et de gestion des journaux. Il est important de penser à l'avance à ce qui sera et ne sera pas enregistré avant de commencer à implémenter une plate-forme de gestion des journaux. Cela évitera des erreurs coûteuses et vous permettra de mieux dimensionner votre outil.
Considérez attentivement ce dont vous avez réellement besoin pour vous connecter. Les environnements de production critiques pour la conformité ou à des fins d'audit doivent très probablement être enregistrés. Il en va de même pour les données qui vous aident à résoudre les problèmes de performances, à résoudre les problèmes d'expérience utilisateur ou à surveiller les événements liés à la sécurité.
Inversement, il y a des choses que vous n'avez pas besoin de consigner comme, par exemple, les environnements de test qui ne sont pas une partie essentielle de vos processus métier. Il existe également des données que vous choisirez de ne pas enregistrer pour des raisons de conformité ou de sécurité. Par exemple, si un utilisateur a activé un paramètre Do-not-track, vous ne devez pas enregistrer les données associées à cet utilisateur.
Mettre en œuvre une politique de sécurité et de conservation des journaux
Les journaux peuvent contenir des données sensibles. Pour cette raison, vous devez avoir une politique de sécurité des journaux. Il sera inestimable, par exemple, pour garantir que les données sensibles soient rendues anonymes ou cryptées. De plus, le transport sécurisé des données des journaux vers les systèmes de gestion des journaux impose l'utilisation d'un transport crypté à l'aide de TLS ou HTTPS côté client et côté serveur.
Comme pour une stratégie de rétention, les journaux provenant de différentes sources ou systèmes peuvent nécessiter des durées de rétention différentes. Par exemple, les journaux qui sont principalement utilisés pour le dépannage peuvent fonctionner avec des temps de rétention relativement courts tels que quelques jours, voire quelques heures. D'un autre côté, les journaux liés à la sécurité ou les journaux de transactions commerciales nécessitent des temps de conservation plus longs, souvent pour la conformité réglementaire. Compte tenu de cela, votre politique de rétention doit être flexible et adaptable, en fonction de la source du journal ou du type de journal.
Considérations relatives au stockage des journaux
La conservation des données de journal utilise un espace de stockage précieux. Lors de la planification de la capacité de stockage des journaux, vous devez tenir compte des pics de charge élevés. Dans la plupart des cas, la quantité de journaux de données par jour est relativement constante. Cela dépend principalement de l'utilisation du système et/ou du nombre de transactions par jour. Cependant, en cas de problème, vous pouvez vous attendre à une croissance accélérée du volume de journaux. Si votre stockage de journaux a des limites que vous dépassez, vous pourriez perdre les derniers journaux. Pour atténuer cet effet, les meilleurs systèmes de gestion des journaux utilisent un tampon cyclique. Il supprime d'abord les données les plus anciennes avant qu'une limite de stockage ne soit appliquée.
De plus, le stockage des journaux doit avoir sa propre politique de sécurité. La plupart des attaquants essaieront d'éviter ou de supprimer leurs traces dans les fichiers journaux. Pour éviter cela, vous devez envoyer les journaux en temps réel vers le stockage central des journaux, de préférence hors site, et le sécuriser. Ainsi, si un attaquant a accès à votre infrastructure, les journaux hors site conserveront les preuves intactes.
Examiner et tenir à jour les journaux
La maintenance des journaux est une partie importante de la gestion des journaux, sinon la partie la plus importante. Les journaux non maintenus peuvent entraîner un dépannage plus long, des risques d'exposition des données et des coûts de stockage des journaux plus élevés. Passez en revue les journaux générés par vos systèmes et ajustez le niveau de journalisation à vos besoins. Vous devez tenir compte des aspects de convivialité, d'exploitation et de sécurité.
Rendre le niveau de journal configurable
Certains journaux système sont trop détaillés tandis que d'autres ne fournissent pas suffisamment d'informations. Malheureusement, vous ne pouvez pas toujours y faire quelque chose. La plupart des systèmes offrent des niveaux de journal réglables. Ils sont la clé pour configurer la verbosité des journaux et s'assurer que ce qui doit être enregistré l'est et ce qui n'est pas important ne l'est pas.
Inspecter fréquemment les journaux d'audit
Agir sur les questions de sécurité est crucial. C'est pourquoi il faut toujours avoir un œil sur les bûches. Si votre système de gestion des journaux ne dispose pas de cette fonctionnalité, beaucoup d'entre eux le font, utilisez des outils de sécurité externes tels que auditd ou OSSEC. Ils mettent en œuvre une analyse des journaux en temps réel et génèrent des journaux d'alerte indiquant les problèmes de sécurité potentiels. Et en plus de cela, vous devez définir des alertes sur les événements critiques afin d'être averti rapidement de toute activité suspecte.
Corréler les sources de données
L'exploitation forestière n'est qu'un élément d'une stratégie de surveillance globale. Pour une surveillance vraiment efficace, vous devez compléter la gestion des journaux par d'autres types de surveillance, comme la surveillance basée sur les événements, les alertes et le traçage. C'est le meilleur moyen d'avoir une vue d'ensemble de ce qui se passe à tout moment. Bien que les journaux soient utiles pour fournir des détails haute définition sur les problèmes, cela est particulièrement utile lorsque vous prenez une certaine distance pour regarder la forêt avant de zoomer sur les arbres.
La gestion des journaux ne fonctionne pas bien dans un silo. Rien n'y fait. Vous devez absolument le compléter avec d'autres types de surveillance tels que la surveillance du réseau, la surveillance de l'infrastructure, etc. Et dans un monde idéal, votre solution de surveillance doit être suffisamment complète pour fournir toutes vos informations de surveillance en un seul endroit. Alternativement, il pourrait s'intégrer à d'autres outils qui fournissent ces informations. Le but ici est d'avoir, autant que possible, une vue mono-fenêtre de l'ensemble de l'environnement.
Gestion et automatisation des journaux
La gestion des journaux peut vous aider à détecter les problèmes dès le début, vous faisant ainsi gagner, à vous et à votre équipe, un temps et une énergie précieux. Il peut également vous aider à trouver des opportunités d'automatisation. La plupart des outils de gestion des journaux vous permettent de configurer des alertes personnalisées qui se déclenchent lorsque quelque chose se produit. Certains vous permettront même de configurer des actions automatisées à lancer lorsque ces alertes sont déclenchées. Vous devez utiliser autant d'automatisation que votre outil de gestion le permet. Malgré le temps que vous passerez à mettre en place cette automatisation, vous constaterez que cela en valait la peine la première fois que vous rencontrez un incident.
Les 6 meilleurs outils de gestion des journaux
Nous avons parcouru le marché en essayant de trouver le meilleur outil de gestion des journaux. Nous avons essayé de dresser une liste qui comprend différents types d'outils. Après tout, les besoins de chacun sont différents et le meilleur outil pour l'un n'est pas nécessairement le meilleur pour l'autre.
1. Gestionnaire d'événements de sécurité SolarWinds (ESSAI GRATUIT)
SolarWinds est un nom commun dans le domaine des outils d'administration de réseau. Il existe depuis environ deux décennies et nous a apporté certains des meilleurs outils de surveillance de la bande passante et des analyseurs et collecteurs NetFlow. La société est également connue pour publier plusieurs outils gratuits qui répondent à certains besoins spécifiques des administrateurs réseau, tels qu'un calculateur de sous-réseau ou un serveur syslog.
En ce qui concerne la gestion des journaux, l'offre de la société s'appelle désormais SolarWinds Security Event Manager . Il a récemment été renommé Log & Event Manager , probablement pour mieux refléter le fait qu'il s'agit en réalité de bien plus qu'un simple système de gestion de journaux. Bon nombre de ses fonctionnalités avancées le placent dans la gamme de gestion des informations et des événements de sécurité (SIEM). Il dispose, par exemple, d'une corrélation d'événements en temps réel et d'une correction en temps réel, deux fonctionnalités de type SIEM.
Jetons un coup d'œil à certaines des principales fonctionnalités de SolarWinds Security Event Manager . L'outil peut éliminer rapidement les menaces grâce à la détection instantanée des activités suspectes et aux réponses automatisées. Il peut également effectuer une enquête sur les événements de sécurité et des analyses judiciaires pour l'atténuation et la conformité. Et en ce qui concerne la conformité, le produit vous permettra de le démontrer, grâce à ses rapports éprouvés par audit pour HIPAA, PCI DSS et SOX, entre autres. Cet outil dispose également d'une surveillance de l'intégrité des fichiers et d'une surveillance des périphériques USB, deux fonctionnalités bien supérieures à ce que nous voyons couramment dans les systèmes de gestion des journaux.
Les prix du SolarWinds Security Event Manager commencent à 4 585 $ pour un maximum de 30 nœuds surveillés. Des licences pour jusqu'à 2500 nœuds peuvent être achetées, ce qui rend le produit hautement évolutif. Et si vous souhaitez vérifier concrètement que le produit vous convient, un essai gratuit et complet de 30 jours est disponible.
2. SolarWinds Papertrail (UN PLAN GRATUIT DISPONIBLE)
En deuxième lieu, nous avons un autre excellent produit appelé Papertrail , une récente acquisition par SolarWinds . Papertrail est un système de gestion de journaux basé sur le cloud populaire. Il agrège les fichiers journaux d'une grande variété de produits populaires comme Apache ou MySQL ainsi que les applications Ruby on Rails, différents services d'hébergement cloud et d'autres fichiers journaux de texte standard. Les utilisateurs de Papertrail peuvent ensuite utiliser l'interface de recherche Web ou les outils de ligne de commande pour rechercher dans ces fichiers afin de diagnostiquer les bogues et les problèmes de performances. L'outil s'intègre également à d'autres produits SolarWinds tels que Librato et Geckoboard pour la représentation graphique des résultats.
Papertrail est une offre de logiciel en tant que service (SaaS) basée sur le cloud de SolarWinds . Il est facile à mettre en œuvre, à utiliser et à comprendre. Et cela vous donnera une visibilité instantanée sur tous les systèmes en quelques minutes. L'outil dispose d'un moteur de recherche très efficace qui peut rechercher à la fois les journaux stockés et les journaux en streaming. Et c'est rapide comme l'éclair.
Papertrail est disponible sous plusieurs plans, dont un plan gratuit. Il est cependant quelque peu limité et n'autorise que 100 Mo de journaux par mois. Il autorisera cependant 16 Go de journaux le premier mois, ce qui équivaut à vous offrir un essai gratuit de 30 jours . Les forfaits payants commencent à 7 $/mois pour 1 Go/mois de journaux, 1 an d'archive et 1 semaine d'index. Le filtrage du bruit permet à l'outil de préserver les données en n'enregistrant pas les journaux inutiles.
3. Analyseur de journaux d'événements ManageEngine
ManageEngine , un autre nom commun avec les administrateurs réseau, constitue un excellent système de gestion des journaux appelé ManageEngine EventLog Analyzer . Le produit collectera, gérera, analysera, mettra en corrélation et recherchera dans les données de journal de plus de 700 sources en utilisant une combinaison de collecte de journaux sans agent et avec agent ainsi que l'importation de journaux.
La vitesse est l'un des points forts de ManageEngine EventLog Analyzer . Il peut traiter les données des journaux à un taux impressionnant de 25 000 journaux/seconde et détecter les attaques en temps réel. Il peut également effectuer une analyse médico-légale rapide pour réduire l'impact d'une violation. Les capacités d'audit du système s'étendent aux journaux des périphériques du périmètre réseau, aux activités des utilisateurs, aux modifications de compte de serveur, aux accès des utilisateurs, etc., vous aidant à répondre aux besoins d'audit de sécurité.
Le ManageEngine EventLog Analyzer est disponible dans une version gratuite fonctionnalité réduite qui ne supporte que 5 sources de journal ou dans une édition premium qui commence à 595 $ et varie en fonction du nombre de dispositifs et d' applications. Une version d'essai gratuite et complète de 30 jours est également disponible.
4. Suite de gestion des journaux Ipswitch
Le Log Management Suite est un produit de Ipswitch , la même société qui nous a WhatsUp Gold , un outil de surveillance réseau immensément populaire. Il s'agit d'un outil automatisé qui collecte, stocke, archive et enregistre les journaux système, les événements Windows et les journaux W3C/IIC. De plus, sa surveillance continue des journaux vous alertera de toute activité suspecte.
Les événements fréquemment audités tels que les droits d'accès et les privilèges de fichiers, de dossiers et d'objets peuvent être suivis, générant des alertes si nécessaire et utilisés pour créer des rapports de conformité pour la conformité HIPAA, SOX, FISMA, PCI, MiFID ou Bâle II. L'outil peut également vous aider à transformer vos données brutes de journal en données significatives pour les responsables ou les équipes de sécurité informatique, grâce à ses fonctionnalités de filtrage, de corrélation, de création de rapports et de conversion automatisés.
Les informations sur les tarifs de Log Management Suite ne sont pas facilement disponibles auprès d' Ipswitch . Le produit peut être acheté soit directement auprès de l'éditeur, soit via le réseau de revendeurs Ipswitch . Une version d'essai gratuite est également disponible.
5. Alert Logic Log Manager
Alert Logic se concentre principalement sur la sécurité et la conformité. Et puisque la gestion des journaux est étroitement liée aux deux, il n'est pas surprenant que l'entreprise propose le gestionnaire de journaux Alert Logic . Cet outil basé sur le cloud offre une gestion automatisée et unifiée des journaux dans tous vos environnements. Il collectera, agrégera et recherchera les données des journaux à partir du cloud, du serveur, des applications, de la sécurité et des actifs réseau.
La logique Alert Log Manager inclut journal de suivi et d' analyse ainsi que l' examen du journal qui est fait en direct par des analyseurs humains. Les experts d' Alert Logic vous alertent en cas d'activité potentielle de menace 365 jours par an. Le service aidera également à répondre aux exigences d'examen des journaux de SOC 2, HIPAA et SOX et à se décharger du fardeau de l'examen des journaux et du suivi des événements, pour se conformer aux normes PCI/DSS 10.6, 10.6.1, 10.6.3
Les informations sur les prix d' Alert Logic Log Manager ne sont pas facilement disponibles sur le Web et vous devrez contacter le service commercial d' Alert Logic pour obtenir un devis formel. Un essai gratuit n'est pas non plus disponible, mais une démo gratuite peut être organisée en contactant Alert Logic .
6. Serveur de journaux Nagios
Vous connaissez peut-être déjà Nagios comme un excellent package de surveillance de réseau. Proposé en version gratuite et open-source ainsi qu'en version commerciale, le produit a une solide réputation. Pour la gestion des journaux, Nagios l'offre de est appelée Nagios Log Server . Il s'agit d'un package complet avec une gestion, une surveillance et une analyse centralisées des journaux. Cet outil peut simplifier le processus de recherche de vos données de journal. Il vous permet également de définir des alertes pour être averti des menaces potentielles. De plus, le logiciel intègre une haute disponibilité et un basculement. Ses assistants de configuration de source simples peuvent vous aider à configurer vos serveurs et autres appareils pour envoyer leurs données de journal à la plate-forme, vous permettant de commencer à surveiller vos journaux en quelques minutes.
Le serveur de journalisation Nagios fournit une corrélation facile des événements de journalisation sur toutes les sources de journalisation en quelques clics. Le système vous permettra d'afficher les données du journal en temps réel, ce qui vous permettra d'analyser et de résoudre les problèmes en temps réel, au fur et à mesure qu'ils surviennent. Une autre force du produit est son impressionnante évolutivité. Cet outil continue de répondre à vos besoins au fur et à mesure que votre organisation se développe. Si nécessaire, des instances supplémentaires de Nagios Log Server peuvent être ajoutées à un cluster de surveillance, vous permettant d'ajouter rapidement plus de puissance, de vitesse, de stockage et de fiabilité.
Avec toutes ces caractéristiques, on s'attendrait à un prix élevé. Ce n'est pas le cas et le prix d'une instance unique pour le serveur de journaux Nagios est de 3 995 $ très raisonnable. Bien qu'il n'offre pas d'essai gratuit, une démo en ligne gratuite est disponible, si vous préférez avoir un aperçu du produit. avant de prendre une décision d'achat.
Les balayages de ping peuvent être utilisés à votre avantage de nombreuses façons. Continuez à lire pendant que nous discutons de la façon dont nous présentons les 10 meilleurs outils de balayage Ping que vous pouvez trouver.
Les sites Web sont importants et doivent être constamment surveillés de près pour des performances adéquates. Voici quelques-uns des meilleurs outils de surveillance des sites Web.
Le marché des logiciels de gestion de réseau est très encombré. Raccourcissez votre recherche en suivant nos recommandations des meilleurs outils de gestion de réseau.
Voici un aperçu de certains des meilleurs outils de déploiement de logiciels pour faciliter la gestion d'un nombre illimité de machines
Si vous êtes dans l'industrie de la santé ou si vous êtes impliqué d'une manière ou d'une autre dans l'informatique dans cette industrie, il y a de fortes chances que vous ayez entendu parler de la HIPAA. La portabilité de l'assurance maladie
sFlow est un protocole d'analyse de flux intégré à de nombreux périphériques réseau. Nous passons en revue les cinq meilleurs collecteurs et analyseurs sFlow gratuits.
Pour vous aider à choisir le bon, nous avons présenté les meilleurs outils de surveillance d'infrastructure sans agent et vous ont donné un aperçu rapide de chacun.
Si vous êtes un utilisateur expérimenté de Windows, vous savez probablement et comprenez comment effectuer diverses opérations sur votre PC peut avoir plus d'une approche et
La latence semble être l'ennemi numéro un des réseaux. Ces outils de mesure de la latence vous apprendront comment tester la latence pour détecter, localiser et résoudre les problèmes.
Le moniteur de réseau Windows nécessite des outils avec des exigences limitées. Aujourd'hui, nous examinions les meilleurs outils de surveillance réseau pour Windows 10.
