Melhores práticas e sistemas de gerenciamento de log

Gerenciar logs pode ser uma tarefa complexa. Não apenas uma organização típica gera uma tonelada deles, mas eles vêm de uma variedade de fontes, cada uma com um formato potencialmente diferente e contendo informações diferentes. Para colocar uma aparência de ordem em algo que pode rapidamente ficar caótico, o gerenciamento de toras foi inventado. Hoje, estamos dando uma olhada nas melhores práticas e sistemas de gerenciamento de log. Esperamos que isso o ajude a ver claramente através disso.

Come��aremos com uma breve descrição do gerenciamento de log. Então, vamos mergulhar direto nas melhores práticas de gerenciamento de log. Exploraremos se você deve usar um sistema pronto ou fazer você mesmo. Também veremos o que - e o que não - monitorar, seguido por segurança e retenção de log, bem como considerações de armazenamento. E antes de revisarmos alguns dos melhores sistemas de gerenciamento de log, veremos as várias tarefas de gerenciamento, a revisão e manutenção de logs, a correlação de fontes de dados e algumas considerações de automação.

Sobre Gerenciamento de Log

Definido de forma simples, um log é a documentação produzida automaticamente e com registro de data e hora de um evento relevante para um sistema específico. Quando um evento ocorre em um sistema, um registro - ou entrada de registro - é gerado. Sistemas diferentes irão gerar logs para eventos diferentes. Quanto ao gerenciamento de log, geralmente se refere aos processos e políticas usados ​​para administrar e facilitar a geração, transmissão, análise e armazenamento de dados de log. O gerenciamento de log normalmente implica em um sistema centralizado onde logs de várias fontes são agregados.

O gerenciamento de log não é apenas coleta de log, no entanto. Como o nome indica, a parte de gerenciamento é importante. Uma vez que os logs são recebidos pelo sistema de gerenciamento de logs, eles são “traduzidos” em um formato comum. É necessário, pois sistemas diferentes formatam os logs de maneira diferente e incluem dados diferentes em seus logs. Para facilitar a pesquisa e a correlação de eventos, um dos propósitos dos sistemas de gerenciamento de log é garantir que todas as entradas de log coletadas sejam armazenadas em um formato uniforme.

Falando em pesquisa e até mesmo correlação, este é outro recurso importante da maioria dos sistemas de gerenciamento de log. Os melhores sistemas de gerenciamento de log apresentam um poderoso mecanismo de busca. Ele permite que os administradores se concentrem exatamente no que é necessário. Além disso, a correlação de eventos agrupará automaticamente os eventos relacionados, mesmo que sejam de fontes diferentes.

Práticas recomendadas de gerenciamento de log

O gerenciamento de log é um processo complexo, não há muito que possamos fazer sobre isso. Com essa complexidade, vem o risco de errar. Para evitar isso, compilamos uma lista de algumas das melhores práticas de gerenciamento de log. Nosso objetivo é fornecer o máximo de informações possível para escolher o melhor sistema de gerenciamento de logs para suas necessidades, mas, o mais importante, para obter o máximo dele.

Sistema de gerenciamento de log ou faça você mesmo?

Por alguma razão, algumas pessoas acreditam que podem implementar manualmente um “sistema de gerenciamento de logs”. Se você está entre essas pessoas, pare de se enganar imediatamente. Embora seja possível implementar alguma forma de gerenciamento de log manualmente, os esforços necessários superam em muito o que é necessário para implementar um verdadeiro sistema de gerenciamento de log. E com várias ferramentas gratuitas e de código aberto disponíveis, o argumento do custo não é válido.

Quase sempre faz sentido usar uma solução de registro gerenciado que é construída, com suporte e dimensionada por um fornecedor confiável, em vez de construir um sistema por conta própria. Com eles, tudo o que você normalmente precisa fazer é conectar suas origens e destinos e você estará pronto para analisar os logs do sistema e do aplicativo da maneira mais fácil. Você estará livre para gastar mais tempo monitorando e registrando em vez de construir sua infraestrutura de registro.

Saber o que monitorar (e o que não)

Saber o que registrar é importante, mas é ainda mais importante saber o que não registrar. Só porque você pode registrar algo não significa necessariamente que você deve. O registro muito frequente não faz nada mais do que dificultar a localização de dados que realmente importam. Além disso, o volume extra de logs adiciona complexidade e custo aos seus processos de armazenamento e gerenciamento de logs. É importante pensar com antecedência sobre o que será ou não registrado antes de começar a implementar uma plataforma de gerenciamento de log. Isso evitará erros dispendiosos e permitirá que você dimensione melhor sua ferramenta.

Considere cuidadosamente o que você realmente precisa registrar. Os ambientes de produção que são críticos para a conformidade ou para fins de auditoria devem provavelmente ser registrados. O mesmo deve acontecer com os dados que ajudam a solucionar problemas de desempenho, resolver questões de experiência do usuário ou monitorar eventos relacionados à segurança.

Por outro lado, existem coisas que você não precisa registrar como, por exemplo, ambientes de teste que não são uma parte essencial de seus processos de negócios. Existem também dados que você escolherá não registrar por motivos de conformidade ou segurança. Por exemplo, se um usuário ativou uma configuração de não rastrear, você não deve registrar dados associados a esse usuário.

Implementando uma política de segurança e retenção de registros

Os registros podem conter dados confidenciais. Por esse motivo, você precisa ter uma política de segurança de log. Será inestimável, por exemplo, para garantir que dados confidenciais sejam tornados anônimos ou criptografados. Além disso, o transporte seguro de dados de log para sistemas de gerenciamento de log exige o uso de transporte criptografado usando TLS ou HTTPS no cliente e no servidor.

Quanto à política de retenção, os logs de diferentes fontes ou sistemas podem exigir diferentes tempos de retenção. Por exemplo, os logs que são usados ​​principalmente para solução de problemas podem funcionar com tempos de retenção relativamente curtos, como alguns dias - ou mesmo algumas horas. Por outro lado, os logs relacionados à segurança ou logs de transações de negócios exigem tempos de retenção mais longos, geralmente para conformidade regulamentar. Considerando isso, sua política de retenção deve ser flexível e adaptável, dependendo da fonte de log ou do tipo de log.

Considerações sobre armazenamento de log

Manter os dados de registro usa um valioso espaço de armazenamento. Ao planejar a capacidade de armazenamento para logs, você precisa considerar altos picos de carga. Na maioria das circunstâncias, a quantidade de log de dados por dia é relativamente constante. Depende principalmente da utilização do sistema e / ou do número de transações por dia. No entanto, quando algo dá errado, você pode esperar um crescimento acelerado no volume de log. Se o seu armazenamento de log tem limites que você excede, você pode perder os logs mais recentes. Para mitigar esse efeito, os melhores sistemas de gerenciamento de log usam um buffer cíclico. Ele exclui os dados mais antigos primeiro, antes que qualquer limite de armazenamento seja aplicado.

Além disso, o armazenamento de log deve ter sua própria política de segurança. A maioria dos invasores tentará evitar ou excluir seus rastros nos arquivos de log. Para evitar isso, você deve enviar os logs em tempo real para o armazenamento de log central - de preferência fora do local - e protegê-lo. Portanto, se um invasor tiver acesso à sua infraestrutura, os logs externos manterão as evidências intocadas.

Revisão e manutenção de registros

A manutenção de logs é uma parte importante do gerenciamento de logs, se não a parte mais importante. Logs não mantidos podem levar a uma solução de problemas mais demorada, riscos de exposição de dados e custos mais altos de armazenamento de log. Revise os logs gerados por seus sistemas e ajuste o nível de log de acordo com suas necessidades. Você deve considerar os aspectos de usabilidade, operacionais e de segurança.

Tornar o nível de registro configurável

Alguns logs do sistema são muito detalhados, enquanto outros não fornecem informações suficientes. Infelizmente, nem sempre há algo que você possa fazer a respeito. A maioria dos sistemas fornece níveis de log ajustáveis. Eles são a chave para configurar o detalhamento dos logs e garantir que o que deve ser registrado é e o que não é importante não é.

Inspecione registros de auditoria com frequência

Atuar em questões de segurança é crucial. É por isso que devemos estar sempre atentos às toras. Se o seu sistema de gerenciamento de log não tiver esse recurso - muitos deles têm, use ferramentas de segurança externas, como auditd ou OSSEC. Eles implementam análise de log em tempo real e geram logs de alerta apontando para possíveis problemas de segurança. E além disso, você deve definir alertas sobre eventos críticos para ser avisado rapidamente sobre qualquer atividade suspeita.

Fontes de dados correlacionadas

A extração de madeira é apenas um elemento de uma estratégia de monitoramento global. Para um monitoramento realmente eficaz, você precisa complementar o gerenciamento de log com outros tipos de monitoramento, como monitoramento baseado em eventos, alertas e rastreamento. Fazer isso é a melhor maneira de obter uma visão geral do que está acontecendo em qualquer momento. Embora os registros sejam bons para fornecer detalhes de alta definição sobre os problemas, isso é mais útil quando você se distancia um pouco para olhar a floresta antes de aproximar as árvores.

O gerenciamento de log não funciona bem em um silo. Nada faz. Definitivamente, você deve complementá-lo com outros tipos de monitoramento, como monitoramento de rede, monitoramento de infraestrutura e muito mais. E em um mundo ideal, sua solução de monitoramento deve ser abrangente o suficiente para fornecer todas as informações de monitoramento em um só lugar. Como alternativa, ele pode se integrar com outras ferramentas que fornecem essas informações. O objetivo aqui é ter, tanto quanto possível, uma visão de painel único de todo o ambiente.

Gerenciamento e automação de logs

O gerenciamento de registros pode ajudá-lo a detectar problemas logo no início, economizando tempo e energia valiosos para você e sua equipe. Também pode ajudá-lo a encontrar oportunidades de automação. A maioria das ferramentas de gerenciamento de log permite que você configure alertas personalizados que são acionados quando algo acontece. Alguns até permitem que você configure ações automatizadas a serem iniciadas quando esses alertas forem acionados. Você deve usar o máximo de automação que sua ferramenta de gerenciamento permitir. Apesar do tempo que você gastará configurando essa automação, você descobrirá que valeu a pena na primeira vez que encontrar um incidente.

As 6 principais ferramentas de gerenciamento de log

Vasculhamos o mercado tentando encontrar a melhor ferramenta de gerenciamento de log. Tentamos montar uma lista que inclui vários tipos de ferramentas. Afinal, as necessidades de cada um são diferentes e a melhor ferramenta para um não é necessariamente a melhor para outra.

1. SolarWinds Security Event Manager (AVALIAÇÃO GRATUITA)

SolarWinds é um nome comum na área de ferramentas de administração de rede. Ele existe há cerca de duas décadas e nos trouxe algumas das melhores ferramentas de monitoramento de largura de banda e analisadores e coletores NetFlow. A empresa também é conhecida por publicar várias ferramentas gratuitas que atendem a algumas necessidades específicas dos administradores de rede, como calculadora de sub-rede ou um servidor syslog.

Quando se trata de gerenciamento de log, a oferta da empresa agora é chamada de SolarWinds Security Event Manager . Ele foi recentemente renomeado de Log & Event Manager , provavelmente para refletir melhor o fato de que ele é, na verdade, muito mais do que apenas um sistema de gerenciamento de log. Muitos de seus recursos avançados o colocam na faixa de Gerenciamento de Informações e Eventos de Segurança (SIEM). Ele tem, por exemplo, correlação de eventos em tempo real e correção em tempo real, dois recursos do tipo SIEM.

• AVALIAÇÃO GRATUITA: SolarWinds Security Event Manager
• Link oficial para download: https://www.solarwinds.com/security-event-manager/registration

Vamos dar uma olhada em alguns dos principais recursos do SolarWinds Security Event Manager . A ferramenta pode eliminar ameaças rapidamente usando a detecção instantânea de atividades suspeitas e respostas automatizadas. Ele também pode realizar investigação de eventos de segurança e análise forense para mitigação e conformidade. E por falar em conformidade, o produto permitirá que você demonstre isso, graças aos seus relatórios comprovados de auditoria para HIPAA, PCI DSS e SOX, entre outros. Essa ferramenta também possui monitoramento de integridade de arquivo e monitoramento de dispositivo USB, dois recursos que estão muito acima do que comumente vemos em sistemas de gerenciamento de log.

Prices for the SolarWinds Security Event Manager start at $4,585 for up to 30 monitored nodes. Licenses for up to 2500 nodes can be purchased making the product highly scalable. And if you want to verify hands-on that the product is right for you, a free, full-featured 30-day trial is available.

2. SolarWinds Papertrail (FREE PLAN AVAILABLE)

Em segundo lugar, temos outro grande produto chamado Papertrail , uma aquisição recente da SolarWinds . Papertrail é um sistema de gerenciamento de log baseado em nuvem popular. Ele agrega arquivos de log de uma ampla variedade de produtos populares como Apache ou MySQL, bem como aplicativos Ruby on Rails, diferentes serviços de hospedagem em nuvem e outros arquivos de log de texto padrão. Os usuários do Papertrail podem usar a interface de pesquisa baseada na web ou as ferramentas de linha de comando para pesquisar esses arquivos e ajudar a diagnosticar bugs e problemas de desempenho. A ferramenta também se integra a outros produtos SolarWinds , como Librato e Geckoboard, para gráficos de resultados.

• PLANO GRATUITO DISPONÍVEL: SolarWinds Papertrail
• Link oficial para download: https://papertrailapp.com/plans

Papertrail é uma oferta de software como serviço (SaaS) baseada em nuvem da SolarWinds . É fácil de implementar, usar e entender. E isso lhe dará visibilidade instantânea em todos os sistemas em minutos. A ferramenta possui um mecanismo de pesquisa muito eficaz que pode pesquisar logs armazenados e de streaming. E é rápido como um relâmpago.

Papertrail está disponível em vários planos, incluindo um plano gratuito. No entanto, é um pouco limitado e permite apenas 100 MB de registros por mês. No entanto, ele permitirá 16 GB de registros no primeiro mês, o que equivale a uma avaliação gratuita de 30 dias . Planos pagos começam em US $ 7 / mês para 1 GB / mês de logs, 1 ano de arquivo e 1 semana de indexação. A filtragem de ruído permite que a ferramenta preserve os dados ao não salvar registros inúteis.

3. ManageEngine EventLog Analyzer

ManageEngine , outro nome comum entre administradores de rede, é um excelente sistema de gerenciamento de log chamado ManageEngine EventLog Analyzer . O produto irá coletar, gerenciar, analisar, correlacionar e pesquisar os dados de log de mais de 700 fontes usando uma combinação de coleta de log sem agente e baseada em agente, bem como importação de log.

A velocidade é um dos pontos fortes do ManageEngine EventLog Analyzer . Ele pode processar dados de registro em impressionantes 25.000 registros / segundo e detectar ataques em tempo real. Ele também pode realizar análises forenses rápidas para reduzir o impacto de uma violação. Os recursos de auditoria do sistema se estendem aos registros dos dispositivos de perímetro da rede, atividades do usuário, alterações de conta do servidor, acessos do usuário e muito mais, ajudando você a atender às necessidades de auditoria de segurança.

O ManageEngine EventLog Analyzer está disponível em uma edição gratuita com recursos reduzidos que suporta apenas 5 fontes de log ou em uma edição premium que começa em $ 595 e varia de acordo com o número de dispositivos e aplicativos. Uma versão de avaliação gratuita de 30 dias com todos os recursos também está disponível.

4. Ipswitch Log Management Suite

O Log Management Suite é um produto da Ipswitch , a mesma empresa que nos trouxe o WhatsUp Gold , uma ferramenta de monitoramento de rede extremamente popular. Esta é uma ferramenta automatizada que coleta, armazena, arquiva e salva logs do sistema, eventos do Windows e logs W3C / IIC. Além disso, sua vigilância contínua de registro irá alertá-lo sobre qualquer atividade suspeita.

Eventos auditados com frequência, como direitos de acesso e privilégios de arquivo, pasta e objeto, podem ser seguidos, gerando alertas conforme necessário e usados ​​para criar relatórios de conformidade para conformidade com HIPAA, SOX, FISMA, PCI, MiFID ou Basel II. A ferramenta também pode ajudá-lo a transformar seus dados brutos de log em dados significativos para gerentes ou equipes de segurança de TI, graças aos seus recursos automatizados de filtragem, correlação, geração de relatórios e conversão.

As informações sobre preços do Log Management Suite não estão prontamente disponíveis no Ipswitch . O produto pode ser adquirido diretamente do editor ou por meio da rede de revendedores da Ipswitch . Uma versão de teste gratuita também está disponível.

5. Alert Logic Log Manager

O foco principal do Alert Logic é a segurança e conformidade. E como o gerenciamento de log está intimamente relacionado a ambos, não é surpresa que a empresa ofereça o Alert Logic Log Manager . Esta ferramenta baseada em nuvem oferece gerenciamento de log automatizado e unificado em todos os seus ambientes. Ele irá coletar, agregar e pesquisar dados de log da nuvem, servidor, aplicativo, segurança e ativos de rede.

O Alert Logic Log Manager inclui monitoramento e análise de log, bem como revisão de log que é feita ao vivo por analisadores humanos. Os especialistas da Alert Logic irão alertá-lo sobre possíveis atividades de ameaças 365 dias por ano. O serviço também ajudará a atender aos requisitos de revisão de log de SOC 2, HIPAA e SOX e aliviar a carga de revisão de logs e acompanhamento de eventos, para cumprir PCI / DSS 10.6, 10.6.1, 10.6.3

As informações de preço do Alert Logic Log Manager não estão disponíveis na web e você precisará entrar em contato com o departamento de vendas da Alert Logic para obter uma cotação formal. Uma avaliação gratuita também não está disponível, mas uma demonstração gratuita pode ser organizada entrando em contato com a Alert Logic .

6. Nagios Log Server

Você já deve conhecer o Nagios como um excelente pacote de monitoramento de rede. Oferecido de forma gratuita e de código aberto, bem como em versão comercial, o produto tem sólida reputação. Para o gerenciamento de log, Nagios oferta 'é chamado o Nagios de log do servidor . É um pacote completo com gerenciamento, monitoramento e análise de log centralizado. Essa ferramenta pode simplificar o processo de pesquisa de seus dados de log. Ele também permite que você defina alertas para ser notificado sobre ameaças potenciais. Além disso, o software tem alta disponibilidade e failover embutidos nele. Seus assistentes de configuração de fonte fáceis podem ajudá-lo a configurar seus servidores e outros dispositivos para enviar seus dados de log para a plataforma, permitindo que você comece a monitorar seus logs em minutos.

O Nagios Log Server oferece fácil correlação de eventos de log em todas as fontes de log com apenas alguns cliques. O sistema permitirá visualizar os dados de log em tempo real, permitindo analisar e resolver problemas em tempo real, à medida que ocorrem. Outro ponto forte do produto é sua escalabilidade impressionante. Essa ferramenta continua atendendo às suas necessidades à medida que sua organização cresce. Se necessário, instâncias adicionais do Nagios Log Server podem ser adicionadas a um cluster de monitoramento, permitindo adicionar rapidamente mais potência, velocidade, armazenamento e confiabilidade.

Com todos esses recursos, seria de se esperar um preço alto. Não é o caso e o preço de instância única para o Nagios Log Server é de US $ 3 995 muito razoáveis. Apesar de não oferecer uma avaliação gratuita, uma demonstração online gratuita está disponível, caso você prefira dar uma olhada no produto em primeira mão antes de tomar uma decisão de compra.