6 melhores ferramentas de gerenciamento de log para Linux em 2021

Com os sistemas atuais gerando uma tonelada de dados de registro, não é surpresa que os administradores estejam sempre procurando por soluções de gerenciamento de registro. Os logs são, por padrão, geralmente armazenados localmente. Isso faz sentido, pois torna mais fácil vinculá-los às suas fontes. Mas ao tentar solucionar problemas e encontrar sua causa raiz, às vezes temos que olhar para vários arquivos de log em vários dispositivos. Não seria bom se todos os logs de todos os dispositivos fossem armazenados em um local centralizado? Este é o propósito do gerenciamento de log . E se a plataforma de sua escolha for Linux, há muitas opções disponíveis. Continue lendo enquanto descobrimos alguns dos melhores métodos de gerenciamento de registros para Linux

Começaremos definindo o gerenciamento de log. Você verá que isso pode ser um pouco mais do que apenas centralizar o armazenamento de log. A seguir, discutiremos várias tecnologias de registro . Eles são a base do gerenciamento de logs e provavelmente não existiria sem eles. Continuando, vamos diferenciar servidores syslog de sistemas de gerenciamento de log e perceber que não há uma demarcação clara entre eles. A seguir, faremos uma breve pausa e discutiremos os sistemas de gerenciamento de eventos e informações de segurança . Eles são outro tipo de sistema que muitas vezes é confundido com gerenciamento de log, graças à definição um tanto confusa de cada um. E, finalmente, revisaremos o melhor gerenciamento de log para Linux.

O que é gerenciamento de log?

Antes de falarmos sobre gerenciamento de log, vamos definir o que é um log. Definido de forma simples, um log é a documentação produzida automaticamente e com registro de data e hora de um evento relevante para um sistema específico. Em outras palavras, sempre que um evento ocorre em um sistema, um log é gerado. Os sistemas e dispositivos geram logs para diferentes tipos de eventos e muitos sistemas fornecem aos administradores algum grau de controle sobre quais eventos geram um log e quais não.

Quanto ao gerenciamento de log, refere-se simplesmente aos processos e políticas utilizadas para administrar e facilitar a geração, transmissão, análise, armazenamento, arquivamento e eventual descarte de grandes volumes de dados de log. Embora não seja claramente declarado, o gerenciamento de log implica em um sistema centralizado onde os logs de várias fontes são coletados. O gerenciamento de log não é apenas coleta de log, no entanto. É a parte gerencial que é mais importante. E os sistemas de gerenciamento de log geralmente têm várias funcionalidades, a coleta de logs é apenas uma delas.

Depois que os logs são recebidos pelo sistema de gerenciamento de log, eles precisam ser padronizados em um formato comum, pois sistemas diferentes formatam logs de maneira diferente e incluem dados diferentes. Alguns iniciam um registro com a data e hora, outros com um número de evento. Alguns incluem apenas um ID de evento, enquanto outros incluem uma descrição de texto completo do evento. Um dos propósitos dos sistemas de gerenciamento de log é garantir que todas as entradas de log coletadas sejam armazenadas em um formato uniforme. Isso tornará a correlação de eventos e eventual busca muito mais fácil no futuro.

Mesmo a correlação e a pesquisa são duas funções principais adicionais de vários sistemas de gerenciamento de log. O melhor deles apresenta um poderoso mecanismo de busca que permite aos administradores localizar exatamente o que precisam. As funções de correlação agruparão automaticamente os eventos relacionados, mesmo que sejam de fontes diferentes. Como - e com que sucesso - diferentes sistemas de gerenciamento de log conseguem isso é um importante fator de diferenciação.

LEIA TAMBÉM: 15 melhores ferramentas de monitoramento de rede (nossa própria análise)

Tecnologias de extração de madeira

O gerenciamento de log seria muito mais difícil, talvez nem mesmo possível, se não fosse pelos protocolos de log. Alguns deles existem. Eles definem quais dados devem ser incluídos nos logs, como devem ser formatados e, às vezes, como devem ser transmitidos entre sistemas.

Syslog é indiscutivelmente o protocolo de registro mais usado , especialmente no mundo Linux. A tecnologia foi inventada no início dos anos 80 e se tornou o padrão de fato para todos os sistemas do tipo Unix. Um dos maiores ativos da tecnologia syslog é como ela facilita a separação entre o sistema ou software que gera logs, o sistema que os armazena e o software que os relata e analisa. O uso da tecnologia Syslog torna o gerenciamento de log muito mais fácil. E o Syslog não é exclusivo do Unix. Muitos dispositivos não-Unix, como switches, roteadores e todos os tipos de equipamentos de muitos fornecedores, usam uma variante do protocolo syslog.

Existem outras tecnologias de registro. O Microsoft Windows, por exemplo, usa um sistema de registro diferente. Pode ter a ver com o fato de que os sistemas operacionais e aplicativos do Windows possuem logs que normalmente contêm informações mais detalhadas do que o permitido pela tecnologia Syslog. Felizmente, as funções do Coletor de Eventos do Windows fornecem um meio de gerenciamento de log que vários sistemas podem usar para receber eventos de hosts Windows. Esta postagem é sobre gerenciamento de log do Linux, então não vamos perder muito tempo no Windows.

Independentemente da tecnologia de registro usada, uma parte importante do gerenciamento de registros é a configuração de dispositivos para enviar seus registros ao sistema de gerenciamento. Outros tipos de ferramentas, como sistemas de monitoramento de rede, podem buscar dados dos sistemas que monitoram, mas com o gerenciamento de log, cada dispositivo deve ser “informado” para onde enviar seus logs. É, no entanto, uma tarefa relativamente simples que geralmente é realizada emitindo um comando simples.

LEITURA ADICIONAL:  Melhor Software de Topologia e Mapeamento de Diagrama de Rede

Servidores de log ou gerenciamento de log?

Uma vez que está disponível em todos os sistemas semelhantes ao Unix - incluindo Linux - por um bom tempo, o Syslog é frequentemente usado como um servidor de log com um computador recebendo dados Syslog de vários outros. Embora esse armazenamento centralizado de logs tenha vantagens definitivas, não basta ser chamado de gerenciamento de logs.

Para merecer o nome do Sistema de gerenciamento de log, um produto deve incluir pelo menos algumas das funções mais avançadas. De acordo com a Wikipedia, “o gerenciamento de logs é composto pelas seguintes funções: coleta de logs, agregação centralizada de logs, armazenamento e retenção de logs de longo prazo, rotação de logs, análise de logs, pesquisa de logs e relatórios”. Uau! Isso é muita funcionalidade. Os servidores de log, por outro lado, geralmente oferecem apenas a coleta e o armazenamento de logs e raramente mais do que isso.

Uma palavra (ou duas) sobre SIEM

Outra tecnologia popular associada a logs e frequentemente confundida com sistemas de gerenciamento de log é Security Information and Event Management, ou SIEM. Isso é diferente do gerenciamento de log, mas está intimamente relacionado. A linha é tão tênue entre eles que alguns produtos anunciados como sistemas de gerenciamento de log são, na verdade, sistemas SIEM, enquanto alguns sistemas SIEM básicos nada mais são do que sistemas avançados de gerenciamento de log.

A confusão decorre do fato de que o gerenciamento de log - ou, pelo menos, a análise de log - é um componente importante dos sistemas SIEM. O que diferencia os sistemas SIEM é que eles realizam análises de log com o objetivo final de identificar problemas de segurança. Eles irão, por exemplo, procurar por sinais de logins malsucedidos que podem ser um sinal revelador de uma tentativa de intrusão não autorizada . Esses sistemas examinam continuamente as entradas de registro em busca de algo fora do comum . Embora alguns sistemas SIEM incluam recursos abrangentes de gerenciamento de log, alguns usam um sistema de gerenciamento de log externo e não é incomum ver os dois sistemas funcionando lado a lado.

LEITURA RELACIONADA:  Melhores Scanners IP para Mac

O melhor gerenciamento de log para Linux

Esperançosamente, agora temos um entendimento comum sobre o que é e o que não é gerenciamento de log. Então, vamos dar uma olhada no que está disponível para Linux. Mas primeiro, vamos esclarecer algo. Quando nos referimos ao gerenciamento de log do Linux, o que queremos dizer são sistemas de gerenciamento de log que podem acomodar logs do Linux e que serão executados na plataforma Linux ou na nuvem. Algumas de nossas seleções - particularmente sistemas baseados em nuvem - também funcionarão com logs de outras plataformas.

1. SolarWinds Papertrail (PLANO GRATUITO DISPONÍVEL)

SolarWinds se tornou um nome familiar entre os administradores de rede. Está fabricando algumas das melhores ferramentas há quase 20 anos, trazendo-nos ótimas ferramentas de monitoramento de largura de banda e um dos melhores analisadores e coletores NetFlow. A empresa também é conhecida por publicar várias ferramentas gratuitas que atendem a algumas necessidades específicas dos administradores de rede, como calculadora de sub-rede ou um servidor syslog.

• PLANO GRATUITO: SolarWinds Papertrail
• Link oficial para download: https://papertrailapp.com/plans

Não faz muito tempo, a SolarWinds adquiriu o Papertrail , um popular sistema de gerenciamento de registros. Ele agrega arquivos de log de uma ampla variedade de produtos populares como Apache ou MySQL, bem como aplicativos Ruby on Rails, diferentes serviços de hospedagem em nuvem e outros syslog padrão e arquivos de log baseados em texto. Os usuários do Papertrail podem usar a interface de pesquisa baseada na web ou as ferramentas de linha de comando para pesquisar esses arquivos e ajudar a diagnosticar vários problemas. O Papertrail também se integra a outros produtos SolarWinds, como Librato e Geckoboard, para gráficos de resultados.

Papertrail é uma oferta de software como serviço (SaaS) baseada em nuvem da SolarWinds. Ser baseado na nuvem significa que funcionará bem em um ambiente totalmente Linux. A plataforma é fácil de implementar, usar e entender e lhe dará visibilidade instantânea de todos os sistemas em minutos. Além disso, o produto possui um mecanismo de pesquisa muito eficaz que pode pesquisar logs armazenados e de streaming. E é rápido como um relâmpago.

Papertrail está disponível em vários planos, incluindo um plano gratuito . No entanto, é um pouco limitado e permite apenas 100 MB de registros por mês. No entanto, ele permitirá 16 GB de registros no primeiro mês, o que equivale a uma avaliação gratuita de 30 dias . Planos pagos começam em US $ 7 / mês para 1 GB / mês de logs, 1 ano de arquivo e 1 semana de indexação. A filtragem de ruído permite que a ferramenta preserve os dados ao não salvar registros inúteis.

2. Loggly

Loggly é outro serviço online baseado em nuvem. Principalmente um consolidador de log, ele também oferece funcionalidade de análise de log. Como uma virtude de ser baseado na nuvem, este sistema não requer instalação e está pronto para uso no minuto em que você se inscreve. Obviamente, seus sistemas e dispositivos precisarão ser configurados para fazer upload de seus arquivos de log padrão periodicamente para o servidor online.

• AVALIAÇÃO GRATUITA: planos Loggly
• Link oficial: https://www.loggly.com

Loggly então converte os dados de registro recebidos em um formato padrão, permitindo que o analisador processe registros de várias fontes e possibilite o rastreamento e correlação de eventos em todos os sistemas, independentemente de seu sistema operacional ou tecnologia de registro. As fontes de dados de log não se limitam aos servidores locais. O sistema é, obviamente, capaz de processar logs gerados por servidores online, como o AWS da Amazon e pode incluir mensagens criadas por aplicativos específicos, como Docker e Logstash, apenas para citar alguns.

O serviço Loggly está disponível em três planos diferentes, com limites crescentes de processamento de dados e tempos de retenção. Você precisa escolher o caminho certo para ter espaço suficiente para seus dados de registro. O plano básico é denominado Loggly Lite. É de uso gratuito. Com este plano, você pode fazer upload de 200 MB de dados de log por dia e o sistema manterá cada registro por sete dias. Em seguida, vem o plano padrão, que dá a você uma permissão de upload de 1 GB por dia e retém os registros por 30 dias. Os planos pagos também permitem que você use várias contas de usuário. Com o pacote Standard, você pode ter três contas de usuário. O nível superior é chamado Loggly Enterprise. Não há limite para o número de contas de usuários que você pode configurar e os preços variam dependendo da quantidade de capacidade de upload e do período de retenção necessário. O pagamento de todos os planos pagos pode ser mensal ou anual e um teste gratuito de 14 dias está disponível no plano Standard .

3. Splunk

Splunk é um sistema de gerenciamento de log abrangente bem conhecido - dentro da comunidade de administração de sistema - para Linux, Mac OS e Windows. Mais do que apenas um sistema básico de gerenciamento de log, alguns o consideram um sistema completo de prevenção de intrusões. O produto está disponível em três versões. No topo está o Splunk Enterprise, que é mais um sistema de gerenciamento de rede do que apenas uma ferramenta de gerenciamento de log. O preço começa em $ 173 por mês e você obtém muitas funcionalidades.

Também existe uma versão gratuita do Splunk que é basicamente a mesma ferramenta sem algumas de suas funcionalidades mais avançadas. Em essência, é restrito à análise do arquivo de log. Você pode alimentar qualquer um de seus arquivos de registro padrão ou enviar dados ao vivo por meio de um arquivo para o analisador. A versão gratuita tem algumas limitações. Ele pode, por exemplo, ter apenas uma conta de usuário e sua taxa de transferência de dados é limitada a 500 MB de logs por dia. A funcionalidade de classificação e filtragem de dados é incorporada ao Splunk, facilitando seus esforços de solução de problemas. Você pode usar esses recursos para dividir os registros de log por data e gravar cada grupo em novos arquivos. Na verdade, essa funcionalidade é muito flexível.

4. Nagios Log Server

Nagios é mais conhecido por seu excelente software de monitoramento de rede, mas seu Log Server é tão interessante. O produto é simplesmente chamado de Nagios Log Server e oferece gerenciamento, monitoramento e análise de log centralizado. Essa ferramenta pode simplificar muito o processo de pesquisa de seus dados de log. Ele também permite que você defina alertas para ser notificado sobre ameaças potenciais. Além disso, o software tem alta disponibilidade e failover embutidos nele. Além disso, seus assistentes de configuração de fonte fáceis o ajudarão a configurar rapidamente os servidores para enviar todos os dados de log e começar a monitorar seus logs em minutos.

O Nagios Log Server permite uma correlação fácil de eventos de log em todos os servidores com apenas alguns cliques. O sistema permitirá que você visualize os dados de registro em tempo real, dando-lhe a capacidade de analisar e resolver problemas à medida que ocorrem. O produto apresenta escalabilidade impressionante e continuará atendendo às suas necessidades à medida que sua organização cresce. Instâncias adicionais do Nagios Log Server podem ser adicionadas a um cluster de monitoramento, permitindo adicionar rapidamente mais potência, velocidade, armazenamento e confiabilidade.

O preço de instância única para o Nagios Log Server é de US $ 3 995 e, embora uma versão de avaliação gratuita não pareça estar disponível, uma demo online gratuita está, caso você prefira dar uma olhada no produto em primeira mão.

5. Graylog

O próximo em nossa lista é um produto chamado Graylog . O produto oferece muitos recursos interessantes. A ferramenta analisará e enriquecerá os registros e dados de eventos de qualquer fonte de dados. Seus pipelines de processamento permitem alguma flexibilidade no roteamento, lista negra, modificação e enriquecimento de mensagens em tempo real. Graylog pesquisará terabytes de dados de log para descobrir e analisar informações importantes. A poderosa sintaxe de pesquisa permite que você encontre exatamente o que procura.

Com o Graylog , você pode criar painéis para visualizar métricas e observar tendências em um local central. Você pode usar estatísticas de campo, valores rápidos e gráficos da página de resultados da pesquisa para mergulhar para uma análise mais profunda de seus dados. O sistema também tem a opção de acionar ações ou emitir notificações sobre eventos como tentativas de login malsucedidas, exceções ou degradação de desempenho.

Graylog é um sistema baseado em arquivo de log gratuito e de código aberto que pode fornecer a você muito mais funcionalidade do que apenas um utilitário de arquivamento de log. Este analisador de log possui uma interface gráfica de usuário e pode ser executado no Ubuntu, Debian, CentOS e SUSE Linux. Você também pode executá-lo em uma máquina virtual no Microsoft Windows e pode instalar o sistema Graylog no Amazon AWS.

6. ManageEngine EventLog Analyzer

ManageEngine , outro nome comum entre administradores de rede, é um excelente sistema de gerenciamento de log chamado ManageEngine EventLog Analyzer . O produto irá coletar, gerenciar, analisar, correlacionar e pesquisar os dados de log de mais de 700 fontes usando uma combinação de coleta de log sem agente e baseada em agente, bem como importação de log.

A velocidade é um dos pontos fortes do ManageEngine EventLog Analyzer . Ele pode processar dados de registro em impressionantes 25.000 registros / segundo e detectar ataques em tempo real. Ele também pode realizar análises forenses rápidas para reduzir o impacto de uma violação. Os recursos de auditoria do sistema se estendem aos registros dos dispositivos de perímetro da rede, atividades do usuário, alterações de conta do servidor, acessos do usuário e muito mais, ajudando você a atender às necessidades de auditoria de segurança.

O ManageEngine EventLog Analyzer está disponível em uma edição gratuita com recursos reduzidos que suporta apenas 5 fontes de log ou em uma edição premium que começa em $ 595 e varia de acordo com o número de dispositivos e aplicativos. Uma versão de avaliação gratuita de 30 dias com todos os recursos também está disponível.