Cinco principais ferramentas e software de monitoramento Apache Cassandra (edição 2021)

Embora os bancos de dados NoSQL não sejam tão conhecidos quanto seus equivalentes relacionais, eles são muito populares com aplicativos da web. O Apache Cassandra é provavelmente um dos mais populares desses bancos de dados. Assim como qualquer outro tipo de banco de dados, eles também devem ser monitorados. E como pode ser opressor manter um olhar atento e constante sobre as coisas manualmente, as ferramentas de monitoramento são o caminho a percorrer. Hoje, vamos dar uma olhada em cinco das melhores ferramentas que você pode usar para monitorar bancos de dados Apache Cassandra.

Começaremos apresentando o Apache Cassandra, caso você ainda não esteja familiarizado com o produto. A seguir, discutiremos os bancos de dados NoSQL e o que os torna diferentes dos tipos mais convencionais. Em seguida, entraremos em detalhes no assunto de monitoramento de banco de dados, com foco no que deve ser monitorado nos bancos de dados. Isso nos levará ao centro de nossa discussão, as melhores ferramentas para monitorar bancos de dados Apache Cassandra.

Sobre Apache Cassandra

Apache Cassandra é um sistema de gerenciamento de banco de dados NoSQL gratuito e de código aberto projetado para lidar com grandes quantidades de dados em muitos servidores de commodities, fornecendo alta disponibilidade sem nenhum ponto único de falha. Esse sistema de banco de dados de armazenamento de colunas amplo e distribuído oferece suporte robusto para clusters que abrangem vários datacenters com replicação masterless assíncrona. Isso permite operações de baixa latência. Ele tem sido usado por grandes organizações como Apple, Spotify, Netflix e Uber. É amplamente utilizado em parte devido às suas características de tolerância a falhas, escalabilidade e descentralização.

Cassandra foi inicialmente desenvolvido no Facebook por Avinash Lakshman, um dos autores de Amazon's Dynamo, e Prashant Malik para alimentar o recurso de busca da caixa de entrada do Facebook. O Facebook lançou o produto como um projeto de código aberto no código do Google em julho de 2008. Alguns meses depois, em março de 2009, o projeto tornou-se um projeto da Incubadora Apache e cerca de um ano depois, em 17 de fevereiro de 2010, passou para um dos melhores projeto de nível. O nome é uma referência direta ao profeta mitológico troiano Cassandra, com alusões clássicas a uma maldição em um oráculo.

Por ser um banco de dados NoSQL, o Cassandra usa o Cassandra Query Language, uma interface simples para acessar o Cassandra. CQL, como é geralmente referido, fornece uma camada de abstração que oculta os detalhes de implementação dessa estrutura e oferece sintaxe nativa para coleções e outras codificações comuns. Os drivers de linguagem estão disponíveis para Java, Python, Node.JS, Go e C ++.

As melhores ferramentas para monitorar Apache Cassandra

Portanto, agora que estamos todos na mesma página quanto ao que significa monitorar os bancos de dados do Apache Cassandra, aqui está nossa escolha de algumas das melhores ferramentas que você pode usar para esse propósito. Muitas das ferramentas em nossa lista são, na verdade, ferramentas de monitoramento de aplicativos. Isso não deve ser uma surpresa, pois o Apache Cassandra é, na verdade, apenas mais um aplicativo em execução em um servidor. Outras ferramentas são ferramentas de monitoramento de banco de dados dedicadas, mas isso não significa necessariamente que sejam ferramentas melhores. Tudo depende de quais são suas necessidades exatas.

1. SolarWinds Server & Application Monitor (AVALIAÇÃO GRATUITA)

O SolarWinds Server and Application Monitor foi projetado para ajudar os administradores a monitorar servidores, seus parâmetros operacionais, seus processos e os aplicativos que estão sendo executados neles. Ele pode ser facilmente escalado de redes muito pequenas a grandes com centenas de servidores - físicos e virtuais - espalhados por vários sites. A ferramenta também pode monitorar serviços hospedados em nuvem, como os da Amazon Web Services e do Microsoft Azure. Essa ferramenta poderosa também permite monitorar o desempenho e a disponibilidade dos servidores Apache Cassandra no Linux ou Unix. Ele fornecerá detalhes sobre a integridade do serviço, estatísticas de nós e rastreamento de rede, permitindo que os administradores visualizem todos os parâmetros relevantes em um painel unificado.

• AVALIAÇÃO GRATUITA: SolarWinds Server e Application Monitor
• Link oficial para download: https://www.solarwinds.com/server-application-monitor/registration

O SolarWinds Server and Application Monitor é muito fácil de configurar e sua configuração inicial também é feita com a ajuda de seu processo de descoberta automática. É um processo de duas passagens. A primeira passagem descobrirá servidores e a segunda encontrará aplicativos. Isso pode levar algum tempo, mas pode ser acelerado fornecendo à ferramenta uma lista de aplicativos específicos a serem procurados. Assim que a ferramenta estiver instalada e funcionando, a interface de usuário amigável torna o uso dela muito fácil. Você pode optar por exibir as informações em formato de tabela ou gráfico.

Os preços do SolarWinds Server e Application Monitor começam em US $ 2 995 e variam com base no número de componentes, nós e volumes monitorados. Uma versão de avaliação gratuita de 30 dias está disponível para download, caso você queira experimentar o produto antes de comprá-lo.

2. SolarWinds AppOptics (AVALIAÇÃO GRATUITA)

A seguir em nossa lista está outra grande plataforma da SolarWinds. No entanto, é radicalmente diferente da entrada anterior. SolarWinds AppOptics é uma oferta de software como serviço (SaaS) baseada em nuvem para infraestrutura ou monitoramento de desempenho. Este serviço é composto por dois componentes.

• A infraestrutura AppOptics é um serviço tradicional de monitoramento de infraestrutura que permite monitorar a saúde de todos os seus sistemas críticos com uma plataforma altamente escalonável e econômica, oferecendo visibilidade contínua de hosts, contêineres e seu ambiente sem servidor.
• O outro componente é o AppOptics Application Performance Monitoring e oferece monitoramento full-stack de métricas, rastreamentos e logs.

• AVALIAÇÃO GRATUITA: SolarWinds AppOptics
• Link oficial: https://my.appoptics.com/sign_up

Entre outras coisas, SolarWinds AppOptics oferece rastreamento distribuído, uma funcionalidade que permite medir e monitorar o desempenho de pilhas de aplicativos em cada camada de componente, incluindo rede, banco de dados, API, IU, etc. Por exemplo, para ajudar a solucionar problemas de desempenho do banco de dados Apache Cassandra problemas, os desenvolvedores podem usar um recurso chamado “Consultas rastreadas”. Usando-os, o SolarWinds AppOptics pode fazer uma busca detalhada em qualquer consulta de banco de dados e identificar as chamadas de aplicativo que estão causando baixo desempenho.

SolarWinds AppOptics fornece um painel unificado, alertas e gerenciamento para o desempenho do aplicativo e monitoramento da infraestrutura. Ele virtualmente remove a divisão entre o desempenho do aplicativo e o monitoramento da infraestrutura, permitindo que você cruze as métricas de desempenho do aplicativo, servidor e infraestrutura lado a lado no mesmo painel. Pode ajudar a otimizar seus esforços de solução de problemas e diminuir drasticamente o tempo de resolução.

O custo do serviço SolarWinds AppOptics APM é de US $ 2.999 / ano. Este é um preço com tudo incluído que permite monitorar até 10 hosts, 100 contêineres, 100 rastreamentos por minuto e 1.000 métricas personalizadas. Opcionalmente, você pode adicionar rastreamentos adicionais para sites de alto tráfego ao custo de US $ 1.000 / ano para 100 rastreamentos adicionais por minuto ou métricas personalizadas ao custo de US $ 599 / ano para 1.000 métricas. Se você preferir experimentar o serviço primeiro, um teste gratuito de 14 dias sem necessidade de cartão de crédito está disponível .

3. ManageEngine Applications Manager

ManageEngine pode não ser tão conhecido como SolarWinds, mas ainda é outro nome que goza de uma excelente reputação entre os administradores de rede e banco de dados. O ManageEngine Application Manager lida com o gerenciamento de aplicativos. Você provavelmente descobriu por si mesmo. Este é, no entanto, um nome um tanto enganoso, pois é tanto uma plataforma de monitoramento quanto uma ferramenta de gerenciamento.

Esta ferramenta oferece monitoramento de desempenho de aplicativo integrado para todas as suas necessidades de monitoramento de servidor e aplicativo. Ele também pode fazer isso para os componentes de infraestrutura subjacentes, como servidores de aplicativos, bancos de dados, middle-ware e componentes de mensagens, servidores web, serviços web, pacotes ERP, sistemas virtuais e recursos de nuvem. Em poucas palavras, esta é uma plataforma abrangente.

O ManageEngine Applications Manager fornece monitoramento de desempenho Cassandra abrangente e administração de todos os nós em um cluster a partir de um console centralizado. Ele permite coletar dados estatísticos de todas as JVMs em um cluster, bem como métricas de desempenho chave como métricas de utilização de memória, métricas de tarefa de pools de encadeamentos, métricas de armazenamento, uso de CPU, desempenho de operação, latência e tarefas pendentes. A ferramenta também pode rastrear as métricas do sistema operacional em seus nós do Cassandra, como o número de processadores, exceções, utilização da CPU e tendências de tempo.

Essa ferramenta também monitora conjuntos de encadeamentos distintos do Cassandra para fornecer estatísticas sobre o número de tarefas que estão ativas, pendentes, concluídas e bloqueadas. O monitoramento de tendências nesses pools para aumentos na coluna de tarefas pendentes pode ajudá-lo a planejar a adição de capacidade adicional. Também pode ajudá-lo a lidar com cenários de sobrecarga em seu ambiente do Cassandra, observando as mensagens eliminadas. Você pode receber um resumo do log de mensagens perdidas junto com o tipo de mensagem, bem como estabelecer limites e configurar alarmes para notificá-lo sobre mensagens perdidas.

O ManageEngine Application Manager está disponível em várias edições. Há uma edição gratuita com recursos limitados, bem como versões pagas Professional e Enterprise. O preço começa em $ 945 e os detalhes podem ser obtidos entrando em contato com a ManageEngine. Uma versão de avaliação gratuita de 30 dias também está disponível.

4. Dynatrace

Dynatrace é outra oferta de software como serviço (SaaS) baseada em nuvem. Ele pode detectar, resolver e otimizar aplicativos automaticamente. Descobrir e mapear um ecossistema de aplicativos complexo é simplesmente uma questão de instalar o Dynatrace OneAgent . O serviço fornecerá uma visão de alta fidelidade de toda a pilha de aplicativos, desde o desempenho dos aplicativos, infraestrutura em nuvem e experiência do usuário. Ele o ajudará a detectar problemas sem esforço, juntamente com seus impactos nos negócios e a causa raiz.

Quando encarregado de monitorar os bancos de dados do Apache Cassandra, o Dynatrace os detecta automaticamente em menos de cinco minutos. Ele permite monitorar várias métricas, incluindo CPU, conectividade, tempo de coleta de lixo, suspensão e retransmissões. Na guia “ Mais detalhes” , você pode ter uma visão mais aprofundada das estatísticas, como uso de disco, cache, dicas, carga, conjuntos de threads e memória gerenciada Java. A plataforma também oferece análise de causa raiz. Ele pode destacar automaticamente a causa raiz dos problemas de desempenho em nós individuais, permitindo que você responda aos problemas do servidor com muito mais rapidez e fornecendo todas as informações necessárias para criar uma resposta informada.

A Dynatrace também afirma ter a cobertura mais ampla de qualquer solução de monitoramento em termos de linguagens suportadas, arquiteturas de aplicativos, nuvem, local ou híbrido, aplicativos corporativos, monitoramento SaaS e muito mais. A ferramenta descobre e monitora automaticamente microsserviços dinâmicos em execução dentro de contêineres. Ele mostra como eles estão se saindo, como se comunicam entre si e ajuda a detectar rapidamente microsserviços com baixo desempenho.

Os preços do Dynatrace não estão disponíveis, mas podem ser obtidos inscrevendo-se no teste gratuito de 15 dias. Depois de se registrar para a avaliação, é apenas uma questão de instalar o agente em seus servidores e você pode iniciar o monitoramento em 5 minutos.

5. AppDynamics APM

O último de nossa lista é o AppDynamics APM, uma excelente ferramenta de gerenciamento de desempenho de aplicativos da Cisco. Essa ferramenta descobrirá, mapeará e visualizará automaticamente as jornadas críticas do cliente por meio de cada serviço de aplicativo e componente de infraestrutura. Ele fornece às equipes de gerenciamento uma única fonte de informações para enfocar o desempenho de ponta a ponta no contexto da experiência do cliente, em vez de monitorar serviços individuais.

Com os bancos de dados Apache Cassandra, o AppDynamics APM irá descobri-los e adicioná-los ao seu ambiente de monitoramento. Uma vez adicionadas, existem várias métricas que você pode monitorar. Por exemplo, monitorar as comunicações de back-end do Cassandra permitirá que você colete dados sobre o tempo médio de resposta, erros por minuto e chamadas por minuto, dando a você uma visão geral de como o serviço está funcionando.

Essa ferramenta usa aprendizado de máquina para aprender o que é desempenho normal, construindo efetivamente sua própria linha de base de desempenho do aplicativo. Ele permite que a ferramenta o alerte sempre que o desempenho não estiver normal. Há integração direta com ServiceNow, PagerDuty e Jira para que você possa ser alertado imediatamente e corrigir problemas antes que os clientes os notem.

Outro excelente recurso são os diagnósticos imediatos e automatizados em nível de código da ferramenta. Seus profundos recursos de diagnóstico permitem que você identifique a causa raiz em uma linha individual de código. Sua equipe não terá que vasculhar arquivos de log, economizando um tempo valioso do desenvolvedor.

O AppDynamics APM está disponível em várias versões. O mais básico é chamado APM Pro. APM Advanced adiciona visibilidade de servidor e recursos de visibilidade de rede. O nível superior é chamado de APM Peak e inclui todos os recursos do APM Advanced, além de monitoramento de desempenho de negócios, análise de transações e jornadas de negócios. Os preços podem ser obtidos entrando em contato com AppDynamics e uma versão de avaliação de 30 dias está disponível.

Apresentando bancos de dados NoSQL

Um banco de dados NoSQL é um tipo de banco de dados que fornece um mecanismo para armazenamento e recuperação de dados modelados em outros meios que não as relações tabulares usadas em bancos de dados relacionais. Esses bancos de dados existem desde o final dos anos 1960, mas não eram chamados de “NoSQL” até um aumento de popularidade desencadeado pelas necessidades das organizações da Web 2.0 no início do século 21. Os bancos de dados NoSQL são cada vez mais usados ​​em big data e aplicativos da web em tempo real. E embora eles não usem SQL por si só - daí seu nome - algumas pessoas preferem chamá-los de "Não apenas SQL" para enfatizar o fato de que eles podem oferecer suporte a linguagens de consulta semelhantes a SQL, como o CQL para Cassandra ou sentar-se ao lado de SQL bancos de dados em arquiteturas persistentes poliglotas.

Existem vários tipos de bancos de dados NoSQL, com diferentes categorias e subcategorias. No caso do banco de dados Apache Cassandra, é o que costuma ser chamado de amplo armazenamento de colunas. Esse tipo específico de banco de dados NoSQL usa tabelas, linhas e colunas, mas, ao contrário de um banco de dados relacional, os nomes e o formato das colunas podem variar de linha para linha na mesma tabela. Além disso, grandes armazenamentos de colunas, como o Apache Cassandra, não são armazenamentos de colunas no sentido original do termo. Em armazenamentos de coluna genuínos, um layout de dados colunar é adotado de forma que cada coluna seja armazenada separadamente no disco. AS para grandes armazenamentos de colunas, eles geralmente suportam a noção de famílias de colunas que são armazenadas separadamente, com cada família de colunas tipicamente contendo várias colunas que são usadas juntas, semelhante às tabelas de banco de dados relacionais tradicionais.

Os meandros do monitoramento de banco de dados

Uma coisa excelente sobre o Cassandra é como ele vem com recursos integrados como tolerância a falhas. Isso, no entanto, não significa que seja uma solução do tipo definir e esquecer. Ele ainda precisa ser gerenciado e monitorado. Por exemplo, a disponibilidade, desempenho e segurança de um sistema de banco de dados são preocupações importantes para qualquer administrador de banco de dados. É por isso que os administradores de sistema normalmente usam várias ferramentas de monitoramento de banco de dados.

A configuração adequada de sistemas de monitoramento de banco de dados pode trazer vários benefícios. Por exemplo, o monitoramento proativo é sempre melhor do que uma abordagem reativa, pois é sempre preferível identificar quaisquer sinais de alerta antes que se tornem incidentes graves. Além disso, uma solução adequada de monitoramento de banco de dados pode ajudar a localizar e resolver rapidamente todos os problemas possíveis. Sempre que um sistema passa por desacelerações inexplicáveis, o primeiro lugar que as pessoas começam a investigar costuma ser o banco de dados. Mas o monitoramento não é apenas uma questão de desempenho. Também estamos falando sobre ficar de olho em eventos relacionados à segurança. Verificar backups é outro benefício comum de uma boa ferramenta de monitoramento de banco de dados.

Não existe um modelo universalmente aceito para construir um ambiente de monitoramento de banco de dados. Em parte, isso se deve ao fato de que empresas diferentes usam bancos de dados diferentes. E como cada tipo de banco de dados pode expor diferentes tipos de métricas com vários níveis de granularidade, uma métrica importante em uma plataforma pode não ser importante em outra.

Por exemplo, vamos considerar algumas diferenças importantes entre vários tipos de bancos de dados que podem impactar sua estratégia de monitoramento. Os bancos de dados relacionais são usados ​​principalmente em sistemas de processamento de transações online. Os sistemas de data warehouse hospedam grandes volumes de dados de baixa velocidade. Os bancos de dados NoSQL são usados ​​com mais frequência em aplicativos móveis ou da web para hospedar metadados ou informações de status. Os bancos de dados na memória são usados ​​para desempenho rápido. É claro que a necessidade de monitoramento em cada um desses casos pode ser muito diferente.

Além disso, não importa qual categoria de banco de dados você está usando, outros fatores afetarão as métricas importantes. O mais importante certamente é o fornecedor do software. As métricas importantes em um banco de dados Cassandra, por exemplo, podem ser muito diferentes daquelas de um banco de dados MySQL ou Oracle. Da mesma forma, os bancos de dados locais e hospedados na nuvem podem ter diferentes necessidades de monitoramento, com algumas métricas sendo importantes em um, mas não no outro. No caso de bancos de dados hospedados em nuvem, as soluções de banco de dados gerenciadas e não gerenciadas terão necessidades de monitoramento diferentes. Da mesma forma, os bancos de dados locais terão diferentes necessidades de monitoramento, dependendo se são executados em hardware físico ou virtual.

O que monitorar

Com tantas métricas que podem ser monitoradas, pode ser opressor. E decidir o que monitorar - e não monitorar - pode ser uma tarefa assustadora. Reunimos uma lista de algumas métricas que consideramos importantes monitorar. Eles estão listados abaixo em diferentes categorias de monitoramento. Juntas, essas métricas podem pintar uma imagem bastante detalhada do estado de qualquer ambiente de banco de dados.

A infraestrutura

A primeira categoria de métricas de monitoramento é infraestrutura. Ele lida com o hardware subjacente no qual seus bancos de dados estão sendo executados. Qualquer variação dessas métricas acima dos limites aceitáveis ​​provavelmente afetará adversamente outras métricas do banco de dados. Por exemplo, a superutilização da rede pode disparar alertas de desempenho em métricas de outras categorias.

Disponibilidade

A disponibilidade do banco de dados é, obviamente, outra categoria de métricas que está entre as mais importantes. Afinal, você normalmente desejará certificar-se de que o banco de dados está disponível e acessível antes de examinar qualquer outra métrica. Existem várias maneiras de monitorar a disponibilidade do banco de dados, mas entre as mais populares estão a acessibilidade de nós de banco de dados usando protocolos comuns, como ping ou telnet, a acessibilidade de terminais e portas de banco de dados ou eventos de failover para nós mestres e eventos de atualização para escravos / pares nós em clusters de vários nós. Qualquer um desses parâmetros pode ser usado para alertá-lo sobre um problema de disponibilidade, mas combiná-los fornecerá a melhor proteção.

Taxa de transferência

Throughput often refers to the network data-carrying capacity. This is different in the context of monitoring databases, and we’re really talking about the throughput of the database itself. Ideally, throughput metrics would initially be used to create a performance baseline or, even better, several baselines during different workload periods. For example, collecting metrics during month-end batch processing or Black Friday sale events over several cycles will provide insight into a system’s performance during those periods. And it may be quite different from after-hours operations or weekday sales events. Baselines can then be used to create acceptable thresholds for alarms. Any large deviation from usual values would then need investigation.

Performance

The available performance counters could vary between different databases. They are typically reported on a specific time scale (per minute or per second, for instance). These metrics can provide a tell-tale sign of potential bottlenecks. Just as it was with throughput, creating baselines for these metrics is also recommended.

Scheduled Tasks

Database engines often automatically run repetitive tasks or scheduled jobs. Some systems, like Microsoft SQL Server or Oracle, have a built-in job scheduling facility but others use the operating system’s scheduler—such as cron—or third-party schedulers. Regardless of what the actual jobs are or how they are scheduled, what you need to monitor is not only that they ran but, more importantly, what their outcome (success or failure) was.

Security

Security is often the most important aspect of IT administration and this is just as true with databases as it is with other systems. As such, it is important to keep an eye on the security of your databases. And while you may not need to monitor every single security event, you might want to look at their aggregated meaning. Let’s explain. Suppose you’re monitoring failed login attempts. A single failed login is most likely a sign of someone mistyping a password. On the other hand, if you see hundreds of them within a relatively short time frame, it could be the sign of an intrusion attempt.

Failed logins are certainly not the only security element you want to monitor. Database configuration change events are just as important. And so are new user account creations or password changes. Again, a single instance of these events is usually normal by if repeated, they could be cause for concern.

Logs

Logs are the place where most database engines record various types of information. They can be made of a single file or of several ones. Some systems log to text files while others log to a database. But no matter how, where or what your database logs, your monitoring tools can help you with that too. The problem with logs is their quantity. Most systems will create hundreds of log entries every hour, too much for a human to cope. Some monitoring tools will capture the logs, parse and analyze them and create metrics dashboard from the data they contain. In fact, log management is one of the core requirements of database monitoring. There are several reasons for that but the most important is the breadth of information they contain.

Wrapping Up

All the tools we’ve just reviewed are great for monitoring your Apache Cassandra databases. But I’d like to let you in on a secret. They’re also great for all sorts of monitoring. All tools and services will monitor quite a few things besides databases. In fact, this is probably what you should consider the most when selecting your monitoring solution. Pick one that will not only monitor your databases but also all your other applications and servers. After all, you’ll save quite a bit of effort by having only one tool to deploy and you’ll enjoy having a unified user interface for most of your monitoring needs.