5 лучших инструментов и программного обеспечения для мониторинга Apache Cassandra (версия 2021 г.)

Хотя базы данных NoSQL не так хорошо известны, как их реляционные аналоги, они очень популярны в веб-приложениях. Apache Cassandra, вероятно, одна из самых популярных из этих баз данных. Как и любой другой тип базы данных, их тоже нужно контролировать. А поскольку постоянно внимательно следить за происходящим вручную может оказаться непосильной задачей, лучше всего подойдут инструменты мониторинга. Сегодня мы рассмотрим пять лучших инструментов, которые вы можете использовать для мониторинга баз данных Apache Cassandra.

Мы начнем с представления Apache Cassandra, если вы еще не знакомы с продуктом. Далее мы обсудим базы данных NoSQL и то, что отличает их от более традиционных типов. Затем мы подробно рассмотрим тему мониторинга баз данных, сосредоточив внимание на том, что нужно отслеживать в базах данных. Это приведет нас к сути нашего обсуждения, самым лучшим инструментам для мониторинга баз данных Apache Cassandra.

О Apache Cassandra

Apache Cassandra - это бесплатная система управления базами данных NoSQL с открытым исходным кодом, предназначенная для обработки больших объемов данных на многих стандартных серверах, обеспечивая высокую доступность без единой точки отказа. Эта распределенная система базы данных с широким хранилищем столбцов предлагает надежную поддержку кластеров, охватывающих несколько центров обработки данных, с асинхронной репликацией без мастера. Это позволяет выполнять операции с низкой задержкой. Его использовали крупные организации, такие как Apple, Spotify, Netflix и Uber. Он широко используется отчасти из-за его отказоустойчивых, масштабируемых и децентрализованных характеристик.

Первоначально Cassandra была разработана в Facebook Авинашем Лакшманом, одним из авторов Amazon Dynamo, и Прашантом Маликом для поддержки функции поиска по входящим сообщениям Facebook. Facebook выпустил продукт как проект с открытым исходным кодом на коде Google в июле 2008 года. Несколько месяцев спустя, в марте 2009 года, проект стал проектом Apache Incubator, а примерно через год, 17 февраля 2010 года, он стал одним из лучших. уровень проекта. Название является прямой ссылкой на троянского мифологического пророка Кассандру с классическими намёками на проклятие оракула.

Будучи базой данных NoSQL, Cassandra использует язык запросов Cassandra Query Language, простой интерфейс для доступа к Cassandra. CQL, как его обычно называют, предоставляет уровень абстракции, который скрывает детали реализации этой структуры и предлагает собственный синтаксис для коллекций и других распространенных кодировок. Доступны языковые драйверы для Java, Python, Node.JS, Go и C ++.

Лучшие инструменты для мониторинга Apache Cassandra

Итак, теперь, когда мы все находимся на одной странице относительно того, что влечет за собой мониторинг баз данных Apache Cassandra, вот наш выбор некоторых из лучших инструментов, которые вы можете использовать для этой цели. Многие из инструментов в нашем списке на самом деле являются инструментами мониторинга приложений. Это не должно вызывать удивления, поскольку Apache Cassandra, по сути, является просто еще одним приложением, работающим на сервере. Другие инструменты представляют собой довольно специализированные инструменты для мониторинга баз данных, но это не обязательно означает, что они лучше. Все зависит от ваших конкретных потребностей.

1. SolarWinds Server & Application Monitor (БЕСПЛАТНЫЙ ПРОБНЫЙ ПЕРИОД)

Сервер SolarWinds и монитор приложений были разработаны, чтобы помочь администраторам контролировать серверы, их рабочие параметры, их процессы и приложения, которые на них выполняются. Его можно легко масштабировать от очень маленьких сетей до больших с сотнями серверов, как физических, так и виртуальных, расположенных на нескольких сайтах. Инструмент также может отслеживать размещенные в облаке сервисы, такие как Amazon Web Services и Microsoft Azure. Этот мощный инструмент также позволяет отслеживать производительность и доступность серверов Apache Cassandra в Linux или Unix. Он предоставит подробную информацию о работоспособности службы, статистике узлов и отслеживании сети, позволяя администраторам просматривать все соответствующие параметры на единой панели инструментов.

• БЕСПЛАТНЫЙ ПРОБНЫЙ ПЕРИОД: SolarWinds Server and Application Monitor
• Официальная ссылка для скачивания: https://www.solarwinds.com/server-application-monitor/registration

Сервер SolarWinds и монитор приложений очень легко настроить, и его первоначальная конфигурация также легко выполняется с помощью процесса автоматического обнаружения. Это двухэтапный процесс. Первый проход обнаружит серверы, а второй - приложения. Это может занять время, но его можно ускорить, снабдив инструмент списком конкретных приложений, которые нужно искать. После того, как инструмент запущен и работает, удобный графический интерфейс упрощает его использование. Вы можете выбрать отображение информации в таблице или в графическом формате.

Цены на сервер SolarWinds и Application Monitor начинаются с 2 995 долларов США и зависят от количества отслеживаемых компонентов, узлов и томов. Бесплатно 30-дневная пробная версия доступна для скачивания, если вы хотите попробовать продукт перед покупкой.

2. SolarWinds AppOptics (БЕСПЛАТНАЯ пробная версия)

Далее в нашем списке стоит еще одна отличная платформа от SolarWinds. Однако он радикально отличается от предыдущей записи. SolarWinds AppOptics - это облачное предложение «Программное обеспечение как услуга» (SaaS) для мониторинга инфраструктуры или производительности. Эта услуга состоит из двух компонентов.

• AppOptics Infrastructure - это традиционная служба мониторинга инфраструктуры, которая позволит вам контролировать работоспособность всех ваших критически важных систем с помощью хорошо масштабируемой и экономичной платформы, обеспечивающей непрерывную видимость хостов, контейнеров и вашей бессерверной среды.
• Другой компонент - это AppOptics Application Performance Monitoring, который предлагает полный мониторинг показателей, трассировок и журналов.

• БЕСПЛАТНЫЙ ПРОБНЫЙ ПЕРИОД: SolarWinds AppOptics
• Официальная ссылка: https://my.appoptics.com/sign_up

Среди прочего, SolarWinds AppOptics предлагает распределенную трассировку, функциональность, которая позволяет измерять и контролировать производительность стеков приложений на каждом уровне компонентов, включая сеть, базу данных, API, пользовательский интерфейс и т. Д., Например, для устранения неполадок с производительностью базы данных Apache Cassandra. проблемы, разработчики могут использовать функцию под названием «Отслеживаемые запросы». Используя их, SolarWinds AppOptics может детализировать любой запрос к базе данных и идентифицировать вызовы приложений, которые вызывают снижение производительности.

SolarWinds AppOptics предоставляет единую панель мониторинга, оповещения и управления для мониторинга производительности приложений и инфраструктуры. Он практически устраняет разделение между производительностью приложений и мониторингом инфраструктуры, позволяя сопоставить показатели производительности приложений, серверов и инфраструктуры бок о бок на одной панели мониторинга. Это может помочь оптимизировать усилия по устранению неполадок и значительно сократить время до устранения.

Стоимость услуги SolarWinds AppOptics APM составляет 2 999 долларов в год. Это комплексная цена, которая позволит вам отслеживать до 10 хостов, 100 контейнеров, 100 трассировок в минуту и ​​1000 настраиваемых показателей. При желании вы можете добавить дополнительные трассировки для веб-сайтов с высокой посещаемостью по цене 1 000 долларов в год за дополнительные 100 трассировок в минуту или настраиваемые метрики по цене 599 долларов в год за 1 000 метрик. Если вы предпочитаете сначала попробовать эту услугу, доступна бесплатная 14-дневная пробная версия без использования кредитной карты .

3. Менеджер приложений ManageEngine

ManageEngine, возможно, не так известен, как SolarWinds, но это еще одно имя, пользующееся отличной репутацией среди администраторов сети и баз данных. ManageEngine Application Manager занимается управлением приложения. Вы, наверное, догадались сами. Это, однако, несколько вводящее в заблуждение название, поскольку это в равной степени платформа для мониторинга и инструмент управления.

Этот инструмент предлагает интегрированный мониторинг производительности приложений для всех ваших потребностей в мониторинге серверов и приложений. Он также может сделать это для базовых компонентов инфраструктуры, таких как серверы приложений, базы данных, компоненты промежуточного программного обеспечения и обмена сообщениями, веб-серверы, веб-службы, пакеты ERP, виртуальные системы и облачные ресурсы. В двух словах, это всеобъемлющая платформа.

ManageEngine Диспетчер приложений обеспечивает комплексный мониторинг производительности Кассандры и управление всех узлов в кластере с централизованной консоли. Он позволяет собирать статистические данные со всех JVM в кластере, а также ключевые метрики производительности, такие как метрики использования памяти, метрики задач пулов потоков, метрики хранилища, использование ЦП, производительность операций, задержка и ожидающие задачи. Инструмент также может отслеживать метрики операционной системы на ваших узлах Cassandra, такие как количество процессоров, исключения, использование ЦП и временные тренды.

Этот инструмент также отслеживает отдельные пулы потоков Cassandra для предоставления статистики о количестве активных, ожидающих, завершенных и заблокированных задач. Отслеживание тенденций в этих пулах для увеличения в столбце ожидающих задач может помочь вам спланировать добавление дополнительных мощностей. Он также может помочь вам справиться со сценариями перегрузки в вашей среде Cassandra, отслеживая потерянные сообщения. Вы можете получать сводку журнала об отброшенных сообщениях вместе с типом сообщения, а также устанавливать пороговые значения и настраивать сигналы тревоги, чтобы уведомить вас об отброшенных сообщениях.

Менеджер приложений ManageEngine доступен в нескольких редакциях. Существует бесплатная версия с ограниченным набором функций, а также платные версии Professional и Enterprise. Цены начинаются с 945 долларов, подробности можно получить, связавшись с ManageEngine. Также доступна бесплатная 30-дневная пробная версия.

4. Dynatrace

Dynatrace - еще одно облачное предложение «Программное обеспечение как услуга» (SaaS). Он может автоматически обнаруживать, решать и оптимизировать приложения. Обнаружение и отображение сложной экосистемы приложений - это просто вопрос установки Dynatrace OneAgent . Сервис предоставит вам точный обзор всего вашего стека приложений, начиная с производительности приложений, облачной инфраструктуры и заканчивая взаимодействием с пользователем. Это поможет вам легко обнаружить проблемы, а также их влияние на бизнес и их первопричину.

При выполнении мониторинга баз данных Apache Cassandra Dynatrace автоматически обнаруживает их менее чем за пять минут. Он позволяет отслеживать различные показатели, включая ЦП, подключение, время сборки мусора, приостановку и повторные передачи. На вкладке « Дополнительные сведения» вы можете более подробно ознакомиться со статистикой, такой как использование диска, кеш, подсказки, нагрузка, пулы потоков и управляемая память Java. Платформа также предлагает анализ первопричин. Он может автоматически выделять основную причину проблем с производительностью на отдельных узлах, позволяя вам гораздо быстрее реагировать на проблемы сервера и предоставляя вам всю необходимую информацию для выработки информированного ответа.

Dynatrace также утверждает, что имеет самый широкий охват любого решения для мониторинга с точки зрения поддерживаемых языков, архитектур приложений, облачных, локальных или гибридных приложений, корпоративных приложений, мониторинга SaaS и т. Д. Инструмент автоматически обнаруживает и отслеживает динамические микросервисы, работающие внутри контейнеров. Он показывает, как они работают, как они общаются друг с другом, и помогает быстро обнаруживать некачественные микросервисы.

Цены на Dynatrace недоступны, но их можно получить, подписавшись на бесплатную 15-дневную пробную версию. После того, как вы зарегистрируетесь для участия в пробной версии, вам останется только установить агент на свои серверы, и вы сможете начать мониторинг в течение 5 минут.

5. AppDynamics APM

Последним в нашем списке стоит AppDynamics APM, отличный инструмент для управления производительностью приложений от Cisco. Этот инструмент будет автоматически обнаруживать, отображать и визуализировать ваши критически важные пути клиента через каждую службу приложения и компонент инфраструктуры. Он предоставляет управленческим командам единый источник информации, позволяющий сосредоточиться на непрерывной производительности в контексте клиентского опыта, а не на мониторинге отдельных услуг.

С базами данных Apache Cassandra AppDynamics APM обнаружит их и добавит в вашу среду мониторинга. После добавления вы можете отслеживать различные показатели. Например, мониторинг внутренних коммуникаций Cassandra позволит вам собирать данные о среднем времени ответа, ошибках в минуту и ​​звонках в минуту, давая вам представление о том, как работает служба.

Этот инструмент использует машинное обучение, чтобы узнать, что такое нормальная производительность, эффективно выстраивая собственные базовые показатели производительности приложений. Это позволяет инструменту предупреждать вас, когда производительность ненормальная. Существует прямая интеграция с ServiceNow, PagerDuty и Jira, поэтому вы можете сразу получать уведомления и устранять проблемы до того, как их заметят клиенты.

Еще одна замечательная функция инструмента - это немедленная автоматическая диагностика на уровне кода. Его возможности глубокой диагностики позволяют идентифицировать основную причину вплоть до отдельной строки кода. Вашей команде не придется просматривать файлы журналов, что сэкономит драгоценное время разработчика.

AppDynamics APM доступен в нескольких версиях. Самый простой называется APM Pro. APM Advanced добавляет функции видимости сервера и сети. Верхний уровень называется APM Peak и включает в себя все функции APM Advanced, а также мониторинг производительности бизнеса, аналитику транзакций и бизнес-поездки. Расценки можно узнать, связавшись с AppDynamics, и доступна 30-дневная пробная версия.

Знакомство с базами данных NoSQL

База данных NoSQL - это тип базы данных, который обеспечивает механизм для хранения и извлечения данных, моделируемых средствами, отличными от табличных отношений, используемых в реляционных базах данных. Эти базы данных существуют с конца 1960-х годов, но их не называли «NoSQL» до тех пор, пока в начале 21-го века не возник всплеск популярности, вызванный потребностями организаций Web 2.0. Базы данных NoSQL все чаще используются в больших данных и веб-приложениях реального времени. И хотя они не используют SQL как таковой - отсюда и их название - некоторые люди предпочитают называть их «Не только SQL», чтобы подчеркнуть тот факт, что они могут поддерживать языки запросов, подобные SQL, такие как CQL для Cassandra, или сидеть рядом с SQL. базы данных в постоянных архитектурах polyglot.

Существуют различные типы баз данных NoSQL с разными категориями и подкатегориями. В случае базы данных Apache Cassandra это то, что часто называют хранилищем широких столбцов. Этот конкретный тип базы данных NoSQL использует таблицы, строки и столбцы, но, в отличие от реляционной базы данных, имена и формат столбцов могут варьироваться от строки к строке в одной и той же таблице. Кроме того, хранилища с широкими столбцами, такие как Apache Cassandra, не являются хранилищами столбцов в первоначальном смысле этого слова. В подлинных хранилищах столбцов используется структура данных по столбцам, так что каждый столбец хранится на диске отдельно. Что касается хранилищ с широкими столбцами, они часто поддерживают понятие семейств столбцов, которые хранятся отдельно, причем каждое такое семейство столбцов обычно содержит несколько столбцов, которые используются вместе, аналогично традиционным таблицам реляционной базы данных.

Плюсы и минусы мониторинга базы данных

Самое замечательное в Cassandra - это то, что она имеет встроенные функции отказоустойчивости. Это, однако, не означает, что это решение «поставил и забыл». Им по-прежнему нужно управлять и контролировать. Например, доступность, производительность и безопасность системы баз данных - все это важные проблемы для любого администратора базы данных. Вот почему системные администраторы обычно используют различные инструменты мониторинга баз данных.

Правильно настроенная система мониторинга баз данных может дать несколько преимуществ. Например, упреждающий мониторинг всегда лучше, чем реактивный подход, поскольку всегда предпочтительнее идентифицировать любые предупреждающие знаки до того, как они перерастут в серьезные инциденты. Кроме того, правильное решение для мониторинга базы данных может помочь быстро выявить и решить любые возможные проблемы. Всякий раз, когда система испытывает необъяснимое замедление работы, люди в первую очередь начинают исследовать базу данных. Но мониторинг - это не только производительность. Мы также говорим о том, чтобы следить за событиями, связанными с безопасностью. Проверка резервных копий - еще одно общее преимущество хорошего инструмента для мониторинга базы данных.

Не существует общепринятой модели построения среды мониторинга базы данных. Отчасти это связано с тем, что разные предприятия используют разные базы данных. И поскольку каждый тип базы данных может предоставлять разные типы метрик с разным уровнем детализации, важная метрика на одной платформе может не иметь значения для другой.

Например, давайте рассмотрим несколько важных различий между различными типами баз данных, которые могут повлиять на вашу стратегию мониторинга. Реляционные базы данных в основном используются в системах обработки онлайн-транзакций. В системах хранилищ данных хранятся большие объемы данных с низкой скоростью. Базы данных NoSQL чаще всего используются в мобильных или веб-приложениях для размещения метаданных или информации о состоянии. Базы данных в памяти используются для повышения производительности. Понятно, что потребность в мониторинге в каждом из этих случаев может быть очень разной.

Кроме того, независимо от того, какую категорию базы данных вы используете, на важные показатели будут влиять другие факторы. Самым важным, конечно же, является поставщик программного обеспечения. Важные метрики в базе данных Cassandra, например, могут сильно отличаться от метрик в базе данных MySQL или Oracle. Аналогичным образом, локальные и размещенные в облаке базы данных могут иметь разные потребности в мониторинге, при этом некоторые показатели важны для одного, но не для другого. В случае баз данных, размещенных в облаке, управляемые и неуправляемые решения баз данных будут иметь разные потребности в мониторинге. Аналогичным образом, локальные базы данных будут иметь разные потребности в мониторинге в зависимости от того, работают ли они на физическом или виртуальном оборудовании.

Что контролировать

With so many metrics that can be monitored, it can be overwhelming. And deciding what to monitor—and hat not—can be a daunting endeavour. We’ve assembled a list of some metrics that we feel are important to monitor. They are listed below under different categories of monitoring. Together, these metrics can paint a rather detailed picture of the state of any database environment.

Infrastructure

The first category of monitoring metrics is infrastructure. It deals with the underlying hardware that your databases are running on. Any variation of these metrics above of below acceptable thresholds will most likely adversely affect other database metrics. For example, network overutilization could trigger performance alerts in metrics from other categories.

Availability

Database availability is, of course, another category of metrics that is among the most important. After all, you’ll usually want to make sure that the database is available and accessible before looking at any other metrics. There are several ways that database availability can be monitored but among the most popular are the accessibility of database nodes using common protocols such as ping or telnet, the accessibility of database endpoints and ports or failover events for master nodes and upgrade events for slave/peer nodes in multi-node clusters. Any of these parameters can be used to alert you of an availability issue but combining them will give you the best protection.

Throughput

Throughput often refers to the network data-carrying capacity. This is different in the context of monitoring databases, and we’re really talking about the throughput of the database itself. Ideally, throughput metrics would initially be used to create a performance baseline or, even better, several baselines during different workload periods. For example, collecting metrics during month-end batch processing or Black Friday sale events over several cycles will provide insight into a system’s performance during those periods. And it may be quite different from after-hours operations or weekday sales events. Baselines can then be used to create acceptable thresholds for alarms. Any large deviation from usual values would then need investigation.

Performance

The available performance counters could vary between different databases. They are typically reported on a specific time scale (per minute or per second, for instance). These metrics can provide a tell-tale sign of potential bottlenecks. Just as it was with throughput, creating baselines for these metrics is also recommended.

Scheduled Tasks

Database engines often automatically run repetitive tasks or scheduled jobs. Some systems, like Microsoft SQL Server or Oracle, have a built-in job scheduling facility but others use the operating system’s scheduler—such as cron—or third-party schedulers. Regardless of what the actual jobs are or how they are scheduled, what you need to monitor is not only that they ran but, more importantly, what their outcome (success or failure) was.

Security

Security is often the most important aspect of IT administration and this is just as true with databases as it is with other systems. As such, it is important to keep an eye on the security of your databases. And while you may not need to monitor every single security event, you might want to look at their aggregated meaning. Let’s explain. Suppose you’re monitoring failed login attempts. A single failed login is most likely a sign of someone mistyping a password. On the other hand, if you see hundreds of them within a relatively short time frame, it could be the sign of an intrusion attempt.

Failed logins are certainly not the only security element you want to monitor. Database configuration change events are just as important. And so are new user account creations or password changes. Again, a single instance of these events is usually normal by if repeated, they could be cause for concern.

Logs

Logs are the place where most database engines record various types of information. They can be made of a single file or of several ones. Some systems log to text files while others log to a database. But no matter how, where or what your database logs, your monitoring tools can help you with that too. The problem with logs is their quantity. Most systems will create hundreds of log entries every hour, too much for a human to cope. Some monitoring tools will capture the logs, parse and analyze them and create metrics dashboard from the data they contain. In fact, log management is one of the core requirements of database monitoring. There are several reasons for that but the most important is the breadth of information they contain.

Wrapping Up

All the tools we’ve just reviewed are great for monitoring your Apache Cassandra databases. But I’d like to let you in on a secret. They’re also great for all sorts of monitoring. All tools and services will monitor quite a few things besides databases. In fact, this is probably what you should consider the most when selecting your monitoring solution. Pick one that will not only monitor your databases but also all your other applications and servers. After all, you’ll save quite a bit of effort by having only one tool to deploy and you’ll enjoy having a unified user interface for most of your monitoring needs.