6 лучших инструментов управления журналами для Linux в 2021 году

Сегодняшние системы генерируют тонны данных журналов, поэтому неудивительно, что администраторы всегда ищут решения для управления журналами. Журналы по умолчанию часто хранятся локально. Это имеет смысл, поскольку позволяет легко связать их с их источником. Но когда мы пытаемся устранить проблемы и найти их основную причину, нам иногда приходится просматривать несколько файлов журналов на множестве устройств. Было бы неплохо, если бы все журналы со всех устройств хранились в одном централизованном месте? Это цель управления журналом . И если вы предпочитаете платформу Linux, доступно множество вариантов. Читайте дальше, мы узнаем о лучших средствах управления журналами для Linux.

Начнем с определения управления журналами. Вы увидите, что это может быть нечто большее, чем просто централизация хранилища журналов. Далее мы обсудим различные технологии ведения журнала . Они являются краеугольным камнем управления журналами и без них вряд ли существовали бы. Продолжая, мы будем отличать серверы системного журнала от систем управления журналами и поймем, что между ними нет четкой границы. Затем мы ненадолго остановимся и обсудим информацию о безопасности и системы управления событиями . Это еще один тип систем, который часто путают с управлением журналами из-за нечеткого определения каждой из них. И, наконец, мы рассмотрим лучшее управление журналами для Linux.

Что такое управление журналами?

Прежде чем мы сможем поговорить об управлении журналами, давайте определим, что такое журнал. Проще говоря, журнал представляет собой автоматически создаваемую документацию с отметкой времени о событии, относящемся к конкретной системе. Другими словами, всякий раз, когда в системе происходит событие, создается журнал. Системы и устройства будут создавать журналы для различных типов событий, и многие системы предоставляют администраторам некоторую степень контроля над тем, какое событие создает журнал, а какое нет.

Что касается управления журналами, это просто относится к процессам и политикам, используемым для администрирования и облегчения создания, передачи, анализа, хранения, архивирования и окончательного удаления больших объемов данных журналов. Хотя это не указано четко, управление журналами подразумевает централизованную систему, в которой собираются журналы из нескольких источников. Однако управление журналами - это не просто сбор журналов. Это часть управления, которая является наиболее важной. А системы управления журналами часто имеют несколько функций, и сбор журналов - лишь одна из них.

После получения журналов системой управления журналами их необходимо стандартизировать в общий формат, поскольку разные системы форматируют журналы по-разному и включают разные данные. Некоторые начинают журнал с даты и времени, некоторые - с номера события. Некоторые включают только идентификатор события, в то время как другие включают полнотекстовое описание события. Одна из целей систем управления журналами - гарантировать, что все собранные записи журнала хранятся в едином формате. Это значительно упростит корреляцию событий и последующий поиск.

Даже корреляция и поиск - две дополнительные основные функции нескольких систем управления журналами. Лучшие из них оснащены мощной поисковой системой, которая позволяет администраторам сосредоточить внимание именно на том, что им нужно. Функции корреляции автоматически группируют связанные события, даже если они происходят из разных источников. Как и насколько успешно различные системы управления журналами достигают этого, является основным отличительным фактором.

ТАКЖЕ ПРОЧИТАЙТЕ: 15 лучших инструментов сетевого мониторинга (наш собственный обзор)

Лесозаготовительные технологии

Управление журналами было бы намного сложнее, возможно, даже невозможно, если бы не протоколы журналирования. Некоторые из них существуют. Они определяют, какие данные должны быть включены в журналы, как они должны быть отформатированы, а иногда и как они должны передаваться между системами.

Системный журнал, возможно, является наиболее часто используемым протоколом ведения журнала , особенно в мире Linux. Эта технология была изобретена в начале восьмидесятых и фактически стала стандартом для всех Unix-подобных систем. Одним из важнейших достоинств технологии syslog является то, как она облегчает разделение между системой или программным обеспечением, которое генерирует журналы, системой, которая их хранит, и программным обеспечением, которое составляет отчеты и анализирует их. Использование технологии Syslog значительно упрощает управление журналами. И Syslog не является эксклюзивом Unix. Многие устройства, отличные от Unix, такие как коммутаторы, маршрутизаторы и различное оборудование от многих поставщиков, используют вариант протокола syslog.

Есть и другие технологии лесозаготовок. Microsoft Windows, например, использует другую систему ведения журнала. Возможно, это связано с тем, что операционные системы и приложения Windows имеют журналы, которые обычно содержат более подробную информацию, чем позволяет технология Syslog. К счастью, функции сборщика событий Windows предоставляют средство управления журналами, которое различные системы могут использовать для получения событий от узлов Windows. Этот пост посвящен управлению журналами Linux, так что давайте не будем тратить слишком много времени на Windows.

Независимо от того, какая технология ведения журнала используется, важной частью управления журналами является настройка устройств для отправки своих журналов в систему управления. Инструменты других типов, такие как системы мониторинга сети, могут извлекать данные из систем, которые они контролируют, но при управлении журналами каждое устройство должно быть «указано», куда отправлять свои журналы. Однако это относительно простая задача, которая часто выполняется с помощью простой команды.

ДАЛЬНЕЙШЕЕ ЧТЕНИЕ:  Лучшее программное обеспечение для отображения сетевых диаграмм и топологии

Серверы журналов или управление журналами?

Поскольку он был доступен в каждой Unix-подобной системе, включая Linux, довольно долгое время, Syslog часто используется в качестве сервера журналов, когда один компьютер получает данные Syslog от нескольких других. Хотя такое централизованное хранение журналов имеет определенные преимущества, его недостаточно называть управлением журналами.

Чтобы заслужить имя системы управления журналами, продукт должен включать по крайней мере некоторые из более продвинутых функций. Согласно Википедии, «управление журналами состоит из следующих функций: сбор журналов, централизованная агрегация журналов, долгосрочное хранение журналов, ротация журналов, анализ журналов, поиск журналов и отчетность». Вау! Это много функциональности. С другой стороны, серверы журналов часто предлагают только сбор и хранение журналов и редко больше.

Слово (или два) о SIEM

Еще одна популярная технология, которая связана с журналами и часто путают с системами управления журналами, - это управление информацией и событиями безопасности или SIEM. Это отличается от управления журналами, но тесно связано. Граница между ними настолько тонка, что некоторые продукты, рекламируемые как системы управления журналами, на самом деле являются системами SIEM, в то время как некоторые базовые системы SIEM представляют собой не что иное, как расширенные системы управления журналами.

Путаница возникает из-за того, что управление журналами - или, по крайней мере, анализ журналов - является важным компонентом систем SIEM. Что отличает системы SIEM, так это то, что они выполняют анализ журналов с конечной целью выявления проблем безопасности. Например, они будут искать признаки неудачного входа в систему, которые могут быть контрольным признаком попытки несанкционированного вторжения . Эти системы постоянно сканируют записи журнала в поисках чего-либо необычного . В то время как некоторые системы SIEM действительно включают расширенные функции управления журналами, некоторые используют внешнюю систему управления журналами, и нередко можно увидеть, что обе системы работают бок о бок.

ЧТЕНИЕ ПО ТЕМЕ:  Лучшие IP-сканеры для Mac

Лучшее управление журналами для Linux

Надеюсь, теперь у нас есть общее понимание того, что такое управление журналами, а что нет. Итак, давайте посмотрим, что доступно для Linux. Но сначала давайте кое-что проясним. Говоря об управлении журналами Linux, мы имеем в виду системы управления журналами, которые могут содержать журналы Linux и которые будут работать либо на платформе Linux, либо в облаке. Некоторые из выбранных нами вариантов, особенно облачные системы, также будут работать с журналами с других платформ.

1. SolarWinds Papertrail (ДОСТУПЕН БЕСПЛАТНЫЙ ПЛАН)

Имя SolarWinds стало нарицательным среди сетевых администраторов. Он создает одни из лучших инструментов за почти 20 лет, предлагая нам отличные инструменты мониторинга пропускной способности и один из лучших анализаторов и сборщиков NetFlow. Компания также известна тем, что опубликовала несколько бесплатных инструментов, которые удовлетворяют некоторые специфические потребности сетевых администраторов, таких как калькулятор подсети или сервер системного журнала.

• СВОБОДНЫЙ ПЛАН: SolarWinds Papertrail
• Официальная ссылка для скачивания: https://papertrailapp.com/plans

Не так давно SolarWinds приобрела популярную систему управления журналами Papertrail . Он объединяет файлы журналов из широкого спектра популярных продуктов, таких как Apache или MySQL, а также приложений Ruby on Rails, различных служб облачного хостинга и других стандартных файлов системного журнала и текстовых журналов. Затем пользователи Papertrail могут использовать веб-интерфейс поиска или инструменты командной строки для поиска в этих файлах и диагностики различных проблем. Papertrail также интегрируется с другими продуктами SolarWinds, такими как Librato и Geckoboard, для построения графиков результатов.

Papertrail - это облачное программное обеспечение как услуга (SaaS) от компании SolarWinds. Облачность означает, что она будет нормально работать в среде полностью Linux. Платформа проста в реализации, использовании и понимании, и она даст вам мгновенный обзор всех систем в течение нескольких минут. Кроме того, продукт имеет очень эффективную поисковую систему, которая может выполнять поиск как в сохраненных, так и в потоковых журналах. И это молниеносно.

Papertrail доступен по нескольким планам, включая бесплатный . Однако он несколько ограничен и позволяет хранить только 100 МБ журналов в месяц. Однако в первый месяц будет доступно 16 ГБ журналов, что эквивалентно предоставлению вам бесплатной 30-дневной пробной версии. Платные планы начинаются с 7 долларов в месяц за 1 ГБ журналов в месяц, 1 год архивации и 1 неделю индексации. Фильтрация шума позволяет инструменту сохранять данные, не сохраняя ненужные журналы.

2. Loggly

Loggly - еще один облачный онлайн-сервис. В первую очередь консолидатор журналов, он также предлагает функции анализа журналов. Благодаря тому, что эта система основана на облаке, она не требует установки и готова к использованию в ту же минуту, когда вы подпишетесь. Конечно, ваши системы и устройства необходимо будет настроить для периодической загрузки стандартных файлов журналов на онлайн-сервер.

• БЕСПЛАТНЫЙ ПРОБНЫЙ ПЕРИОД: планы Loggly
• Официальная ссылка: https://www.loggly.com

Затем Loggly преобразует полученные данные журнала в стандартный формат, тем самым позволяя анализатору обрабатывать записи из различных источников и обеспечивая отслеживание и корреляцию событий во всех системах, независимо от их операционной системы или технологии регистрации. Источники данных журнала не ограничиваются вашими локальными серверами. Система, конечно же, способна обрабатывать журналы, созданные онлайн-серверами, такими как Amazon AWS, и может включать сообщения, созданные конкретными приложениями, такими как Docker и Logstash, и это лишь некоторые из них.

Loggly услуга доступна в трех различных планов, с увеличением лимитов обработки данных и времени удерживания. Вам нужно выбрать правильный, чтобы у вас было достаточно места для данных журнала. План начального уровня называется Loggly Lite. Это бесплатно. По этому плану вы можете загружать 200 МБ данных журнала в день, и система будет хранить каждую запись в течение семи дней. Далее идет стандартный план, который дает вам разрешение на загрузку в размере 1 ГБ в день и сохраняет записи в течение 30 дней. Платные планы также позволяют использовать несколько учетных записей пользователей. В стандартном пакете у вас может быть три учетных записи пользователя. Верхний уровень называется Loggly Enterprise.. Он не имеет ограничений на количество учетных записей пользователей, которые вы можете настроить, а цены варьируются в зависимости от объема загрузки и требуемого периода хранения. Оплата всех платных планов может быть ежемесячной или ежегодной, а для стандартного плана доступна бесплатная 14-дневная пробная версия .

3. Splunk

Splunk - это хорошо известная в сообществе системного администратора комплексная система управления журналами для Linux, Mac OS и Windows. Некоторые считают, что это не просто базовая система управления журналами, а полноценная система предотвращения вторжений. Продукт доступен в трех версиях. Наверху находится Splunk Enterprise, которая больше представляет собой систему управления сетью, а не просто инструмент управления журналами. Цена начинается от 173 долларов в месяц, и вы получаете много функциональных возможностей.

Существует также бесплатная версия Splunk, которая, по сути, представляет собой тот же инструмент, но без некоторых из его самых продвинутых функций. По сути, это ограничивается анализом файла журнала. Вы можете загрузить любой из стандартных файлов журналов или отправить данные в реальном времени через файл в анализатор. Бесплатная версия имеет несколько ограничений. Например, он может иметь только одну учетную запись пользователя, а его пропускная способность данных ограничена 500 МБ журналов в день. Функция сортировки и фильтрации данных встроена в Splunk, что облегчает поиск и устранение неисправностей. Вы можете использовать эти функции для разделения записей журнала по дате и записи каждой группы в новые файлы. На самом деле эта функция очень гибкая.

4. Сервер журнала Nagios

Nagios наиболее известен своим отличным программным обеспечением для мониторинга сети, но его сервер журнала не менее интересен. Продукт называется просто Nagios Log Server и предлагает централизованное управление журналами, мониторинг и анализ. Этот инструмент может значительно упростить процесс поиска данных журнала. Он также позволяет настраивать оповещения для получения уведомлений о потенциальных угрозах. Кроме того, в программное обеспечение встроены функции обеспечения высокой доступности и восстановления после сбоев. Кроме того, его простые мастера настройки источника помогут вам быстро настроить серверы для отправки всех данных журналов и начать мониторинг журналов за считанные минуты.

Сервер журнала Nagios позволяет легко коррелировать события журнала на всех серверах всего за несколько щелчков мышью. Система позволит вам просматривать данные журнала в режиме реального времени, давая вам возможность анализировать и решать проблемы по мере их возникновения. Продукт отличается впечатляющей масштабируемостью и будет продолжать удовлетворять ваши потребности по мере роста вашей организации. Дополнительные экземпляры Nagios Log Server могут быть добавлены в кластер мониторинга, что позволяет быстро увеличить мощность, скорость, хранилище и надежность.

Цена за один экземпляр Nagios Log Server составляет 3 995 долларов, и хотя бесплатная пробная версия, похоже, недоступна, есть бесплатная онлайн-демонстрация, если вы предпочитаете лично ознакомиться с продуктом.

5. Graylog

Следующим в нашем списке идет продукт под названием Graylog . Продукт предлагает множество интересных функций. Инструмент будет анализировать и дополнять журналы и данные о событиях из любого источника данных. Его конвейеры обработки обеспечивают некоторую гибкость в маршрутизации, внесении в черный список, изменении и обогащении сообщений в режиме реального времени. Graylog будет искать в терабайтах данных журнала для обнаружения и анализа важной информации. Мощный синтаксис поиска позволяет найти именно то, что вы ищете.

С Graylog вы можете создавать информационные панели для визуализации показателей и наблюдения за тенденциями в одном центральном месте. Вы можете использовать статистику полей, быстрые значения и диаграммы со страницы результатов поиска, чтобы погрузиться в более глубокий анализ ваших данных. В системе также есть возможность запускать действия или выдавать уведомления о таких событиях, как неудачные попытки входа в систему, исключения или снижение производительности.

Graylog - это бесплатная система на основе файлов журналов с открытым исходным кодом, которая может предоставить вам гораздо больше функций, чем просто утилита для архивирования журналов. Этот анализатор журналов имеет графический пользовательский интерфейс и может работать в Ubuntu, Debian, CentOS и SUSE Linux. Вы также можете запустить его на виртуальной машине в Microsoft Windows и установить систему Graylog на Amazon AWS.

6. Анализатор журнала событий ManageEngine

ManageEngine , другое распространенное имя среди сетевых администраторов, создает отличную систему управления журналами, называемую ManageEngine EventLog Analyzer . Продукт будет собирать, управлять, анализировать, сопоставлять и искать данные журналов из более чем 700 источников, используя комбинацию безагентного и агентного сбора журналов, а также импорта журналов.

Скорость - одна из сильных сторон анализатора ManageEngine EventLog Analyzer . Он может обрабатывать данные журнала со скоростью впечатляющих 25 000 журналов в секунду и обнаруживать атаки в режиме реального времени. Он также может выполнять быстрый судебно-медицинский анализ, чтобы уменьшить влияние взлома. Возможности аудита системы распространяются на журналы устройств периметра сети, действия пользователей, изменения учетной записи сервера, доступ пользователей и многое другое, помогая вам удовлетворить потребности в аудите безопасности.

Журнал событий Анализатор ManageEngine доступен в художественном восстановленное бесплатной версии , которая поддерживает только 5 источников журналов или в премиум издание , которое начинается от $ 595 и изменяется в зависимости от количества устройств и приложений. Также доступна бесплатная полнофункциональная 30-дневная пробная версия.