Лучшие практики и системы управления журналами

Управление журналами может быть сложной задачей. Мало того, что типичная организация генерирует их тонны, они действительно поступают из множества источников, каждый с потенциально разным форматом и содержащей различную информацию. Чтобы упорядочить то, что может быстро стать хаотичным, было изобретено управление журналами. Сегодня мы познакомимся с передовыми методами и системами управления журналами. Мы надеемся, что это поможет вам ясно увидеть это.

Начнем с краткого описания управления журналами. Затем мы сразу перейдем к лучшим практикам управления журналами. Мы разберемся, стоит ли использовать готовую систему или делать это самостоятельно. Мы также рассмотрим, что, а что нет, отслеживать, а затем рассмотрим безопасность и время хранения журналов, а также вопросы хранения. И прежде чем мы рассмотрим некоторые из лучших систем управления журналами, мы рассмотрим различные задачи управления, обзор и обслуживание журналов, корреляцию источников данных и некоторые соображения по автоматизации.

Об управлении журналами

Проще говоря, журнал представляет собой автоматически создаваемую документацию с отметкой времени о событии, относящемся к конкретной системе. Когда в системе происходит событие, создается журнал или запись в журнале. Разные системы будут генерировать журналы для разных событий. Что касается управления журналами, это обычно относится к процессам и политикам, используемым для администрирования и облегчения создания, передачи, анализа и хранения данных журнала. Управление журналами обычно подразумевает централизованную систему, в которой собираются журналы из нескольких источников.

Однако управление журналами - это не просто сбор журналов. Как следует из названия, важна управленческая часть. После получения журналов системой управления журналами они «переводятся» в общий формат. Это необходимо, поскольку разные системы по-разному форматируют журналы и включают в свои журналы разные данные. Чтобы упростить поиск и корреляцию событий, одна из целей систем управления журналами - гарантировать, что все собранные записи журнала хранятся в едином формате.

Если говорить о поиске и даже корреляции, это еще одна важная функция большинства систем управления журналами. Лучшие системы управления журналами имеют мощную поисковую систему. Это позволяет администраторам сосредоточиться именно на том, что нужно. Кроме того, корреляция событий автоматически группирует связанные события, даже если они происходят из разных источников.

Лучшие практики управления журналами

Управление журналами - сложный процесс, с которым мы мало что можем поделать. С такой сложностью возникает риск сделать что-то неправильно. Чтобы этого избежать, мы составили список лучших практик управления журналами. Наша цель - предоставить вам как можно больше информации, чтобы выбрать лучшую систему управления журналами для ваших нужд, но, что более важно, получить от нее максимальную отдачу.

Система управления журналами или сделай сам?

По некоторым причинам некоторые люди считают, что они могут вручную внедрить «систему управления журналами». Если вы среди этих людей, немедленно прекратите обманывать себя. Хотя можно реализовать некоторую форму управления журналами вручную, требуемые усилия намного перевешивают то, что требуется для реализации настоящей системы управления журналами. А поскольку доступно несколько бесплатных инструментов с открытым исходным кодом, аргумент в пользу стоимости не является верным.

Практически всегда имеет смысл использовать решение для управляемого ведения журнала, которое создается, поддерживается и масштабируется известным поставщиком, а не строить систему самостоятельно. С их помощью все, что вам обычно нужно, - это подключить источники и места назначения, и вы готовы анализировать журналы системы и приложений простым способом. Вы сможете тратить больше времени на мониторинг и ведение журнала, а не на создание инфраструктуры ведения журналов.

Зная, что контролировать (а что нет)

Важно знать, что регистрировать, но еще важнее знать, что не регистрировать. То, что вы можете что-то регистрировать, не обязательно означает, что вы должны это делать. Слишком частое ведение журнала не более чем затрудняет поиск действительно важных данных. Кроме того, дополнительный объем журналов усложняет и удорожает ваши процессы хранения журналов и управления ими. Перед внедрением платформы управления журналами важно заранее подумать о том, что будет и что не будет регистрироваться. Это предотвратит дорогостоящие ошибки и позволит вам лучше настроить инструмент.

Тщательно продумайте, что вам действительно нужно регистрировать. Производственные среды, которые имеют решающее значение для соответствия или для целей аудита, скорее всего, должны регистрироваться. То же самое и с данными, которые помогут вам устранять проблемы с производительностью, решать проблемы взаимодействия с пользователем или отслеживать события, связанные с безопасностью.

И наоборот, есть вещи, которые вам не нужно регистрировать, например, тестовые среды, которые не являются важной частью ваших бизнес-процессов. Есть также данные, которые вы не захотите регистрировать в целях соблюдения требований или безопасности. Например, если пользователь включил параметр «Не отслеживать», вы не должны регистрировать данные, связанные с этим пользователем.

Внедрение политики безопасности и хранения журналов

Журналы могут содержать конфиденциальные данные. По этой причине у вас должна быть политика безопасности журнала. Это будет бесценно, например, для обеспечения анонимности или шифрования конфиденциальных данных. Кроме того, безопасная транспортировка данных журнала в системы управления журналами требует использования зашифрованного транспорта с использованием TLS или HTTPS на стороне клиента и на стороне сервера.

Что касается политики хранения, журналы из разных источников или систем могут требовать разного времени хранения. Например, журналы, которые в основном используются для устранения неполадок, могут работать с относительно коротким временем хранения, например, несколько дней или даже несколько часов. С другой стороны, журналы, связанные с безопасностью, или журналы бизнес-транзакций требуют более длительного времени хранения, часто для соответствия нормативным требованиям. Учитывая это, ваша политика хранения должна быть гибкой и адаптируемой в зависимости от источника журнала или типа журнала.

Рекомендации по хранению журналов

Хранение данных журнала занимает ценное место в хранилище. При планировании емкости хранилища для журналов необходимо учитывать высокие пики нагрузки. В большинстве случаев объем журнала данных в день относительно постоянен. В основном это зависит от загруженности системы и / или количества транзакций в день. Однако, если что-то пойдет не так, можно ожидать ускоренного роста объема журнала. Если ваше хранилище журналов имеет ограничения, которые вы превышаете, вы можете потерять последние журналы. Чтобы смягчить этот эффект, лучшие системы управления журналами используют циклический буфер. Прежде чем будет применен какой-либо предел хранения, он сначала удаляет самые старые данные.

Также у хранилища журналов должна быть своя политика безопасности. Большинство злоумышленников попытаются избежать или удалить свои следы в файлах журналов. Чтобы избежать этого, вы должны отправлять журналы в режиме реального времени в центральное хранилище журналов - желательно за пределами площадки - и защищать его. Таким образом, если злоумышленник имеет доступ к вашей инфраструктуре, журналы сторонних сайтов сохранят доказательства в неприкосновенности.

Просмотр и ведение журналов

Ведение журналов - важная, если не самая важная часть управления журналами. Не ведение журналов может привести к более длительному устранению неполадок, рискам раскрытия данных и более высоким затратам на хранение журналов. Просмотрите журналы, созданные вашими системами, и настройте уровень ведения журнала в соответствии с вашими потребностями. Вы должны учитывать аспекты удобства использования, эксплуатации и безопасности.

Сделайте уровень журнала настраиваемым

Некоторые системные журналы слишком подробны, в то время как другие не предоставляют достаточно информации. К сожалению, не всегда что-то можно с этим поделать. Большинство систем обеспечивают регулируемые уровни бревен. Они являются ключом к настройке детализации журналов и обеспечения того, чтобы в журнал регистрировалось то, что не важно, а то, что не важно.

Часто проверяйте журналы аудита

Решающее значение имеет решение вопросов безопасности. Вот почему всегда нужно следить за журналами. Если ваша система управления журналами не имеет этой функции - многие из них имеют, используйте внешние инструменты безопасности, такие как auditd или OSSEC. Они реализуют анализ журналов в реальном времени и создают журналы предупреждений, указывающие на потенциальные проблемы безопасности. И в дополнение к этому вы должны определить предупреждения о критических событиях, чтобы быстро получать уведомления о любой подозрительной активности.

Коррелировать источники данных

Ведение журнала - это только один элемент глобальной стратегии мониторинга. Для действительно эффективного мониторинга вам необходимо дополнить управление журналами другими типами мониторинга, такими как мониторинг на основе событий, предупреждений и трассировки. Это лучший способ получить полную картину того, что происходит в любой момент времени. Хотя журналы хороши для предоставления подробных сведений о проблемах с высоким разрешением, это наиболее полезно, когда вы отойдете на некоторое расстояние, чтобы посмотреть на лес, прежде чем увеличивать масштаб деревьев.

Управление журналами плохо работает в разрозненном хранилище. Ничего подобного. Вам обязательно стоит дополнить его другими типами мониторинга, такими как мониторинг сети, мониторинг инфраструктуры и т. Д. И в идеальном мире ваше решение для мониторинга должно быть достаточно полным, чтобы предоставлять всю информацию для мониторинга в одном месте. В качестве альтернативы он может интегрироваться с другими инструментами, которые предоставляют эту информацию. Здесь цель состоит в том, чтобы получить как можно больше единого представления всей среды.

Управление журналами и автоматизация

Управление журналами может помочь вам выявлять проблемы на раннем этапе, тем самым экономя вам и вашей команде драгоценное время и энергию. Это также может помочь вам найти возможности для автоматизации. Большинство инструментов управления журналами позволяют настраивать настраиваемые предупреждения, которые срабатывают, когда что-то происходит. Некоторые даже позволят вам настроить автоматические действия, которые будут инициироваться при срабатывании этих предупреждений. Вам следует использовать столько автоматизации, сколько позволяет ваш инструмент управления. Несмотря на время, которое вы потратите на настройку этой автоматизации, вы обнаружите, что оно того стоило, когда впервые столкнетесь с инцидентом.

6 лучших инструментов для управления журналами

Мы изучили рынок, пытаясь найти лучший инструмент для управления журналами. Мы постарались составить список, который включает в себя различные типы инструментов. В конце концов, потребности у всех разные, и лучший инструмент для одного не обязательно лучший для кого-то другого.

1. Менеджер событий безопасности SolarWinds (БЕСПЛАТНЫЙ ПРОБНЫЙ ПЕРИОД)

SolarWinds - распространенное имя в области инструментов сетевого администрирования. Он существует уже около двух десятилетий и принес нам одни из лучших инструментов мониторинга пропускной способности, а также анализаторы и сборщики NetFlow. Компания также известна тем, что опубликовала несколько бесплатных инструментов, которые удовлетворяют некоторые специфические потребности сетевых администраторов, таких как калькулятор подсети или сервер системного журнала.

Что касается управления журналами , то предложение компании теперь называется SolarWinds Security Event Manager . Недавно он был переименован в Log & Event Manager , вероятно, чтобы лучше отразить тот факт, что на самом деле это гораздо больше, чем просто система управления журналами. Многие из его расширенных функций помещают его в диапазон управления информацией и событиями безопасности (SIEM). Он имеет, например, корреляцию событий в реальном времени и исправление в реальном времени, две функции, подобные SIEM.

• БЕСПЛАТНЫЙ ПРОБНЫЙ ПЕРИОД: SolarWinds Security Event Manager
• Официальная ссылка для скачивания: https://www.solarwinds.com/security-event-manager/registration

Давайте посмотрим на некоторые из основных функций SolarWinds Security Event Manager . Инструмент может быстро устранять угрозы, используя мгновенное обнаружение подозрительной активности и автоматические ответы. Он также может выполнять расследование событий безопасности и криминалистическую экспертизу для смягчения последствий и соответствия требованиям. Говоря о соответствии, продукт позволит вам продемонстрировать это, в том числе благодаря проверенной аудитом отчетности по HIPAA, PCI DSS и SOX. Этот инструмент также имеет мониторинг целостности файлов и мониторинг USB-устройств, две функции, которые намного превосходят то, что мы обычно видим в системах управления журналами.

Цены на SolarWinds Security Event Manager начинаются с 4585 долларов США за 30 отслеживаемых узлов. Можно приобрести лицензии на 2500 узлов, что обеспечивает высокую масштабируемость продукта. А если вы хотите на практике убедиться, что продукт подходит именно вам, доступна бесплатная полнофункциональная 30-дневная пробная версия.

2. SolarWinds Papertrail (ДОСТУПЕН БЕСПЛАТНЫЙ ПЛАН)

Во-вторых, у нас есть еще один отличный продукт под названием Papertrail , недавнее приобретение компании SolarWinds . Papertrail - популярная облачная система управления журналами . Он объединяет файлы журналов из самых разных популярных продуктов, таких как Apache или MySQL, а также приложений Ruby on Rails, различных служб облачного хостинга и других стандартных текстовых файлов журналов. Затем пользователи Papertrail могут использовать веб-интерфейс поиска или инструменты командной строки для поиска в этих файлах, чтобы помочь диагностировать ошибки и проблемы с производительностью. Инструмент также интегрируется с другими продуктами SolarWinds, такими как Librato и Geckoboard, для построения графиков результатов.

• ДОСТУПЕН БЕСПЛАТНЫЙ ПЛАН: SolarWinds Papertrail
• Официальная ссылка для скачивания: https://papertrailapp.com/plans

Papertrail - это облачное программное обеспечение как услуга (SaaS) от компании SolarWinds . Его легко реализовать, использовать и понять. И это даст вам мгновенный обзор всех систем за считанные минуты. Инструмент имеет очень эффективную поисковую систему, которая может выполнять поиск как в сохраненных, так и в потоковых журналах. И это молниеносно.

Papertrail доступен по нескольким планам, включая бесплатный. Однако он несколько ограничен и позволяет хранить только 100 МБ журналов в месяц. Однако в первый месяц будет доступно 16 ГБ журналов, что эквивалентно предоставлению вам бесплатной 30-дневной пробной версии . Платные планы начинаются с 7 долларов в месяц за 1 ГБ журналов в месяц, 1 год архивации и 1 неделю индексации. Фильтрация шума позволяет инструменту сохранять данные, не сохраняя ненужные журналы.

3. Анализатор журнала событий ManageEngine

ManageEngine , еще одно распространенное имя среди сетевых администраторов, создает отличную систему управления журналами, называемую ManageEngine EventLog Analyzer . Продукт будет собирать, управлять, анализировать, сопоставлять и искать данные журналов из более чем 700 источников, используя комбинацию безагентного и агентного сбора журналов, а также импорта журналов.

Скорость - одна из сильных сторон анализатора ManageEngine EventLog Analyzer . Он может обрабатывать данные журнала со скоростью впечатляющих 25 000 журналов в секунду и обнаруживать атаки в режиме реального времени. Он также может выполнять быстрый судебно-медицинский анализ, чтобы уменьшить влияние взлома. Возможности аудита системы распространяются на журналы устройств периметра сети, действия пользователей, изменения учетной записи сервера, доступ пользователей и многое другое, помогая вам удовлетворить потребности в аудите безопасности.

Журнал событий Анализатор ManageEngine доступен в художественном восстановленное бесплатной версии , которая поддерживает только 5 источников журналов или в премиум издание , которое начинается от $ 595 и изменяется в зависимости от количества устройств и приложений. Также доступна бесплатная полнофункциональная 30-дневная пробная версия.

4. Пакет управления журналами Ipswitch

Management Suite Log является продуктом из Ipswitch , та же компания , которая принесла нам WhatsUp Gold , чрезвычайно популярное средство мониторинга сети. Это автоматизированный инструмент, который собирает, хранит, архивирует и сохраняет системные журналы, события Windows и журналы W3C / IIC. Кроме того, его постоянное наблюдение за журналами предупредит вас о любой подозрительной активности.

Можно отслеживать часто проверяемые события, такие как права доступа и права доступа к файлам, папкам и объектам, при необходимости генерируя предупреждения и используя их для создания отчетов о соответствии требованиям HIPAA, SOX, FISMA, PCI, MiFID или Basel II. Этот инструмент также может помочь вам преобразовать необработанные данные журнала в значимые данные для менеджеров или групп ИТ-безопасности благодаря функциям автоматической фильтрации, корреляции, отчетности и преобразования.

Информация о ценах на Log Management Suite недоступна в Ipswitch . Продукт можно приобрести напрямую у издателя или через сеть реселлеров Ipswitch . Также доступна бесплатная пробная версия.

5. Диспетчер логических предупреждений

Alert Logic’s primary focus is on security and compliance. And since log management is closely related to both, it’s no surprise that the company offers the Alert Logic Log Manager. This cloud-based tool offers automated and unified log management across all your environments. It will collect, aggregate, and search log data from the cloud, server, application, security, and network assets.

The Alert Logic Log Manager includes log monitoring and analysis as well as log review which is done live by human analyzers. Alert Logic’s experts will alert you of possible threat activity 365 days a year. The service will also help meet the log review requirements of SOC 2, HIPAA, and SOX and offload the burden of reviewing logs and following up on events, to comply with PCI/DSS 10.6, 10.6.1, 10.6.3

Pricing information for the Alert Logic Log Manager is not readily available from the web and you’ll need to contact Alert Logic sales to get a formal quote. A free trial is also not available but a free demo can be arranged by contacting Alert Logic.

6. Nagios Log Server

You might already know Nagios as an excellent network monitoring package. Offered it a free and open-source as well as in a commercial version, the product has a solid reputation. For log management, Nagios‘ offering is called the Nagios Log Server. It is a complete package with centralized log management, monitoring, and analysis. This tool can simplify the process of searching your log data. It also lets you set alerts to be notified of potential threats Furthermore, the software has high availability and fail-over built right into it. Its easy source setup wizards can help you with configuring your servers and other devices to send their log data to the platform, allowing you to start monitoring your logs within minutes.

The Nagios Log Server provides easy correlation of log events across all logging sources in just a few clicks. The system will let you view log data in real-time, letting analyze and solve problems in real-time, as they occur. Another strength of the product is its impressive scalability. This tool keeps meeting your needs as your organization grows. If need be, additional Nagios Log Server instances can be added to a monitoring cluster, allowing you to quickly add more power, speed, storage, and reliability.

Со всеми этими функциями можно было бы ожидать здоровенного ценника. Это не так, и цена Nagios Log Server за один экземпляр составляет очень разумные 3 995 долларов. Несмотря на то, что бесплатная пробная версия не предлагается, доступна бесплатная онлайн-демонстрация, если вы предпочитаете лично ознакомиться с продуктом. перед принятием решения о покупке.