2021 年 Linux 的 6 個最佳日誌管理工具

由於當今的系統會生成大量日誌數據，因此管理員一直在尋找日誌管理解決方案也就不足為奇了。默認情況下，日誌通常存儲在本地。這是有道理的，因為它可以輕鬆地將它們鏈接到它們的來源。但是，在嘗試對問題進行故障排除並找出其根本原因時，我們有時必須查看眾多設備上的多個日誌文件。如果所有設備的所有日誌都存儲在一個集中的地方，不是很好嗎？這就是日誌管理的目的。如果您選擇的平台是 Linux，則有很多可用選項。繼續閱讀，我們將發現一些適用於 Linux 的最佳日誌管理

我們將從定義日誌管理開始。您將看到它不僅僅是集中日誌存儲。接下來，我們將討論各種日誌技術。它們是日誌管理的基石，沒有它們就不可能存在。繼續，我們將區分系統日誌服務器和日誌管理系統，並意識到它們之間沒有明確的界限。接下來，我們將暫停並討論安全信息和事件管理系統。它們是另一種經常與日誌管理混淆的系統類型，這要歸功於每種系統的定義有些不清楚。最後，我們將回顧 Linux 的最佳日誌管理。

什麼是日誌管理？

在我們談論日誌管理之前，讓我們定義什麼是日誌。簡單地定義，日誌是與特定係統相關的事件的自動生成和時間戳文檔。換句話說，每當系統上發生事件時，就會生成日誌。系統和設備將為不同類型的事件生成日誌，許多系統讓管理員可以在一定程度上控制哪些事件會生成日誌，哪些不會。

至於日誌管理，它只是指用於管理和促進大量日誌數據的生成、傳輸、分析、存儲、歸檔和最終處理的過程和策略。儘管沒有明確說明，日誌管��意味著一個集中式系統，其中收集來自多個來源的日誌。然而，日誌管理不僅僅是日誌收集。最重要的是管理部分。並且日誌管理系統通常具有多種功能，收集日誌只是其中之一。

日誌管理系統收到日誌後，需要將其標準化為通用格式，因為不同系統的日誌格式不同，包含的數據也不同。有些以日期和時間開始記錄，有些以事件編號開始。有些只包含事件 ID，而有些則包含事件的全文描述。日誌管理系統的目的之一是確保所有收集的日誌條目以統一格式存儲。這將使事件關聯和最終搜索更加容易。

甚至關聯和搜索也是幾個日誌管理系統的兩個附加主要功能。其中最好的具有強大的搜索引擎，允許管理員準確地將他們需要的內容歸零。相關函數會自動對相關事件進行分組，即使它們來自不同的來源。不同的日誌管理系統如何——以及如何成功——實現這一點是一個主要的差異化因素。

另請閱讀： 15 種最佳網絡監控工具（我們自己的評論）

測井技術

如果沒有日誌協議，日誌管理會困難得多，甚至可能不可能。其中一些存在。它們定義了日誌中包含哪些數據、應該如何格式化以及有時如何在系統之間傳輸這些數據。

Syslog 可以說是最常用的日誌記錄協議，尤其是在 Linux 世界中。該技術於 80 年代初發明，並已成為所有類 Unix 系統的事實上的標準。syslog 技術的最大資產之一是它如何促進生成日誌的系統或軟件、存儲它們的系統以及報告和分析它們的軟件之間的分離。使用 Syslog 技術使日誌管理變得更加容易。Syslog 不是 Unix 獨有的。許多非 Unix 設備，例如交換機、路由器和來自許多供應商的各種設備，都使用 syslog 協議的變體。

還有其他日誌記錄技術。例如，Microsoft Windows 使用不同的日誌記錄系統。這可能與以下事實有關：Windows 操作系統和應用程序的日誌通常包含比 Syslog 技術允許的更詳細的信息。幸運的是，Windows 事件收集器功能提供了一種日誌管理方法，各種系統可以使用該方法從 Windows 主機接收事件。這篇文章是關於 Linux 日誌管理的，所以我們不要在 Windows 上浪費太多時間。

無論使用何種日誌記錄技術，日誌管理的一個重要部分是配置設備將其日誌發送到管理系統。其他類型的工具（例如網絡監控系統）可以從它們監控的系統中獲取數據，但是通過日誌管理，每個設備都必須“被告知”將其日誌發送到哪裡。然而，這是一項相對簡單的任務，通常通過發出一個簡單的命令來完成。

進一步閱讀： 最佳網絡圖映射和拓撲軟件

日誌服務器還是日誌管理？

由於 Syslog 在每個類 Unix 系統（包括 Linux）上都可用已經有一段時間了，因此 Syslog 通常用作日誌服務器，其中一台計算機從其他幾台計算機接收 Syslog 數據。雖然這種日誌的集中存儲具有一定的優勢，但僅稱為日誌管理還不夠。

為了配得上日誌管理系統的名稱，產品必須至少包含一些更高級的功能。根據維基百科，“日誌管理由以下功能組成：日誌收集、集中日誌聚合、長期日誌存儲和保留、日誌輪換、日誌分析、日誌搜索和報告”。哇！這是很多功能。另一方面，日誌服務器通常只提供日誌收集和存儲，很少提供更多功能。

關於 SIEM 的一個（或兩個）詞

另一種與日誌相關並經常與日誌管理系統混淆的流行技術是安全信息和事件管理，或 SIEM。這與日誌管理不同，但又密切相關。它們之間的界限是如此之細，以至於一些標榜為日誌管理系統的產品實際上是 SIEM 系統，而一些基本的 SIEM 系統只不過是高級日誌管理系統。

混淆源於這樣一個事實，即日誌管理——或者至少是日誌分析——是 SIEM 系統的一個重要組成部分。SIEM 系統的不同之處在於它們執行日誌分析，最終目標是識別安全問題。例如，他們會尋找登錄失敗的跡象，這可能是未經授權的入侵企圖的明顯跡象。這些系統不斷地掃描日誌條目，尋找任何不尋常的東西。雖然一些 SIEM 系統確實包含廣泛的日誌管理功能，但有些系統使用外部日誌管理系統，並且看到兩個系統並排運行的情況並不少見。

相關閱讀： 適用於 Mac 的最佳 IP 掃描儀

Linux 的最佳日誌管理

希望我們現在對什麼是日誌管理以及它不是什麼有了共同的理解。那麼，讓我們來看看 Linux 有哪些可用的東西。但首先，讓我們澄清一些事情。當提到 Linux 日誌管理時，我們的意思是可以容納 Linux 日誌並且可以在 Linux 平台或云中運行的日誌管理系統。我們的一些選擇——尤其是基於雲的系統——也適用於來自其他平台的日誌。

1. SolarWinds Papertrail（免費計劃可用）

SolarWinds已成為網絡管理員家喻戶曉的名字。近 20 年來，它一直在製造一些最好的工具，為我們帶來了出色的帶寬監控工具以及最好的 NetFlow 分析器和收集器之一。該公司還因發布多種免費工具而聞名，這些工具可以滿足網絡管理員的某些特定需求，例如子網計算器或系統日誌服務器。

免費計劃：SolarWinds Papertrail
官方下載鏈接：https://papertrailapp.com/plans

不久前，SolarWinds收購了流行的日誌管理系統Papertrail。它聚合來自各種流行產品的日誌文件，如 Apache 或 MySQL 以及 Ruby on Rails 應用程序、不同的雲託管服務以及其他標準的系統日誌和基於文本的日誌文件。Papertrail用戶然後可以使用基於 Web 的搜索界面或命令行工具來搜索這些文件，以幫助診斷各種問題。Papertrail 還與其他 SolarWinds 產品（例如 Librato 和 Geckoboard）集成以繪製結果。

Papertrail是 SolarWinds 基於雲的軟件即服務 (SaaS) 產品。基於雲意味著它可以在全 Linux 環境中正常工作。該平台易於實施、使用和理解，可讓您在幾分鐘內即時查看所有系統。此外，該產品具有非常有效的搜索引擎，可以搜索存儲日誌和流式日誌。而且速度快如閃電。

Papertrail可用於多種計劃，包括免費計劃。但是，它有些限制，並且每個月只允許 100 MB 的日誌。但是，它會在第一個月允許 16 GB 的日誌，這相當於為您提供 30 天的免費試用。每月 1GB 的日誌、1 年的存檔和 1 週的索引的付費計劃起價為 7 美元/月。噪聲過濾允許該工具通過不保存無用的日誌來保存數據。

2. Loggly

Loggly是另一種基於雲的在線服務。主要是日誌整合器，它還提供日誌分析功能。作為基於雲的優點，該系統無需安裝，並且在您訂閱的那一刻即可使用。當然，您的系統和設備需要配置為定期將其標準日誌文件上傳到在線服務器。

免費試用：Loggly 計劃
官方鏈接：https://www.loggly.com

然後Loggly將接收到的日誌數據轉換為標準格式，從而允許分析器處理來自各種來源的記錄，並啟用跨所有系統的事件跟踪和關聯，而不管它們的操作系統或日誌記錄技術如何。日誌數據的來源不僅限於您的本地服務器。當然，該系統能夠處理由在線服務器（例如 Amazon 的 AWS）生成的日誌，並且可以包含由特定應用程序（例如 Docker 和 Logstash）創建的消息，僅舉幾例。

該Loggly服務是在三個不同的計劃可用，隨著數據處理限制和保留時間。您需要選擇正確的一個，以便為您的日誌數據提供足夠的空間。入門級計劃稱為Loggly Lite。它可以免費使用。在此計劃下，您每天可以上傳 200 MB 的日誌數據，系統會將每條記錄保留 7 天。接下來是標準計劃，它為您提供每天 1 GB 的上傳限額並保留 30 天的記錄。付費計劃還允許您使用多個用戶帳戶。使用標準包，您可以擁有三個用戶帳戶。頂層稱為Loggly Enterprise. 它對您可以設置的用戶帳戶數量沒有限制，價格根據您需要的上傳容量和保留期而有所不同。可以按月或按年支付所有付費計劃，標準計劃提供 14 天免費試用。

3. Splunk

Splunk是系統管理社區中眾所周知的適用於 Linux、Mac OS 和 Windows 的綜合日誌管理系統。不僅僅是一個基本的日誌管理系統，有些人認為它是一個成熟的入侵防禦系統。該產品有三個版本。頂部是Splunk Enterprise，它更像是一個網絡管理系統，而不僅僅是一個日誌管理工具。起價為每月 173 美元，您可以獲得很多功能。

還有一個免費版本的Splunk，它基本上是相同的工具，但沒有一些最先進的功能。本質上，它僅限於日誌文件分析。您可以輸入任何標準日誌文件或通過文件將其實時數據發送到分析器。免費版本有一些限制。例如，它可以只有一個用戶帳戶，並且其數據吞吐量限制為每天 500 MB 的日誌。Splunk 中內置了數據排序和過濾功能，有助於您進行故障排除工作。您可以使用這些功能按日期劃分日誌記錄並將每個組寫入新文件。事實上，這個功能非常靈活。

4. Nagios 日誌服務器

Nagios以其出色的網絡監控軟件而聞名，但它的 Log Server 也同樣有趣。該產品簡稱為Nagios 日誌服務器，它提供集中的日誌管理、監控和分析。該工具可以大大簡化搜索日誌數據的過程。它還允許您設置警報以接收潛在威脅的通知此外，該軟件具有內置的高可用性和故障轉移功能。此外，其簡單的源設置嚮導將幫助您快速配置服務器以發送所有日誌數據並在幾分鐘內開始監控您的日誌。

只需點擊幾下，Nagios 日誌服務器就可以輕鬆關聯所有服務器的日誌事件。該系統可讓您實時查看日誌數據，讓您能夠在問題發生時進行分析和解決。該產品具有令人印象深刻的可擴展性，隨著您組織的發展，它將繼續滿足您的需求。可以將額外的Nagios Log Server實例添加到監控集群中，讓您可以快速添加更多功能、速度、存儲和可靠性。

Nagios Log Server的單實例價格為3,995美元，雖然免費試用似乎不可用，但如果您更願意親身體驗該產品，則可以免費在線演示。

5. Graylog

我們列表中的下一個產品是名為Graylog的產品。該產品提供了許多有趣的功能。該工具將解析和豐富來自任何數據源的日誌和事件數據。它的處理管道允許在實時路由、黑名單、修改和豐富消息方面具有一定的靈活性。Graylog將搜索 TB 級的日誌數據以發現和分析重要信息。強大的搜索語法可讓您準確找到所需的內容。

使用Graylog，您可以創建儀表板來可視化指標並在一個中心位置觀察趨勢。您可以使用搜索結果頁面中的字段統計數據、快速值和圖表來深入分析您的數據。系統還可以選擇觸發操作或發布事件通知，例如登錄嘗試失敗、異常或性能下降。

Graylog是一個免費的、基於開源日誌文件的系統，它可以為您提供比日誌歸檔實用程序更多的功能。該日誌分析器具有圖形用戶界面，可以在 Ubuntu、Debian、CentOS 和 SUSE Linux 上運行。您還可以在 Microsoft Windows 上的虛擬機上運行它，並且可以在 Amazon AWS 上安裝 Graylog 系統。

6. ManageEngine 事件日誌分析器

ManageEngine是網絡管理員中的另一個常用名稱，它製作了一個出色的日誌管理系統，稱為ManageEngine EventLog Analyzer。該產品將使用無代理和基於代理的日誌收集以及日誌導入的組合來收集、管理、分析、關聯和搜索 700 多個源的日誌數據。

速度是ManageEngine EventLog Analyzer的優勢之一。它可以以驚人的 25,000 條日誌/秒的速度處理日誌數據並實時檢測攻擊。它還可以執行快速取證分析以減少違規的影響。系統的審計功能擴展到網絡外圍設備的日誌、用戶活動、服務器帳戶更改、用戶訪問等，幫助您滿足安全審計需求。

所述ManageEngine的事件日誌分析儀是可用的，其中只支持5日誌源的功能降低的免費版或在其中開始在$ 595和變化根據設備和應用的數量的高級版本。還提供免費的、功能齊全的 30 天試用版。