日誌管理最佳實踐和系統

管理日誌可能是一項複雜的工作。一個典型的組織不僅會生成大量這些信息，而且它們確實來自各種來源，每個來源都有可能不同的格式並包含不同的信息。為了讓一些可能很快變得混亂的東西看起來有秩序，發明了日誌管理。今天，我們來看看日誌管理最佳實踐和系統。我們希望它能幫助您看清楚這一點。

我們將從日誌管理的簡短描述開始。然後，我們將深入了解日誌管理的最佳實踐。我們將探討您是應該使用現成的系統還是自己動手。我們還將了解需要監控的內容和不應該監控的內容，然後是日誌安全性和保留以及存儲注意事項。在我們回顧一些最好的日誌管理系統之前，我們將了解各種管理任務、日誌的審查和維護、數據源的關聯以及一些自動化注意事項。

關於日誌管理

簡單地定義，日誌是與特定係統相關的事件的自動生成和時間戳文檔。當系統上發生事件時，會生成日誌或日誌條目。不同的系統會為不同的事件生成日誌。對於日誌管理，它通常是指用於管理和促進日誌數據的生成、傳輸、分析和存儲的過程和策略。日誌管理通常意味著一個集中式系統，其中聚合了來自多個來源的日誌。

然而，日誌管理不僅僅是日誌收集。顧名思義，管理部分很重要。一旦日誌管理系統接收到日誌，它們就會被“翻譯”成一種通用格式。這是必要的，因為不同的系統格式化日誌並在其日誌中包含不同的數據。為了使搜索和事件關聯更容易，日誌管理系統的目的之一是確保所有收集的日誌條目都以統一格式存儲。

談到搜索甚至關聯，這是大多數日誌管理系統的另一大特點。最好的日誌管理系統具有強大的搜索引擎。它讓管理員可以準確地將所需內容歸零。此外，事件關聯會自動對相關事件進行分組，即使它們來自不同的來源。

日誌管理最佳實踐

日誌管理是一個複雜的過程，我們對此無能為力。這種複雜性帶來了做錯的風險。為了避免這種情況，我們編制了一些日誌管理最佳實踐的列表。我們的目標是為您提供盡可能多的信息，以便為您選擇最適合您需求的日誌管理系統，但更重要的是，最大限度地利用它。

日誌管理系統還是DIY？

出於某種原因，有些人認為他們可以手動實現“日誌管理系統”。如果你在這些人中，請立即停止自欺欺人。雖然可以手動實現某種形式的日誌管理，但所需的工作遠遠超過實現真正的日誌管理系統所需的工作量。並且有幾種免費和開源工具可用，成本論據是無效的。

使用由信譽良好的供應商構建、支持和擴展的託管日誌記錄解決方案幾乎總是有意義的，而不是自己構建系統。有了它們，您通常需要做的就是連接您的源和目標，然後您就可以輕鬆地分析系統和應用程序日誌。您可以將更多時間花在監控和日誌記錄上，而不是構建您的日誌記錄基礎架構。

了解要監控的內容（以及不監控的內容）

知道記錄什麼很重要，但知道不記錄什麼更為重要。僅僅因為你可以記錄一些東西並不一定意味著你應該。記錄太多通常只會使查找真正重要的數據變得更加困難。此外，額外的日誌量增加了日誌存儲和管理流程的複雜性和成本。在開始實施日誌管理平台之前，提前考慮哪些內容將被記錄，哪些內容不會被記錄是很重要的。它將防止代價高昂的錯誤，並使您能夠更好地調整工具的大小。

仔細考慮您實際需要記錄的內容。最有可能記錄對合規性或審計目的至關重要的生產環境。幫助您解決性能問題、解決用戶體驗問題或監控與安全相關的事件的數據也應該如此。

相反，有些內容您不需要記錄，例如測試環境不是您業務流程的重要組成部分。出於合規性或安全原因，您還會選擇不記錄某些數據。例如，如果用戶啟用了禁止跟踪設置，則不應記錄與該用戶關聯的數據。

實施日誌安全和保留策略

日誌可能包含敏感數據。因此，您需要有一個日誌安全策略。例如，在確保敏感數據匿名或加密方面，這將是無價的。此外，日誌數據到日誌管理系統的安全傳輸要求在客戶端和服務器端使用使用 TLS 或 HTTPS 的加密傳輸。

至於保留策略，來自不同來源或系統的日誌可能需要不同的保留時間。例如，主要用於故障排除的日誌的保留時間可能相對較短，例如幾天甚至幾小時。另一方面，與安全相關的日誌或業務交易日誌需要更長的保留時間，通常是為了合規。考慮到這一點，您的保留策略應該是靈活且適應性強的，具體取決於日誌源或日誌類型。

日誌存儲注意事項

保留日誌數據會佔用寶貴的存儲空間。在規劃日誌的存儲容量時，需要考慮高負載峰值。大多數情況下，每天的日誌數據量是相對恆定的。它主要取決於系統利用率和/或每天的交易數量。但是，當出現問題時，您可以預期日誌量會加速增長。如果您的日誌存儲有超出的限制，您可能會丟失最新的日誌。為了減輕這種影響，最好的日誌管理系統使用循環緩衝區。在應用任何存儲限制之前，它首先刪除最舊的數據。

此外，日誌存儲應該有自己的安全策略。大多數攻擊者會試圖避免或刪除他們在日誌文件中的痕跡。為避免這種情況，您應該將日誌實時發送到中央日誌存儲（最好是異地）並保護它。因此，如果攻擊者可以訪問您的基礎設施異地日誌，則證據將不會被篡改。

查看和維護日誌

日誌維護是日誌管理的重要組成部分，如果不是最重要的部分。未維護的日誌會導致更長時間的故障排除、數據暴露風險和更高的日誌存儲成本。查看系統生成的日誌並根據需要調整日誌記錄級別。您應該考慮可用性、操作和安全方面。

使日誌級別可配置

一些系統日誌過於冗長，而另一些則沒有提供足夠的信息。不幸的是，您並不總是可以對此做些什麼。大多數係統提供可調整的日誌級別。它們是配置日誌詳細程度並確保必須記錄的內容和不重要的內容的關鍵。

經常檢查審計日誌

對安全問題採取行動至關重要。這就是為什麼人們應該始終關注日誌的原因。如果您的日誌管理系統沒有該功能——其中很多都有，請使用外部安全工具，例如 auditd 或 OSSEC。他們實施實時日誌分析並生成指向潛在安全問題的警報日誌。除此之外，您應該定義關鍵事件的警報，以便在任何可疑活動時快速收到通知。

關聯數據源

日誌記錄只是全球監控策略的一個要素。為了實現真正有效的監控，您需要使用其他類型的監控來補充日誌管理，例如基於事件、警報和跟踪的監控。這樣做是了解任何時間點正在發生的事情的全貌的最佳方式。雖然日誌有助於提供有關問題的高清詳細信息，但當您在放大樹木之前先花一些距離觀察森林時，這是最有用的。

日誌管理在孤島中不能很好地工作。什麼都不做。您絕對應該使用其他類型的監控來補充它，例如網絡監控、基礎設施監控等。在理想的世界中，您的監控解決方案應該足夠全面，可以在一個地方提供所有監控信息。或者，它可以與提供此信息的其他工具集成。這裡的目標是盡可能多地獲得整個環境的單一窗格視圖。

日誌管理和自動化

日誌管理可以幫助您及早發現問題，從而為您和您的團隊節省寶貴的時間和精力。它還可以幫助您找到實現自動化的機會。大多數日誌管理工具都可以讓您設置在發生某些事情時觸發的自定義警報。有些甚至可以讓您設置在觸發這些警報時啟動的自動操作。您應該使用管理工具允許的盡可能多的自動化。儘管您將花費時間設置此自動化，但您會發現在您第一次遇到事件時這樣做是非常值得的。

6 大日誌管理工具

我們已經在市場上尋找最好的日誌管理工具。我們試圖整理一個包含各種類型工具的列表。畢竟，每個人的需求都不同，適合一個人的最佳工具不一定適合其他人。

1. SolarWinds 安全事件管理器（免費試用）

SolarWinds是網絡管理工具領域的通用名稱。它已經存在了大約二十年，它為我們帶來了一些最好的帶寬監控工具以及 NetFlow 分析器和收集器。該公司還因發布多種免費工具而聞名，這些工具可以滿足網絡管理員的某些特定需求，例如子網計算器或系統日誌服務器。

在日誌管理方面，該公司的產品現在稱為SolarWinds 安全事件管理器。它最近從Log & Event Manager重命名，可能是為了更好地反映這樣一個事實，即它實際上不僅僅是一個日誌管理系統。它的許多高級功能使其在安全信息和事件管理 (SIEM) 範圍內。例如，它具有實時事件關聯和實時修復，這兩個類似 SIEM 的功能。

免費試用：SolarWinds 安全事件管理器
官方下載鏈接：https://www.solarwinds.com/security-event-manager/registration

讓我們來看看SolarWinds Security Event Manager的一些主要功能。該工具可以使用對可疑活動的即時檢測和自動響應來快速消除威脅。它還可以為緩解和合規性執行安全事件調查和取證。談到合規性，該產品將允許您證明它，這要歸功於其針對 HIPAA、PCI DSS 和 SOX 等的經審計證明的報告。該工具還具有文件完整性監控和 USB 設備監控功能，這兩個功能遠高於我們在日誌管理系統中常見的功能。

對於價格SolarWinds的安全事件管理為$ 4,585多達30監控節點。最多可以購買 2500 個節點的許可證，從而使產品具有高度的可擴展性。如果您想親自驗證該產品是否適合您，可以使用 30 天免費的全功能試用版。

2. SolarWinds Papertrail（免費計劃可用）

其次，我們有另一個很棒的產品Papertrail，它最近被SolarWinds收購。Papertrail是一種流行的基於雲的日誌管理系統。它聚合來自各種流行產品的日誌文件，如 Apache 或 MySQL 以及 Ruby on Rails 應用程序、不同的雲託管服務和其他標准文本日誌文件。Papertrail用戶然後可以使用基於 Web 的搜索界面或命令行工具來搜索這些文件，以幫助診斷錯誤和性能問題。該工具還與其他SolarWinds產品（如Librato和Geckoboard）集成以繪製結果。

可用的免費計劃：SolarWinds Papertrail
官方下載鏈接：https://papertrailapp.com/plans

Papertrail是SolarWinds提供的基於雲的軟件即服務 (SaaS) 產品。它易於實現、使用和理解。它可以讓您在幾分鐘內即時查看所有系統。該工具有一個非常有效的搜索引擎，可以搜索存儲日誌和流式日誌。而且速度快如閃電。

Papertrail可用於多種計劃，包括免費計劃。但是，它有些限制，並且每個月只允許 100 MB 的日誌。但是，它會在第一個月允許 16 GB 的日誌，這相當於為您提供 30 天的免費試用。每月 1GB 的日誌、1 年的存檔和 1 週的索引的付費計劃起價為 7 美元/月。噪聲過濾允許該工具通過不保存無用的日誌來保存數據。

3. ManageEngine 事件日誌分析器

ManageEngine是網絡管理員的另一個通用名稱，它製作了一個出色的日誌管理系統，稱為ManageEngine EventLog Analyzer。該產品將使用無代理和基於代理的日誌收集以及日誌導入的組合來收集、管理、分析、關聯和搜索 700 多個源的日誌數據。

速度是ManageEngine EventLog Analyzer的優勢之一。它可以以驚人的 25,000 條日誌/秒的速度處理日誌數據並實時檢測攻擊。它還可以執行快速取證分析以減少違規的影響。系統的審計功能擴展到網絡外圍設備的日誌、用戶活動、服務器帳戶更改、用戶訪問等，幫助您滿足安全審計需求。

所述ManageEngine的事件日誌分析儀是可用的，其中只支持5日誌源的功能降低的免費版或在其中開始在$ 595和變化根據設備和應用的數量的高級版本。還提供免費的、功能齊全的 30 天試用版。

4. Ipswitch 日誌管理套件

該日誌管理套件是從產品Ipswitch公司，這給我們帶來了同一家公司的WhatsUp Gold，一個非常流行的網絡監測工具。這是一個自動化工具，用於收集、存儲、歸檔和保存系統日誌、Windows 事件和 W3C/IIC 日誌。此外，其持續的日誌監控會提醒您任何可疑活動。

可以跟踪訪問權限和文件、文件夾和對象權限等經常審核的事件，根據需要生成警報，並用於為 HIPAA、SOX、FISMA、PCI、MiFID 或 Basel II 合規性構建合規性報告。由於其自動過濾、關聯、報告和轉換功能，該工具還可以幫助您將原始日誌數據轉換為對經理或 IT 安全團隊有意義的數據。

日誌管理套件的定價信息無法從Ipswitch 獲得。該產品可以直接從出版商處購買，也可以通過Ipswitch的經銷商網絡購買。還提供免費試用版。

5. 警報邏輯日誌管理器

Alert Logic的主要重點是安全性和合規性。由於日誌管理與兩者密切相關，因此該公司提供Alert Logic Log Manager也就不足為奇了。這個基於雲的工具在您的所有環境中提供自動化和統一的日誌管理。它將從雲、服務器、應用程序、安全性和網絡資產中收集、聚合和搜索日誌數據。

該警報邏輯日誌管理器中的日誌監測和分析，以及日誌審查，是由人完成的分析儀現場。Alert Logic的專家將一年 365 天提醒您可能的威脅活動。該服務還將幫助滿足 SOC 2、HIPAA 和 SOX 的日誌審查要求，並減輕審查日誌和跟踪事件的負擔，以符合 PCI/DSS 10.6、10.6.1、10.6.3

Alert Logic Log Manager 的定價信息無法從網絡上獲取，您需要聯繫Alert Logic銷售人員以獲得正式報價。免費試用也不可用，但可以通過聯繫Alert Logic安排免費演示。

6. Nagios 日誌服務器

您可能已經知道Nagios是一個出色的網絡監控包。該產品提供免費和開源以及商業版本，享有盛譽。對於日誌管理，Nagios的產品稱為Nagios Log Server。它是一個完整的軟件包，具有集中的日誌管理、監控和分析功能。此工具可以簡化搜索日誌數據的過程。它還允許您設置警報以接收潛在威脅的通知此外，該軟件具有內置的高可用性和故障轉移功能。其簡單的源設置嚮導可以幫助您配置服務器和其他設備以將其日誌數據發送到平台，使您可以在幾分鐘內開始監控日誌。

只需單擊幾下，Nagios 日誌服務器就可以輕鬆關聯所有日誌記錄源的日誌事件。該系統將讓您實時查看日誌數據，讓您在問題發生時實時分析和解決問題。該產品的另一個優勢是其令人印象深刻的可擴展性。隨著您的組織的發展，此工具不斷滿足您的需求。如果需要，可以將額外的Nagios Log Server實例添加到監控集群，讓您可以快速添加更多的功能、速度、存儲和可靠性。

有了所有這些功能，人們會期待高昂的價格標籤。事實並非如此，Nagios Log Server的單實例價格非常合理，為 3 995 美元。儘管不提供免費試用，但如果您更願意親身體驗該產品，則可以使用免費的在線演示在做出購買決定之前。