2021 年適用於 Linux 的 5 個最佳 NetFlow 收集器
NetFlow 技術提供詳細的網絡流量分析。本文將探討最新的適用於 Linux 的 NetFlow 收集器。
日誌管理可能是一項複雜而令人生畏的工作。由於高質量日誌管理系統的可用性,事情變得有些簡單,但是,為了使事情變得更加簡單並消除部署和維護另一個系統的大部分開銷,許多管理員和經理選擇轉向雲日誌服務。
但正如有許多日誌管理系統一樣,也有許多雲日誌服務,選擇最適合您需求的服務可能會令人生畏。這就是為什麼在本文中我們很高興回顧一些最好的雲日誌服務。
我們將首先介紹日誌管理並討論一些通常會遇到的各種日誌技術。然後我們將討論日誌服務器、日誌管理系統以及安全信息和事件管理系統之間的區別。接下來,我們將討論與本地安裝的日誌管理系統相比,使用雲日誌服務的優勢,然後我們才能最終到達最好的部分,審查一些最好的雲日誌服務。
關於日誌管理?
在我們開始討論日誌服務之前,讓我們首先嘗試定義日誌是什麼。日誌(有時也稱為日誌條目,術語日誌是指收集和存儲這些條目的位置)是與特定係統有關的事件的自動生成和時間戳文檔。每當系統上發生事件時,都會生成日誌。系統和設備將為不同類型的事件生成日誌,其中許多將讓管理員在一定程度上控制哪些事件會生成日誌,哪些不會。
至於日誌管理,它是用於管理和促進大量日誌數據的生成、傳輸、分析、存儲、存檔和最終處理的過程和策略。日誌管理通常意味著一個集中式系統,其中收集來自多個來源的日誌。然而,日誌管理不僅僅是日誌收集。最重要的是管理部分。日誌管理系統通常具有多種功能,收集日誌只是其中之一。
最後,日誌服務是指組織可以將其日誌管理需求外包的外部提供商。它們是基於雲的軟件即服務 (SaaS) 類型的業務,您可以使用它們代替本地安裝的日誌管理基礎設施。使用日誌服務有幾個優點,我們很快就會看到。現在,請記住,日誌服務只不過是基於雲的異地日誌管理系統。
日誌管理系統收到日誌後,必須將其標準化為通用格式,因為不同系統的日誌格式不同,包含的數據也不同。有些以日期和時間開始記錄,有些以事件編號開始。有些只包含事件 ID,而有些則包含事件的全文描述。日誌管理系統的目的之一是確保所有收集的日誌條目都以統一格式存儲,無論它們來自何處。這將使事件關聯和搜索更容易。
說到事件關聯和搜索,這是大多數日誌管理系統或日誌服務的兩個非常重要的功能。其中一些具有強大的搜索引擎,允許管理員準確地將他們需要的內容歸零。相關函數會自動對相關事件進行分組,即使它們來自不同的來源。如何——但更重要的是,如何成功——不同的日誌管理系統實現這一點是一個主要的差異化因素。
相關: Linux 的最佳日誌管理工具
測井技術
如果沒有日誌協議,日誌管理(本地和基於雲的)將更加困難,甚至可能不可能。其中一些存在。它們定義了日誌中包含哪些數據、應該如何格式化以及有時如何在系統之間傳輸數據。
Syslog 是最常用的日誌記錄協議之一,尤其是在 Linux/Unix 世界中。該技術於 80 年代初發明,並已成為所有類 Unix 系統的事實上的標準。它也是大多數網絡設備製造商通常青睞的技術。它最大的資產之一是它如何促進生成日誌的系統或軟件、存儲它們的系統以及報告和分析它們的軟件之間的分離。使用 Syslog 技術使日誌管理變得更加容易。
其他測井技術也很常用。例如,Windows 使用專有的日誌系統。原因之一是 Microsoft 操作系統和應用程序生成的日誌通常包含比 Syslog 技術允許的詳細得多的信息。或者當然,任何體面的日誌管理系統或日誌服務都將透明地支持多種日誌協議和技術。
無論您使用的是本地安裝的日誌管理工具還是日誌服務,最重要的部署步驟之一就是配置您的設備以將其日誌發送到系統。這與其他類型的工具不同,例如網絡監控系統,可以從它們監控的系統中獲取數據。這種配置通常是一個相對簡單的任務,通常通過發出一個簡單的命令來完成。此外,大多數 lo 管理系統和日誌服務將提供有關如何操作的詳細說明。
日誌管理與日誌服務器
由於它已經在每個類 Unix 系統上可用一段時間了,因此 Syslog 通常用作日誌服務器,其中一台計算機從其他幾台計算機接收 Syslog 數據。雖然這種日誌的集中存儲具有一定的優勢,但僅稱為日誌管理還不夠。
真正的日誌管理系統必須至少包括一些更高級的功能。根據維基百科,“日誌管理由以下功能組成:日誌收集、集中日誌聚合、長期日誌存儲和保留、日誌輪換、日誌分析、日誌搜索和報告”。另一方面,日誌服務器通常只提供日誌收集和存儲,僅此而已。
另請閱讀: 為您提供幫助的最佳日誌監控工具
SIEM呢?
另一種與日誌相關並經常與日誌管理混淆的流行技術是安全信息和事件管理,或 SIEM。它是一種密切相關的技術,但與日誌管理略有不同,但兩者之間的界限太細以至於經常混淆,一些標榜為日誌管理系統的產品實際上是入門級的 SIEM 系統,而一些基本的 SIEM 系統則什麼都不是不僅僅是先進的日誌管理系統。
這種混淆源於這樣一個事實,即日誌分析(日誌管理的基本組成部分)也是 SIEM 系統的一個組成部分,SIEM 系統的不同之處在於它們執行日誌分析的特定目標是識別安全問題。例如,他們會尋找登錄失敗的跡象,這可能是未經授權的入侵企圖的跡象。雖然一些 SIEM 系統確實包含廣泛的日誌管理功能,但其他系統使用外部日誌管理系統,並且看到兩者並排運行的情況並不少見。如果你有一個 SIEM 系統,你會想要選擇一個可以使用它的日誌服務。
基於雲的日誌記錄的優勢
使用基於雲的日誌服務有幾個優點。它們的範圍從安全性到便利性和常青樹。讓我們深入挖掘。基於雲的日誌記錄的主要優勢之一是安全性。除了系統錯誤和各種問題之外,記錄日誌的主要原因之一是跟踪對系統和數據的所有訪問。當您受到黑客的攻擊時尤其如此,分析日誌通常是檢測此類攻擊的主要方法之一。黑客知道這一點,他們通常會嘗試通過快速擦除與其活動相關的日誌來掩蓋他們的踪跡。使用本地日誌,他們通常已經獲得了對您環境的訪問權限,因此可以相對容易地使他們的存在消失。使用雲日誌記錄對他們來說有點困難。他們首先必須破解您的日誌記錄提供程序才能刪除他們的踪跡。並且日誌記錄提供程序通常具有非常高的安全性。
在決定使用雲日誌服務時,便利因素也很重要。首先,一切都已安裝。配置帳戶後,您只需配置設備以將日誌發送給提供商。系統始終保持最新狀態,始終安裝所有必要的補丁程序,您始終擁有最新版本。我們可以以類似的優勢永遠繼續下去。
成本也是一個因素。根據您的日誌記錄級別,在本地存儲日誌最終可能會佔用大量存儲空間,而且如您所知,存儲空間很昂貴。當然,雲日誌成本也會隨著您使用更多存儲而增加,但它往往是一個更靈活的選擇。
最佳雲日誌服務
我們搜索了市場並找到了一些可用的最佳日誌服務。它們的功能集差異很大,在選擇其中一個之前,您絕對應該密切關注它們的詳細規格。與大多數其他系統一樣,最好的系統將是最符合您特定需求的系統。不要猶豫,利用免費試用優惠,因為它們可以讓您親眼目睹每個工具如何與您的環境進行交互。
SolarWinds已成為網絡管理員家喻戶曉的名字。近 20 年來,它一直在製造一些最好的工具,為我們帶來了出色的帶寬監控工具和最好的 NetFlow 分析器和收集器之一。在過去的幾年裡,公司的產品和服務組合通過收購幾款出色的產品得到了極大的擴展。
Loggly是SolarWinds 的收購之一。主要是日誌整合器,它還提供日誌分析功能。作為基於雲的服務的優點,該系統無需安裝,並且在您訂閱的那一刻即可使用。您唯一需要做的就是配置您的系統和設備,將它們的日誌上傳到在線服務器。
SolarWinds Loggly將接收到的日誌數據轉換為標準格式,從而允許其分析器處理來自各種來源的記錄,並啟用跨所有系統的事件跟踪和關聯,無論其操作系統或日誌記錄技術如何。日誌數據的來源不僅限於您的本地服務器。該服務還能夠處理由 Amazon 的 AWS 或 Microsoft Azure 等雲託管服務生成的日誌,並且可以包括由 Docker 和 Logstash 等特定應用程序創建的消息,僅舉幾例。
該SolarWinds的Loggly服務是在三個不同的計劃可用,隨著數據處理的限制和保留時間。您需要選擇正確的一個,以便為您的日誌數據提供足夠的空間。入門級計劃稱為Loggly Lite。它可以免費使用。在此計劃下,您每天可以上傳 200 MB 的日誌數據,系統會將每條記錄保留 7 天。接下來是標準計劃,它為您提供每天 1 GB 的上傳限額並保留 30 天的記錄。付費計劃還允許您使用多個用戶帳戶。使用標準包,您可以擁有三個用戶帳戶。頂層稱為Loggly Enterprise. 它對您可以設置的用戶帳戶數量沒有限制,價格根據您需要的上傳容量和保留期而有所不同。可以按月或按年支付所有付費計劃,標準計劃提供 14 天免費試用。
2. SolarWinds Papertrail(免費計劃可用)
另一個相對較新的SolarWinds收購是Papertrail,一種流行的日誌服務。它聚合來自各種流行產品的日誌文件,如 Apache 或 MySQL 以及 Ruby on Rails 應用程序、不同的雲託管服務以及其他標準的系統日誌和基於文本的日誌文件。Papertrail用戶然後可以使用基於 Web 的搜索界面或命令行工具來搜索這些文件,以幫助診斷各種問題。該工具還與其他SolarWinds產品(如Librato和Geckoboard)集成以繪製結果。
Papertrail是SolarWinds提供的基於雲的軟件即服務 (SaaS) 產品。基於雲意味著它幾乎可以在任何環境中正常工作。該平台易於實施、使用和理解,可讓您在幾分鐘內即時查看所有系統。此外,該產品具有非常有效的搜索引擎,可以搜索存儲日誌和流式日誌。而且速度快如閃電。
Papertrail可用於多種計劃,包括免費計劃。但是,它有些限制,並且每個月只允許 100 MB 的日誌。但是,它會在第一個月允許 16 GB 的日誌,這相當於為您提供 30 天的免費試用。每月 1GB 的日誌、1 年的存檔和 1 週的索引的付費計劃起價為 7 美元/月。噪聲過濾允許該工具通過不保存無用的日誌來保存數據。
3. LogDNA
LogDNA號稱是“最快、最直觀、最具成本效益的日誌管理系統”。這是一個大膽的聲明,但它往往是正確的。從一開始,產品的安裝只需幾分鐘,您就可以開始收集和監控日誌。無論日誌如何生成和傳輸,產品中都提供了數百種自定義集成方案,可幫助您將日誌集中到一個位置。
LogDNA與之前的條目不同,因為它可用於基於雲的服務或自託管軟件版本,具體取決於您的偏好。它是一種高度可擴展的產品,每秒可以處理數十萬個日誌,每天可以處理數十 TB,同時提供最高的安全性和實時日誌分析。該公司及其產品均符合 SOC2、PCI 和 HIPAA 標準,並通過了 Privacy Shield 認證。
LogDNA簡單的按 GB 付費定價模型消除了合同和固定數據分配,這是任何付費日誌監控和管理解決方案的最低總擁有成本之一。有幾個訂閱計劃可用,功能不斷增加。底層計劃是免費的,付費計劃的價格從 1.50 美元/GB/月到 3 美元/GB/月不等,具體取決於保留期限和用戶數量。還提供免費、功能齊全且無限制的 14 天試用版。
4.相撲邏輯
Sumo Logic是我們在雲日誌服務領域的下一個競爭者。該產品旨在從幾乎任何來源聚合大量日誌數據。但收集日誌數據只是一個開始。該服務還可以幫助您使用收集的數據來監控性能、改進應用程序,甚至可能解決安全問題和合規性問題。
Sumo Logic的下一代日誌管理和機器數據分析服務可提供對應用程序和基礎架構操作的可操作洞察,同時顯著降低複雜性和成本。Sumo Logic 聲稱提供了唯一提供持續智能的雲原生實時機器數據分析平台。
Sumo Logic可在三種不同的計劃下使用。有一個免費計劃,它針對的是希望在無限時間內為較小項目試用Sumo Logic 的個人和團隊。接下來是專業計劃,每月每 1GB 平均每日日誌數據 90 美元。最重要的是,您擁有功能齊全的企業計劃,每月每 1GB 平均每日日誌數據 150 美元。請注意,兩種付費計劃都提供 30 天的試用期。
5.數據狗
我們列表中的最後一個是Datadog,這是一種混合雲日誌記錄工具,可幫助您匯總所需的指標並增強對環境的可見性。該工具的最佳功能之一是其動態索引策略。它們使檢查和管理大量日誌變得更加容易和快捷。
儘管Datadog主要面向為市場準備應用程序的開發和運營團隊,但它也是用於典型業務環境的日誌監控的出色服務。根據其一些用戶的說法,該產品的缺點之一是初始設置可能變得複雜。但是只要您設定正確的期望並且不打算在開始後幾分鐘開始使用該服務,您應該沒問題。無論如何,儘管它有一些小怪癖,但這是一個很好的、可靠的解決方案。
除了日誌管理服務之外,Datalog還提供基礎設施監控和應用程序性能監控。日誌管理組件價格具有競爭力,提供三種風格。每百萬日誌事件 1.91 美元/月將為您提供 7 天的數據保留,每百萬日誌事件 2.55 美元/月將保留長達 15 天,而頂級,每百萬日誌事件 375 美元/月的保留時間為 30 天。當您選擇按年計費並且還提供 30 天免費試用時,這些價格要便宜得多。
NetFlow 技術提供詳細的網絡流量分析。本文將探討最新的適用於 Linux 的 NetFlow 收集器。
儘管 Microsoft Access 如此流行且無處不在,但它並不是同類產品中唯一的產品。事實上,有多種替代方案可供選擇,並且
網絡管理軟件市場非常擁擠。按照我們推薦的最佳網絡管理工具來縮短您的搜索。
Ping 掃描可以通過多種方式為您帶來好處。請繼續閱讀,我們將討論如何操作並介紹您能找到的 10 種最佳 Ping 掃描工具。
網站很重要,必須不斷密切監控以獲得足夠的性能。以下是一些用於監控網站的最佳工具。
以下是一些最好的軟件部署工具,可以減輕管理任意數量機器的痛苦
如果您從事健康行業或以某種方式參與該行業的 IT,您很有可能聽說過 HIPAA。健康保險的便攜性
sFlow 是一種內置於眾多網絡設備中的流分析協議。我們回顧了前五名的最佳免費 sFlow 收集器和分析器。
為了幫助您選擇合適的工具,我們引入了最好的無代理基礎設施監控工具,並讓您快速查看每個工具。
隨著 Linux 在數據中心變得越來越流行,他們正在研究 Linux 上的帶寬監控,同時也在審查最佳工具。