로그 관리 모범 사례 및 시스템

로그 관리는 복잡한 작업이 될 수 있습니다. 일반적인 조직에서는 수많은 정보를 생성할 뿐만 아니라 잠재적으로 다른 형식과 다른 정보를 포함하는 다양한 소스에서 생성됩니다. 빠르게 혼란스러워질 수 있는 무언가에 질서를 부여하기 위해 로그 관리가 발명되었습니다. 오늘은 로그 관리 모범 사례와 시스템을 살펴보겠습니다. 이를 통해 명확하게 볼 수 있기를 바랍니다.

로그 관리에 대한 간단한 설명으로 시작하겠습니다. 그런 다음 로그 관리의 모범 사례에 대해 자세히 알아보겠습니다. 기성품 시스템을 사용해야 하는지 아니면 직접 해야 하는지 살펴보겠습니다. 또한 모니터링해야 할 항목과 모니터링하지 말아야 할 항목에 대해 살펴보고 스토리지 고려 사항은 물론 로그 보안 및 보존에 대해서도 살펴보겠습니다. 그리고 최고의 로그 관리 시스템을 검토하기 전에 다양한 관리 작업, 로그 검토 및 유지 관리, 데이터 소스의 상관 관계, 몇 가지 자동화 고려 사항을 살펴보겠습니다.

로그 관리 정보

간단히 정의하면 로그는 특정 시스템과 관련된 이벤트에 대해 자동으로 생성되고 타임스탬프가 찍힌 문서입니다. 시스템에서 이벤트가 발생하면 로그 또는 로그 항목이 생성됩니다. 다른 시스템은 다른 이벤트에 대한 로그를 생성합니다. 로그 관리는 일반적으로 로그 데이터의 생성, 전송, 분석 및 저장을 관리하고 촉진하는 데 사용되는 프로세스 및 정책을 의미합니다. 로그 관리는 일반적으로 여러 소스의 로그가 집계되는 중앙 집중식 시스템을 의미합니다.

그러나 로그 관리는 단순한 로그 수집이 아닙니다. 이름에서 알 수 있듯이 관리 부분이 중요합니다. 로그 관리 시스템에서 로그를 수신하면 공통 형식으로 "변환"됩니다. 시스템마다 로그 형식이 다르고 로그에 다른 데이터가 포함되기 때문에 필요합니다. 검색 및 이벤트 상관 관계를 보다 쉽게 ​​하기 위해 로그 관리 시스템의 목적 중 하나는 수집된 모든 로그 항목이 균일한 형식으로 저장되도록 하는 것입니다.

검색 및 상관 관계에 대해 이야기하면 이것은 대부분의 로그 관리 시스템의 또 다른 주요 기능입니다. 최고의 로그 관리 시스템은 강력한 검색 엔진을 갖추고 있습니다. 이를 통해 관리자는 정확히 무엇이 필요한지 집중할 수 있습니다. 또한 이벤트 상관 관계 분석은 소스가 다른 경우에도 관련 이벤트를 자동으로 그룹화합니다.

로그 관리 모범 사례

로그 관리는 복잡한 프로세스이며 이에 대해 우리가 할 수 있는 일은 많지 않습니다. 이러한 복잡성으로 인해 잘못된 작업을 수행할 위험이 있습니다. 이를 방지하기 위해 로그 관리의 모범 사례 목록을 작성했습니다. 우리의 목표는 귀하의 요구에 가장 적합한 로그 관리 시스템을 선택하기 위해 가능한 한 많은 정보를 제공하는 것입니다.

로그 관리 시스템 또는 DIY?

어떤 이유로 일부 사람들은 "로그 관리 시스템"을 수동으로 구현할 수 있다고 믿습니다. 당신이 이러한 사람들에 속해 있다면 즉시 농담을 삼가십시오. 일부 형태 의 로그 관리를 수동으로 구현할 수는 있지만 필요한 노력이 진정한 로그 관리 시스템을 구현하는 데 필요한 것보다 훨씬 큽니다. 그리고 여러 무료 및 오픈 소스 도구를 사용할 수 있으므로 비용에 대한 주장은 타당하지 않습니다.

자체적으로 시스템을 구축하는 것보다 평판이 좋은 공급업체에서 구축, 지원 및 확장하는 관리형 로깅 솔루션을 사용하는 것이 거의 항상 의미가 있습니다. 이를 사용하면 일반적으로 소스와 대상을 연결하기만 하면 시스템 및 애플리케이션 로그를 쉽게 분석할 수 있습니다. 로깅 인프라를 구축하는 대신 모니터링 및 로깅에 더 많은 시간을 할애할 수 있습니다.

무엇을 모니터링해야 하는지(그리고 무엇을 하지 말아야 하는지)

기록할 내용을 아는 것도 중요하지만 기록하지 말아야 할 내용을 아는 것이 훨씬 더 중요합니다. 기록할 수 있다고 해서 반드시 기록해야 하는 것은 아닙니다. 너무 자주 로깅하면 실제로 중요한 데이터를 찾기가 더 어려워집니다. 또한 추가 로그 볼륨은 로그 저장 및 관리 프로세스에 복잡성과 비용을 추가합니다. 로그 관리 플랫폼 구현을 시작하기 전에 무엇이 기록되고 무엇이 기록되지 않을지 미리 생각하는 것이 중요합니다. 비용이 많이 드는 실수를 방지하고 도구 크기를 더 잘 조정할 수 있습니다.

실제로 기록해야 하는 항목을 신중하게 고려하십시오. 규정 준수 또는 감사 목적에 중요한 프로덕션 환경은 대부분 기록되어야 합니다. 성능 문제를 해결하거나 사용자 경험 문제를 해결하거나 보안 관련 이벤트를 모니터링하는 데 도움이 되는 데이터도 마찬가지입니다.

반대로, 예를 들어 비즈니스 프로세스의 필수 부분이 아닌 테스트 환경과 같이 기록할 필요가 없는 항목이 있습니다. 규정 준수 또는 보안상의 이유로 기록하지 않기로 선택한 데이터도 있습니다. 예를 들어, 사용자가 추적 금지 설정을 활성화한 경우 해당 사용자와 관련된 데이터를 기록하지 않아야 합니다.

로그 보안 및 보존 정책 구현

로그에는 민감한 데이터가 포함될 수 있습니다. 그렇기 때문에 로그 보안 정책이 필요합니다. 예를 들어 민감한 데이터를 익명화하거나 암호화하는 데 매우 유용합니다. 또한 로그 데이터를 로그 관리 시스템으로 안전하게 전송하려면 클라이언트와 서버 측에서 TLS 또는 HTTPS를 사용하여 암호화된 전송을 사용해야 합니다.

보존 정책과 관련하여 다른 소스 또는 시스템의 로그에는 다른 보존 시간이 필요할 수 있습니다. 예를 들어, 주로 문제 해결에 사용되는 로그는 며칠 또는 몇 시간과 같이 비교적 짧은 보존 시간으로 작동할 수 있습니다. 반면 보안 관련 로그 또는 비즈니스 트랜잭션 로그는 종종 규정 준수를 위해 더 긴 보존 시간이 필요합니다. 이를 고려하여 보존 정책은 로그 소스 또는 로그 유형에 따라 유연하고 조정 가능해야 합니다.

로그 스토리지 고려 사항

로그 데이터를 보관하면 귀중한 저장 공간을 사용합니다. 로그의 저장 용량을 계획할 때 높은 로드 피크를 고려해야 합니다. 대부분의 경우 하루 데이터 로그의 양은 비교적 일정합니다. 이는 주로 시스템 활용도 및/또는 일일 트랜잭션 수에 따라 다릅니다. 그러나 문제가 발생하면 로그 볼륨의 급격한 증가를 기대할 수 있습니다. 로그 저장소에 초과한 제한이 있는 경우 최신 로그가 손실될 수 있습니다. 이 영향을 완화하기 위해 최상의 로그 관리 시스템은 순환 버퍼를 사용합니다. 스토리지 제한이 적용되기 전에 가장 오래된 데이터를 먼저 삭제합니다.

또한 로그 저장소에는 자체 보안 정책이 있어야 합니다. 대부분의 공격자는 로그 파일에서 자신의 흔적을 피하거나 삭제하려고 합니다. 이를 방지하려면 로그를 실시간으로 중앙 로그 저장소(가능하면 오프사이트)로 전송하고 보안을 유지해야 합니다. 따라서 공격자가 인프라에 액세스할 수 있는 경우 오프사이트 로그는 증거가 변조되지 않은 상태로 유지됩니다.

로그 검토 및 유지 관리

로그 유지 관리는 가장 중요한 부분은 아닐지라도 로그 관리의 중요한 부분입니다. 유지 관리되지 않은 로그는 문제 해결 시간이 더 오래 걸리고 데이터 노출 위험이 증가하고 로그 저장 비용이 높아질 수 있습니다. 시스템에서 생성된 로그를 검토하고 필요에 따라 로깅 수준을 조정합니다. 사용성, 운영 및 보안 측면을 고려해야 합니다.

로그 수준 구성 가능

일부 시스템 로그는 너무 장황하지만 다른 로그는 충분한 정보를 제공하지 않습니다. 불행히도, 그것에 대해 항상 할 수 있는 일이 있는 것은 아닙니다. 대부분의 시스템은 조정 가능한 로그 수준을 제공합니다. 그것들은 로그의 상세 정도를 구성하고 무엇이 기록되어야 하는지, 무엇이 중요하지 않은지 확인하는 열쇠입니다.

감사 로그를 자주 검사하십시오.

보안 문제에 대처하는 것이 중요합니다. 이것이 로그를 항상 주시해야 하는 이유입니다. 로그 관리 시스템에 해당 기능이 없는 경우(대부분이 있습니다.) auditd 또는 OSSEC와 같은 외부 보안 도구를 사용하십시오. 실시간 로그 분석을 구현하고 잠재적인 보안 문제를 가리키는 경고 로그를 생성합니다. 또한 의심스러운 활동에 대해 신속하게 알림을 받을 수 있도록 중요한 이벤트에 대한 경고를 정의해야 합니다.

데이터 소스 상관 관계

로깅은 글로벌 모니터링 전략의 한 요소일 뿐입니다. 진정으로 효과적인 모니터링을 위해서는 이벤트, 경고 및 추적을 기반으로 하는 모니터링과 같은 다른 유형의 모니터링으로 로그 관리를 보완해야 합니다. 그렇게 하는 것이 어떤 시점에서 무슨 일이 일어나고 있는지 전체적인 그림을 보는 가장 좋은 방법입니다. 로그는 문제에 대한 고화질 세부 정보를 제공하는 데 유용하지만 나무를 확대하기 전에 숲을 보기 위해 거리를 둘 때 가장 유용합니다.

로그 관리는 사일로에서 잘 작동하지 않습니다. 아무것도 하지 않습니다. 네트워크 모니터링, 인프라 모니터링 등과 같은 다른 유형의 모니터링으로 이를 가장 확실히 보완해야 합니다. 그리고 이상적인 세상에서 모니터링 솔루션은 모든 모니터링 정보를 한 곳에서 제공할 수 있을 만큼 충분히 포괄적이어야 합니다. 또는 이 정보를 제공하는 다른 도구와 통합할 수 있습니다. 여기에서 목표는 가능한 한 전체 환경에 대한 단일 창 보기를 갖는 것입니다.

로그 관리 및 자동화

로그 관리를 통해 문제를 조기에 발견하여 귀하와 귀하의 팀이 귀중한 시간과 에너지를 절약할 수 있습니다. 또한 자동화 기회를 찾는 데 도움이 될 수 있습니다. 대부분의 로그 관리 도구를 사용하면 문제가 발생할 때 트리거되는 사용자 지정 알림을 설정할 수 있습니다. 일부는 이러한 경고가 트리거될 때 시작되도록 자동화된 작업을 설정할 수도 있습니다. 관리 도구에서 허용하는 만큼 자동화를 사용해야 합니다. 이 자동화를 설정하는 데 소비하는 시간에도 불구하고 사건이 처음 발생했을 때 그만한 가치가 있음을 알게 될 것입니다.

상위 6가지 로그 관리 도구

우리는 최고의 로그 관리 도구를 찾기 위해 시장을 샅샅이 뒤졌습니다. 우리는 다양한 유형의 도구가 포함된 목록을 만들려고 했습니다. 결국, 모든 사람의 요구 사항은 다르며 한 사람에게 가장 좋은 도구가 반드시 다른 사람에게는 가장 좋은 것은 아닙니다.

1. SolarWinds 보안 이벤트 관리자(무료 평가판)

SolarWinds 는 네트워크 관리 도구 분야의 일반적인 이름입니다. 약 20년 동안 사용되었으며 최고의 대역폭 모니터링 도구와 NetFlow 분석기 및 수집기를 제공했습니다. 이 회사는 또한 서브넷 계산기 또는 syslog 서버와 같은 네트워크 관리자의 특정 요구 사항을 해결하는 몇 가지 무료 도구를 게시하는 것으로 잘 알려져 있습니다.

로그 관리와 관련하여 회사의 제품은 이제 SolarWinds Security Event Manager 라고 합니다 . 최근에 Log & Event Manager 에서 이름이 바뀌었습니다 . 아마도 이것이 실제로 단순한 로그 관리 시스템 그 이상이라는 사실을 더 잘 반영하기 위함일 것입니다. 많은 고급 기능이 SIEM(보안 정보 및 이벤트 관리) 범위에 포함됩니다. 예를 들어, SIEM과 유사한 두 가지 기능인 실시간 이벤트 상관 관계 및 실시간 교정이 있습니다.

• 무료 평가판: SolarWinds 보안 이벤트 관리자
• 공식 다운로드 링크: https://www.solarwinds.com/security-event-manager/registration

SolarWinds Security Event Manager 의 주요 기능 중 일부를 살펴보겠습니다 . 이 도구는 의심스러운 활동의 즉각적인 탐지와 자동화된 대응을 사용하여 위협을 신속하게 제거할 수 있습니다. 또한 완화 및 규정 준수를 위해 보안 이벤트 조사 및 포렌식을 수행할 수 있습니다. 그리고 컴플라이언스에 대해 이야기하면 이 제품을 통해 무엇보다도 HIPAA, PCI DSS 및 SOX에 대한 감사로 입증된 보고 덕분에 이를 입증할 수 있습니다. 이 도구에는 파일 무결성 모니터링 및 USB 장치 모니터링도 포함되어 있습니다. 이 두 가지 기능은 로그 관리 시스템에서 일반적으로 볼 수 있는 것보다 훨씬 뛰어납니다.

SolarWinds Security Event Manager 의 가격은 최대 30개의 모니터링되는 노드에 대해 $4,585부터 시작합니다. 최대 2500개의 노드에 대한 라이선스를 구매하여 제품을 확장할 수 있습니다. 제품이 귀하에게 적합한지 직접 확인하고 싶다면 모든 기능을 갖춘 무료 30일 평가판 을 사용할 수 있습니다.

2. SolarWinds Papertrail(무료 플랜 사용 가능)

두 번째 로 최근 SolarWinds가 인수한 Papertrail 이라는 또 다른 훌륭한 제품이 있습니다. Papertrail 은 널리 사용되는 클라우드 기반 로그 관리 시스템입니다. Apache 또는 MySQL은 물론 Ruby on Rails 앱, 다양한 클라우드 호스팅 서비스 및 기타 표준 텍스트 로그 파일과 같이 널리 사용되는 다양한 제품의 로그 파일을 집계합니다. 그런 다음 Papertrail 사용자는 웹 기반 검색 인터페이스나 명령줄 도구를 사용하여 이러한 파일을 검색하여 버그 및 성능 문제를 진단할 수 있습니다. 이 도구는 결과를 그래프로 표시하기 위해 Librato 및 Geckoboard 와 같은 다른 SolarWinds 제품과 도 통합 됩니다.

• 무료 플랜 사용 가능: SolarWinds Papertrail
• 공식 다운로드 링크: https://papertrailapp.com/plans

Papertrail 은 SolarWinds 에서 제공하는 클라우드 기반 SaaS(Software as a Service)입니다 . 구현, 사용 및 이해하기 쉽습니다. 그리고 몇 분 안에 모든 시스템에 대한 즉각적인 가시성을 제공합니다. 이 도구에는 저장된 로그와 스트리밍 로그를 모두 검색할 수 있는 매우 효과적인 검색 엔진이 있습니다. 그리고 그것은 번개처럼 빠릅니다.

Papertrail 은 무료 계획을 포함한 여러 계획에서 사용할 수 있습니다. 그러나 다소 제한적이며 매월 100MB의 로그만 허용합니다. 그러나 첫 달에는 16GB의 로그가 허용되며 이는 무료 30일 평가판을 제공하는 것과 같습니다 . 유료 플랜은 1GB/월의 로그, 1년의 아카이브 및 1주의 인덱스에 대해 월 7달러부터 시작합니다. 노이즈 필터링을 사용하면 도구에서 불필요한 로그를 저장하지 않음으로써 데이터를 보존할 수 있습니다.

3. ManageEngine EventLog 분석기

ManageEngine의는 네트워크 관리자와 또 다른 일반적인 이름은 호출 된 우수한 로그 관리 시스템을 만드는 ManageEngine의은 EventLog 분석기를 . 이 제품은 에이전트리스 및 에이전트 기반 로그 수집과 로그 가져오기의 조합을 사용하여 700개 이상의 소스의 로그 데이터를 수집, 관리, 분석, 상관 관계 및 검색합니다.

속도는 ManageEngine EventLog Analyzer 의 강점 중 하나입니다 . 초당 25,000개의 놀라운 속도로 로그 데이터를 처리하고 실시간으로 공격을 탐지할 수 있습니다. 또한 빠른 포렌식 분석을 수행하여 침해의 영향을 줄일 수 있습니다. 시스템의 감사 기능은 네트워크 경계 장치의 로그, 사용자 활동, 서버 계정 변경, 사용자 액세스 등으로 확장되어 보안 감사 요구 사항을 충족하는 데 도움이 됩니다.

ManageEngine의은 EventLog Analyzer는 5 로그 소스를 지원하는 기능이 감소 된 무료 버전이나 장치 및 응용 프로그램의 수에 따라 $ 595 시작과 변화 프리미엄 에디션에서 사용할 수 있습니다. 모든 기능을 갖춘 무료 30일 평가판도 사용할 수 있습니다.

4. Ipswitch 로그 관리 제품군

로그 관리 스위트 에서 제품 Ipswitch의 , 우리 가져온 같은 회사 WhatsUp 골드 , 대단히 인기있는 네트워크 모니터링 도구를. 시스템 로그, Windows 이벤트 및 W3C/IIC 로그를 수집, 저장, 보관 및 저장하는 자동화된 도구입니다. 또한 지속적인 로그 감시를 통해 의심스러운 활동에 대해 경고합니다.

액세스 권한, 파일, 폴더 및 개체 권한과 같이 자주 감사되는 이벤트를 추적하여 필요에 따라 경고를 생성하고 HIPAA, SOX, FISMA, PCI, MiFID 또는 Basel II 규정 준수에 대한 규정 준수 보고서를 작성하는 데 사용할 수 있습니다. 또한 이 도구는 자동화된 필터링, 상관 관계, 보고 및 변환 기능 덕분에 원시 로그 데이터를 관리자 또는 IT 보안 팀을 위한 의미 있는 데이터로 변환하는 데 도움이 될 수 있습니다.

Log Management Suite 의 가격 정보 는 Ipswitch 에서 쉽게 구할 수 없습니다 . 제품은 게시자로부터 직접 또는 Ipswitch 의 리셀러 네트워크를 통해 구입할 수 있습니다 . 무료 평가판도 사용할 수 있습니다.

5. 경보 로직 로그 관리자

Alert Logic 의 주요 초점은 보안 및 규정 준수입니다. 그리고 로그 관리는 두 가지 모두와 밀접하게 관련되어 있기 때문에 회사가 Alert Logic Log Manager를 제공하는 것은 놀라운 일이 아닙니다 . 이 클라우드 기반 도구는 모든 환경에서 자동화되고 통합된 로그 관리를 제공합니다. 클라우드, 서버, 애플리케이션, 보안 및 네트워크 자산에서 로그 데이터를 수집, 집계 및 검색합니다.

경보 논리 로그 관리자는 로그 모니터링 및 분석뿐만 아니라 인간 분석기로는 라이브 수행 로그 검토가 포함되어 있습니다. Alert Logic 의 전문가는 1년 365일 가능한 위협 활동에 대해 경고합니다. 이 서비스는 또한 SOC 2, HIPAA 및 SOX의 로그 검토 요구 사항을 충족하고 PCI/DSS 10.6, 10.6.1, 10.6.3을 준수하기 위해 로그 검토 및 이벤트 후속 조치의 부담을 덜어줍니다.

Alert Logic Log Manager 의 가격 정보 는 웹에서 쉽게 구할 수 없으며 공식적인 견적을 받으려면 Alert Logic 영업팀에 문의해야 합니다 . 무료 평가판도 사용할 수 없지만 Alert Logic 에 연락하여 무료 데모를 예약할 수 있습니다 .

6. 나기오스 로그 서버

Nagios 를 우수한 네트워크 모니터링 패키지로 이미 알고 있을 것 입니다. 무료 오픈 소스와 상용 버전을 제공하는 이 제품은 견고한 평판을 얻고 있습니다. 로그 관리를 위해 Nagios 의 제품을 Nagios Log Server 라고 합니다 . 중앙 집중식 로그 관리, 모니터링 및 분석이 포함된 완전한 패키지입니다. 이 도구는 로그 데이터 검색 프로세스를 단순화할 수 있습니다. 또한 잠재적인 위협에 대해 알림을 받도록 경고를 설정할 수 있습니다. 뿐만 아니라 소프트웨어에는 고가용성 및 장애 조치 기능이 내장되어 있습니다. 간편한 소스 설정 마법사는 로그 데이터를 플랫폼으로 보내도록 서버 및 기타 장치를 구성하는 데 도움을 줄 수 있으므로 몇 분 안에 로그 모니터링을 시작할 수 있습니다.

Nagios는 로그 서버는 몇 번의 클릭만으로 모든 로그 소스에서 로그 이벤트를 쉽게 상관 관계를 제공한다. 이 시스템을 통해 실시간으로 로그 데이터를 볼 수 있으므로 문제가 발생하면 실시간으로 문제를 분석하고 해결할 수 있습니다. 이 제품의 또 다른 강점은 인상적인 확장성입니다. 이 도구는 조직이 성장함에 따라 계속해서 요구 사항을 충족합니다. 필요한 경우 모니터링 클러스터에 Nagios Log Server 인스턴스를 추가할 수 있으므로 더 많은 전력, 속도, 스토리지 및 안정성을 빠르게 추가할 수 있습니다.

이러한 모든 기능을 통해 상당한 가격표를 기대할 수 있습니다. 그렇지 않으며 Nagios Log Server 의 단일 인스턴스 가격 은 매우 합리적인 $3 995입니다. 무료 평가판을 제공하지 않음에도 불구하고 제품을 직접 보고 싶은 경우 무료 온라인 데모를 사용할 수 있습니다. 구매 결정을 내리기 전에.