systemd에서 Matrix Synapse의 "열린 파일이 너무 많습니다" 오류 해결

Matrix Synapse가 정상적으로 시작되었다가 연결을 수락하지 않거나, "열린 파일이 너무 많습니다"라는 오류 메시지가 표시되거나, 부하가 걸린 상태에서 멈추는 현상이 발생할 수 있습니다. systemd 환경에서는 먼저 실행 중인 Synapse 프로세스가 상속받은 파일 디스크립터 제한을 확인해야 합니다. ulimit일반적으로 셸 설정을 변경하거나 PAM 제한 파일을 편집해도 systemd가 시작하는 서비스의 파일 디스크립터 제한은 변경되지 않습니다.

아래 단계는 Synapse가 systemd 서비스로 실행되는 Linux 호스트에 적용됩니다. 해당 유닛의 이름은 matrix-synapse.service, matrix-synapse@.service, 또는 패키지별로 다를 수 있습니다. 명령어를 복사하기 전에 실제 유닛 이름을 확인하십시오. Synapse가 Docker, Kubernetes 또는 다른 컨테이너에서 실행되는 경우 아래의 별도 섹션을 참조하십시오.

"열려 있는 파일이 너무 많습니다"라는 말은 무슨 뜻인가요?

Linux는 각 프로세스에 열린 파일 디스크립터 수에 제한을 둡니다. 디스크립터는 파일, 소켓, 파이프 또는 기타 리소스를 가리킬 수 있으며, 네트워크 연결도 디스크립터를 사용합니다. 프로세스가 소프트 제한에 도달하면 다른 디스크립터를 열거나 수락하려는 시도가 실패할 수 있습니다 EMFILE. Linux에는 시스템 전체에 적용되는 별도의 파일 테이블 제한도 있으며, 이 제한이 소진되면 오류가 발생할 수 있습니다 ENFILE. Synapse 서비스 중 하나의 제한을 높이더라도 시스템 전체의 부족 문제는 해결되지 않습니다.

Synapse의 공식 관리자 FAQ에 따르면, 연결 및 페더레이션 활동이 많을 경우 파일 핸들 사용량이 급증하여 서버가 새로운 TCP 연결 수락을 중단할 수 있다고 합니다. FAQ에서는 1,024 또는 256과 같은 이전 기본값을 사용하는 경우 최소 4,096으로 제한을 높일 것을 권장합니다. 하지만 이는 위에서 설명한 상황에 대한 문제 해결을 위한 최소한의 기준치일 뿐, 모든 홈서버에 적용 가능한 일반적인 용량 권장 사항은 아닙니다. 먼저 유효 제한과 실제 사용량을 확인해 보시기 바랍니다.

Linux의 getrlimit 및 prlimit 문서에는 프로세스별 소프트 제한과 하드 제한에 대한 설명이 있습니다. Synapse에도 관련 soft_file_limit설정이 있으며, Synapse 구성 참조 문서에는 기본값이 0으로 설정되어 있어 Synapse가 소프트 제한을 사용 가능한 하드 제한으로 설정하도록 되어 있습니다.

1. 장치를 확인하고 고장 원인을 진단하십시오.

먼저 실제 서비스 이름을 찾으세요. 대부분의 패키지 설치에서는 서비스 이름이 이지만 matrix-synapse.service, 사용자 지정 유닛이나 워커를 사용하는 설치의 경우에는 해당 이름을 가정하지 마세요.

systemctl list-units --type=service --all | grep -i synapse
systemctl status matrix-synapse.service --no-pager
journalctl -u matrix-synapse.service --since "30 minutes ago" --no-pager

정확한 오류 메시지, 오류 발생 시간, 그리고 트래픽 급증, 페더레이션 활동 또는 재시작 중에 발생하는지 여부를 확인하십시오. 다음으로 systemd가 현재 보고하는 제한 값을 확인하십시오.

systemctl show matrix-synapse.service -p LimitNOFILE -p MainPID

LimitNOFILE이는 서비스 관리자가 구성한 제한을 보여주는 것이지, 현재 열려 있는 디스크립터 수를 나타내는 것이 아닙니다. 예를 들어, 셸 명령은 ulimit -n현재 셸의 제한만 보고하며 서비스의 제한을 증명하는 것은 아닙니다.

2. 드롭인 모듈을 사용하여 systemd 서비스 제한을 높입니다.

systemd 드롭인을 사용하면 패키지 업데이트 시 벤더 유닛 파일을 수정할 필요가 없습니다. 다음 값은 예시일 뿐이며 모든 서버에 최적의 값은 아닙니다. 관찰된 최대 사용량보다 여유 있는 값을 선택하고, 비정상적으로 높은 값을 설정하기 전에 애플리케이션 및 종속성 호환성을 확인하십시오.

sudo systemctl edit matrix-synapse.service

편집기의 새 드롭인 아래에 다음 내용을 추가하세요.

[Service]
LimitNOFILE=65536

저장 후 종료하고, 적절한 유지 관리 시간 동안 systemd를 다시 로드하고 Synapse를 다시 시작하십시오.

sudo systemctl daemon-reload
sudo systemctl restart matrix-synapse.service
systemctl show matrix-synapse.service -p LimitNOFILE

systemd에서는 하나의 LimitNOFILE값으로 서비스의 소프트 제한과 하드 제한을 모두 설정할 수 있습니다. systemd 설명서에서는 두 값을 soft:hard함께 설정하는 것도 가능하다고 명시하고 있습니다. 소프트 제한은 하드 제한을 초과할 수 없습니다. 매우 높은 값을 선택하기 전에 systemd.exec 설명서를 검토하십시오 . 이 설명서에는 디스크립터가 1,023을 초과하는 경우 이전 select(2)인터페이스를 사용하는 프로그램과의 호환성 문제가 언급되어 있습니다. 배포 환경의 모든 라이브러리 또는 플러그인이 임의의 제한을 지원한다고 가정하지 마십시오.

3. Synapse 자체 설정 및 워커 서비스를 확인하십시오.

Synapse 구성에서 명시적으로 soft_file_limit낮은 값으로 설정한 경우, 애플리케이션 설정으로 인해 소프트 제한이 systemd 상한선보다 낮게 유지될 수 있습니다. 활성 구성 파일과 포함된 구성 파일에서 해당 키를 검색하십시오. 불필요한 재정의를 제거하거나 의도적으로 설정하십시오. 문서에 명시된 기본값인 0은 Synapse가 소프트 제한을 사용 가능한 하드 제한까지 높이도록 요청합니다.

다중 프로세스 배포의 경우, 각 워커는 별도의 프로세스이며 별도의 유닛 또는 템플릿 인스턴스에서 시작될 수 있습니다. 메인 서비스의 제한을 높인다고 해서 모든 워커가 의도한 제한을 충족하는 것은 아닙니다. `executable_worker_unit_name` 명령어를 사용하여 실제 워커 유닛 이름을 확인한 systemctl list-units다음, 필요한 각 서비스에 적절한 드롭인을 적용하고 검증하십시오.

마찬가지로, 시스템 설정 /etc/security/limits.conf이나 로그인 셸의 설정은 ulimit일반적으로 systemd가 직접 시작한 시스템 서비스를 제어하지 않습니다. 이러한 설정을 위해서는 장치의 리소스 제한을 변경하고 systemd가 실제로 시작한 프로세스에서 변경 사항을 확인해야 합니다.

4. Synapse가 컨테이너에서 실행되는 경우

호스트 수준에서 다른 서비스에 대한 systemd 재정의를 수행해도 컨테이너의 파일 디스크립터 제한은 자동으로 변경되지 않습니다. 컨테이너 런타임 또는 오케스트레이션 계층을 구성하십시오. Docker Compose의 경우 서비스 정의에서 컨테이너별 설정을 지원합니다 ulimits. 예시는 다음과 같습니다.

services:
  synapse:
    ulimits:
      nofile:
        soft: 65536
        hard: 65536

이 수치는 예시일 뿐이며, 실제 사용량과 호스트의 제한 사항을 고려하여 조정해야 합니다. Docker Compose 서비스 참조 문서에서 해당 ulimits설정을 확인할 수 있습니다. Docker Engine 29부터는 containerd 2.1.5와 관련된 기본 nofile 제한이 변경되었다는 내용이 Docker 릴리스 노트에 명시되어 있습니다. 컨테이너는 이전의 기본값인 1,048,576 대신 1,024를 받을 수 있습니다. 엔진 업그레이드 후 문제가 발생한 경우, 실제 컨테이너 제한을 확인하고 배포 구성에서 필요한 ulimit을 명시적으로 설정하십시오. Docker Engine 29 릴리스 노트 및 docker run 참조 문서를 확인하십시오 .

5. 실행 중인 Synapse 프로세스의 제한 사항을 확인합니다.

재시작 후에는 systemd 설정뿐만 아니라 프로세스 수준의 제한도 확인하십시오. 메인 PID를 확인하고 커널에서 보고하는 제한 사항을 검사하십시오.

PID=$(systemctl show --property=MainPID --value matrix-synapse.service)
grep "Max open files" "/proc/$PID/limits"
find "/proc/$PID/fd" -mindepth 1 -maxdepth 1 | wc -l

메인 PID가 0이거나 Synapse가 아닌 래퍼에 속하는 경우, 서비스의 cgroup에서 Synapse 프로세스를 찾아 해당 PID를 확인하십시오. 디스크립터 개수는 특정 시점의 스냅샷이므로, 대표적인 부하 상황에서 다시 확인하십시오. "최대 열린 파일 수"가 의도한 소프트 제한 및 하드 제한을 반영하는지, 개수가 소프트 제한보다 훨씬 낮은 수준을 유지하는지, 그리고 저널에 더 이상 오류가 보고되지 않는지 확인하십시오.

카운트가 새로운 상한선에 도달할 때까지 계속 증가한다면, 해당 제한은 단지 오류를 지연시키는 것일 수 있습니다. Synapse FAQ에서는 파일 핸들 고갈을 조사할 때 요청이 멈추거나 속도가 느려지는 현상이 관련될 수 있다고 언급합니다. 주변 로그와 요청 처리 과정을 검토하고, 시간 경과에 따른 디스크립터 카운트를 비교하며, 무작정 제한을 늘리는 대신 메모리 누수나 예기치 않게 지속되는 연결을 조사하십시오.

서비스별 제한을 높이는 것만으로는 충분하지 않을 때

로그에 시스템 전체 파일 테이블 고갈 오류(예: )가 보고되면 ENFILE호스트 전체 사용량 및 다른 서비스를 점검하십시오. 서비스별 LimitNOFILE변경은 커널의 시스템 전체 용량을 늘리지 않습니다. 오류를 확인하고 호스트 전체에 미치는 영향을 파악하지 않고는 전역 커널 제한을 변경하지 마십시오. 드롭인 후에도 서비스의 보고된 제한이 여전히 낮으면 systemctl cat matrix-synapse.service드롭인이 로드되었는지 확인하기 위해 명령을 실행하고, 유닛 이름을 확인하고, systemd를 다시 로드하고, 올바른 유닛을 다시 시작하십시오.

빠른 자가 진단

• 오류를 기록하는 정확한 Synapse 유닛 또는 컨테이너를 확인하셨습니까?
• systemctl show해당 장치에 대한 목표 한도를 보고 합니까 ?
• /proc/<Synapse-PID>/limits재시작 후 의도한 소프트 리밋과 하드 리밋이 표시 됩니까 ?
• 정상 최대 부하 시 디스크립터 개수가 소프트 리밋 미만입니까?
• 해당되는 경우 작업자 단위와 컨테이너 설정을 별도로 확인합니까?
• 오류가 멈춘 건가요, 아니면 사용량이 새로운 상한선을 향해 계속 증가하고 있는 건가요?

프로세스 수준 검사가 모두 통과하고 실제 트래픽 처리 중에 오류가 더 이상 발생하지 않으면 systemd 제한 변경이 제대로 작동하는 것입니다. 디스크립터가 계속 누적되거나 시스템에서 전역 부족 오류가 보고되는 경우, 제한 값을 늘리는 것을 완전한 해결책으로 간주하기보다는 원인을 계속 조사해야 합니다.

출처

• Synapse 관리 FAQ: 파일 핸들 고갈 문제
• Synapse 구성 참조: soft_file_limit
• systemd.exec 매뉴얼: 서비스 리소스 제한
• 리눅스 매뉴얼: getrlimit 및 prlimit
• Docker Engine 29 릴리스 노트