Teleport는 건강 상태 확인 메커니즘을 제공하여 시스템의 상태가 양호하고 트래픽을 처리할 준비가 되었는지 확인합니다. 메트릭, 추적, 그리고 프로파일링은 클러스터 성능과 응답성을 추적하는 심층 데이터를 제공합니다.

상태 모니터링 활성화

Teleport 인스턴스의 건강 상태를 모니터링하는 방법입니다.

Teleport의 진단 HTTP 엔드포인트는 기본적으로 비활성화되어 있습니다. 다음을 통해 활성화할 수 있습니다:

sudo teleport start {{ flags }} --diag-addr=127.0.0.1:3000

teleport:
    diag_addr: 127.0.0.1:3000

log:
    severity: DEBUG

curl http://127.0.0.1:3000/healthz

이제 여러 엔드포인트에서 모니터링 정보를 수집할 수 있습니다. 이러한 정보는 Kubernetes 프로브와 같은 것들이 Teleport 프로세스의 건강 상태를 모니터링하는 데 사용될 수 있습니다.

/healthz

http://127.0.0.1:3000/healthz 엔드포인트는 프로세스가 실행 중이면 {"status":"ok"} 본문과 HTTP 200 OK 상태 코드를 응답합니다.

이는 Teleport 프로세스가 여전히 실행 중인지 확인하는 체크입니다.

/readyz

http://127.0.0.1:3000/readyz 엔드포인트는 /healthz와 유사하지만, 응답에는 프로세스의 상태에 대한 정보가 포함되어 있습니다.

응답 본문은 다음과 같은 형식의 JSON 객체입니다:

{ "status": "여기에 상태 메시지가 있습니다" }

/readyz와 하트비트

만약 Teleport 구성 요소가 하트비트 절차를 실행하지 못하면, 이는 저하된 상태가 됩니다. 하트비트가 성공적으로 완료되면 Teleport는 이 상태에서 복구를 시작합니다.

첫 번째 성공적인 하트비트는 Teleport를 복구 상태로 전환합니다. 두 번째 연속적인 성공적인 하트비트는 Teleport를 OK 상태로 전환합니다.

Teleport 하트비트는 건강할 때 약 60초마다 실행되며, 실패한 하트비트는 약 5초마다 재시도됩니다. 이는 하트비트의 타이밍에 따라 연결이 복원된 후에 /readyz가 다시 건강하다고 보고하기 시작하는 데 60-70초가 걸릴 수 있음을 의미합니다.

상태 코드

응답의 상태 코드는 다음 중 하나일 수 있습니다:

• HTTP 200 OK: Teleport가 정상적으로 작동 중
• HTTP 503 서비스 이용 불가: Teleport가 연결 오류가 발생하여 저하된 상태에서 실행 중입니다. 이는 Teleport 하트비트가 실패할 때 발생합니다.
• HTTP 400 잘못된 요청: Teleport가 초기 시작 단계에 들어가고 있거나 저하된 상태에서 복구를 시작하기 시작합니다.

동일한 상태 정보는 /metrics 엔드포인트 아래의 process_state 메트릭을 통해서도 사용할 수 있습니다.

메트릭

Teleport는 모든 구성 요소에 대한 메트릭을 노출하여 클러스터의 상태를 통찰할 수 있도록 돕습니다. 이 가이드는 Teleport 클러스터에서 수집할 수 있는 메트릭을 설명합니다.

메트릭 활성화

Teleport의 진단 HTTP 엔드포인트는 기본적으로 비활성화되어 있습니다. 다음을 통해 활성화할 수 있습니다:

sudo teleport start {{ flags }} --diag-addr=127.0.0.1:3000

teleport:
    diag_addr: 127.0.0.1:3000

log:
    severity: DEBUG

curl http://127.0.0.1:3000/healthz

이는 Teleport가 추적하는 메트릭을 제공하는 http://127.0.0.1:3000/metrics 엔드포인트를 활성화합니다. Prometheus 수집기와 호환됩니다.

다음 메트릭이 제공됩니다:

Auth Service and backends

Enhanced Session Recording / BPF

Proxy Service

Database Service

Kubernetes Access

다음 표에서는 프록시 서비스에서 사용할 수 있는 모든 메트릭을 식별합니다 Kubernetes 액세스가 활성화되었습니다.

클라이언트

다음 표는 서비스가 연결될 때 사용할 수 있는 모든 메트릭을 식별합니다 업스트림 서버로. '프록시'의 경우 업스트림 서버는 레거시 모드에서 실행 중인 경우 '쿠버네티스_서비스' 또는 '쿠버네티스 클러스터'입니다.

서버

다음 표는 수신 연결에 사용할 수 있는 모든 메트릭을 식별합니다.

텔레포트 SSH 서비스

텔레포트 Kubernetes 서비스

다음 표는 서비스가 연결될 때 사용할 수 있는 모든 메트릭을 식별합니다 업스트림 서버로. 'kubernetes_service'의 경우 업스트림 서버입니다 는 항상 쿠버네티스 클러스터입니다.

다음 표는 수신 연결에 사용할 수 있는 모든 메트릭을 식별합니다.

모든 텔레포트 인스턴스

런타임 메트릭 이동

이러한 메트릭은 이동 실행 시간에 의해 표면화되며 텔레포트에만 국한되지 않습니다.

Prometheus

분산 추적

Teleport 인스턴스에 대한 분산 추적을 활성화하는 방법입니다.

Teleport는 OpenTelemetry를 사용하여 추적을 생성하고 이를 모든 OpenTelemetry Protocol (OTLP) 가능 수출업체로 내보냅니다. 만약 텔레메트리 백엔드가 OTLP 추적 수신을 지원하지 않는 경우, OpenTelemetry Collector를 활용하여 OTLP에서 텔레메트리 백엔드가 수용하는 포맷으로 추적을 프록시할 수 있습니다.

Teleport 구성

teleport 인스턴스의 추적을 활성화하려면 해당 인스턴스의 구성 파일(/etc/teleport.yaml)에 다음 섹션을 추가합니다. 이러한 구성 필드에 대한 상세 설명은 구성 참조 페이지를 참조하세요.

tracing_service:
   enabled: yes
   exporter_url: grpc://collector.example.com:4317
   sampling_rate_per_million: 1000000

샘플링 비율

샘플링 비율을 신중하게 선택하는 것이 중요합니다. 100% 비율로 샘플링하면 클러스터의 성능에 부정적인 영향을 줄 수 있습니다. Teleport는 들어오는 요청에 포함된 샘플링 비율을 준수하므로, tracing_service가 활성화되고 샘플링 비율이 0인 경우에도 Teleport가 샘플이 적용된 스팬이 있는 요청을 수신하면 그 요청에 대한 모든 스팬을 샘플링하고 수출합니다.

수출업체 URL

exporter_url 설정은 Teleport가 스팬을 보낼 위치를 나타냅니다. 지원되는 스킴은 grpc://, http://, https://, 및 file://입니다(스킴이 제공되지 않으면 grpc://가 사용됩니다).

file://를 사용하는 경우 URL은 Teleport가 쓰기 권한이 있는 디렉토리 경로여야 합니다. 스팬은 제공된 디렉토리 내의 파일에 저장되며, 각 파일은 한 줄에 하나의 프로토 인코딩된 스팬을 포함합니다. 파일은 100MB를 초과하면 회전하며, 기본 제한을 덮어쓰려면 exporter_url에 ?limit=<원하는_파일_크기_바이트>를 추가합니다(예: file:///var/lib/teleport/traces?limit=100).

기본적으로 수출업체와의 연결은 안전하지 않으므로, TLS를 지원하기 위해 다음을 tracing_service 구성에 추가하세요.

   # 선택적 경로로 CA 인증서는 수출업체의 유효성을 검사하는 데 사용됩니다.
  ca_certs:
    - /var/lib/teleport/exporter_ca.pem
  # 선택적 경로로 TLS 인증서는 수출업체에 대해 mTLS를 활성화하는 데 사용됩니다.
  https_keypairs:
    - key_file: /var/lib/teleport/exporter_key.pem
      cert_file: /var/lib/teleport/exporter_cert.pem

teleport.yaml을 업데이트한 후, 새 구성을 적용하려면 teleport 인스턴스를 시작하세요.

tsh

tsh에서 추적을 캡처하려면 명령에 --trace 플래그를 추가하세요. tsh --trace에 의해 생성된 모든 추적은 명령이 실행되는 클러스터의 인증 서비스에 대해 정의된 exporter_url로 프록시됩니다.

tsh --trace ssh root@myserver
tsh --trace ls

tsh에서 인증 서비스 구성에 정의된 것과 다른 수출업체로 추적을 내보내는 것도 --trace-exporter 플래그를 통해 가능합니다. URL은 tracing_service의 exporter_url과 동일한 형식을 따라야 합니다.

tsh --trace --trace-exporter=grpc://collector.example.com:4317 ssh root@myserver
tsh --trace --trace-exporter=file:///var/lib/teleport/traces ls

프로파일 수집

Teleport 인스턴스에서 런타임 프로파일링 데이터를 수집하는 방법입니다.

Teleport는 Go의 진단 기능을 사용하여 프로파일링 데이터를 수집하고 내보냅니다. 프로파일은 CPU 스파이크의 원인, 메모리 누수의 출처, 혹은 교착 상태의 이유를 식별하는 데 도움이 됩니다.

디버그 서비스 사용

Teleport 디버그 서비스는 관리자가 pprof 엔드포인트를 시작할 때 활성화하지 않고도 진단 프로파일을 수집할 수 있도록 합니다. 기본적으로 활성화된 이 서비스는 로컬 전용 접근을 보장하며 동일한 인스턴스 내에서 소비되어야 합니다.

teleport debug profile은 pprof 프로파일 목록을 수집합니다. 압축된 tarball(.tar.gz)을 STDOUT으로 출력합니다. 이는 tar를 사용하여 압축을 해제하거나 결과를 파일로 직접 전달할 수 있습니다.

기본적으로 goroutine, heap 및 profile 프로파일이 수집됩니다.

수집된 각 프로파일은 tarball 내에 해당 파일이 있습니다. 예를 들어, goroutine,trace,heap을 수집하면 goroutine.pprof, trace.pprof 및 heap.pprof 파일이 생성됩니다.

기본 프로파일 수집 후 파일로 저장.
teleport debug profile > pprof.tar.gz
tar xvf pprof.tar.gz

기본 프로파일을 수집하고 압축 해제.
teleport debug profile | tar xzv -C ./

"trace" 및 "mutex" 프로파일 수집 후 파일로 저장.
teleport debug profile trace,mutex > pprof.tar.gz

프로파일링 시간을 초로 설정하여 프로파일 수집.
teleport debug profile -s 20 trace > pprof.tar.gz

Kubernetes 클러스터에서 Teleport를 실행 중인 경우, 대화식 세션 없이 로컬 디렉토리에 프로파일을 직접 수집할 수 있습니다:

kubectl -n teleport exec my-pod -- teleport debug profile > pprof.tar.gz

내용을 압축 해제한 후, go tool 명령을 사용하여 탐색하고 시각화할 수 있습니다:

터미널 대화형 탐색기 열기
go tool pprof heap.pprof

웹 시각화 도구 열기
go tool pprof -http : heap.pprof

추적 프로파일 시각화
go tool trace trace.pprof

진단 엔드포인트 사용

프로파일링 엔드포인트는 --debug 플래그가 제공된 경우에만 활성화됩니다.

Teleport의 진단 HTTP 엔드포인트는 기본적으로 비활성화되어 있습니다. 다음을 통해 활성화할 수 있습니다:

sudo teleport start --debug --diag-addr=127.0.0.1:3000

teleport:
    diag_addr: 127.0.0.1:3000

log:
    severity: DEBUG

curl http://127.0.0.1:3000/healthz

프로파일 수집

Go의 표준 프로파일링 엔드포인트는 http://127.0.0.1:3000/debug/pprof/에서 제공됩니다. 프로파일을 검색하려면 원하는 프로파일 유형에 해당하는 엔드포인트에 요청을 보내야 합니다. 문제를 디버깅할 때 특정 기간 동안 프로파일을 수집하는 것이 도움이 됩니다.

CPU

CPU 프로파일은 사용자 지정 기간 동안 수집된 실행 통계를 보여줍니다:

프로파일을 파일로 다운로드:
curl -o cpu.profile http://127.0.0.1:3000/debug/pprof/profile?seconds=30

프로파일 시각화
go tool pprof -http : cpu.profile

Goroutine

Goroutine 프로파일은 시스템에서 실행 중인 모든 goroutine의 스택 추적을 보여줍니다:

프로파일을 파일로 다운로드:
curl -o goroutine.profile http://127.0.0.1:3000/debug/pprof/goroutine

프로파일 시각화
go tool pprof -http : goroutine.profile

Heap

Heap 프로파일은 시스템에서 할당된 개체를 보여줍니다:

프로파일을 파일로 다운로드:
curl -o heap.profile http://127.0.0.1:3000/debug/pprof/heap

프로파일 시각화
go tool pprof  -http : heap.profile

Trace

Trace 프로파일은 스케줄링, 시스템 호출, 가비지 수집, 힙 크기 및 Go 런타임에 의해 수집된 기타 이벤트를 사용자 지정 기간 동안 캡처합니다:

프로파일을 파일로 다운로드:
curl -o trace.out http://127.0.0.1:3000/debug/pprof/trace?seconds=5

프로파일 시각화
go tool trace trace.out

추가 읽기

• Go 생태계의 진단에 대한 더 많은 정보: https://go.dev/doc/diagnostics
• Go의 프로파일링 엔드포인트: https://golang.org/pkg/net/http/pprof/
• Go 프로그램 프로파일링에 대한 심층 분석: https://go.dev/blog/pprof