Teleport는 건강 상태를 확인하고 트래픽을 처리할 준비가 되었는지를 확인하기 위한 건강 검사 메커니즘을 제공합니다.
성능, 추적 및 프로파일링은 클러스터 성능 및 반응성을 추적하는 심층 데이터를 제공합니다.

건강 모니터링 활성화

Teleport 인스턴스의 건강을 모니터링하는 방법입니다.

Teleport의 진단 HTTP 엔드포인트는 기본적으로 비활성화되어 있습니다. 이를 활성화하려면 다음 방법을 사용하십시오:

sudo teleport start  --diag-addr=127.0.0.1:3000

teleport:
    diag_addr: 127.0.0.1:3000

log:
    severity: DEBUG

curl http://127.0.0.1:3000/healthz

이제 여러 엔드포인트에서 모니터링 정보를 수집할 수 있습니다. 이러한 정보는
Kubernetes 프로브와 같은 것들에 의해 Teleport 프로세스의 건강을 모니터링하는 데 사용될 수 있습니다.

/healthz

http://127.0.0.1:3000/healthz 엔드포인트는 프로세스가 실행 중인 경우
{"status":"ok"}의 본문과 HTTP 200 OK 상태 코드를 응답합니다.

이는 Teleport 프로세스가 여전히 실행 중인지 판단하기에 적합한 간단한 확인입니다.

/readyz

http://127.0.0.1:3000/readyz 엔드포인트는 /healthz 와 유사하지만,
응답에는 프로세스의 상태에 대한 정보가 포함되어 있습니다.

응답 본문은 다음 형태의 JSON 객체입니다:

{ "status": "여기에 상태 메시지를 입력하세요"}

/readyz 와 하트비트

Teleport 구성 요소가 하트비트 절차를 실행하지 못하면
퇴화 상태에 들어갑니다. 하트비트가 성공적으로 완료되면 Teleport는 이 상태에서 복구를 시작합니다.

첫 번째 성공적인 하트비트가 Teleport를 복구 상태로 전환합니다. 두 번째 연속
성공적인 하트비트가 Teleport를 OK 상태로 전환합니다.

Teleport 하트비트는 건강할 때마다 약 60초마다 실행되며, 실패한
하트비트는 약 5초마다 재시도됩니다. 이는 하트비트의 타이밍에 따라
연결이 복원된 후 /readyz 가 다시 건강하다고 보고하기 시작하는 데 최대 60-70초가 걸릴 수 있음을 의미합니다.

상태 코드

응답의 상태 코드는 다음 중 하나일 수 있습니다:

• HTTP 200 OK: Teleport가 정상적으로 작동하고 있습니다.
• HTTP 503 서비스 이용 불가: Teleport가 연결 오류에 직면하여
  퇴화 상태로 실행되고 있습니다. 이는 Teleport 하트비트가 실패할 때 발생합니다.
• HTTP 400 잘못된 요청: Teleport가 초기 시작 단계에 들어가고 있거나
  퇴화 상태에서 복구를 시작하고 있습니다.

동일한 상태 정보는 /metrics 엔드포인트 아래의 process_state 메트릭에서도 제공됩니다.

메트릭

Teleport는 모든 구성 요소에 대한 메트릭을 노출하여
클러스터 상태에 대한 통찰력을 제공합니다. 이 가이드는 Teleport 클러스터에서 수집할 수 있는 메트릭을 설명합니다.

메트릭 활성화

Teleport의 진단 HTTP 엔드포인트는 기본적으로 비활성화되어 있습니다. 이를 활성화하려면 다음 방법을 사용하십시오:

sudo teleport start  --diag-addr=127.0.0.1:3000

teleport:
    diag_addr: 127.0.0.1:3000

log:
    severity: DEBUG

curl http://127.0.0.1:3000/healthz

이를 통해 Teleport가 추적하는 메트릭을 제공하는
http://127.0.0.1:3000/metrics 엔드포인트를 활성화 할 수 있습니다. 이는
Prometheus 수집기와 호환됩니다.

이용 가능한 메트릭은 다음과 같습니다:

인증 서비스 및 백엔드

향상된 세션 녹화 / BPF

프록시 서비스

데이터베이스 서비스

Kubernetes 접근

다음 표는 Kubernetes 접근이 활성화된 경우 프록시 서비스에서 사용할 수 있는 모든 메트릭을 식별합니다.

클라이언트

다음 표는 서비스가 업스트림 서버에 연결할 때 사용할 수 있는 모든 메트릭을 식별합니다. proxy 의 경우, 업스트림 서버는 kubernetes_service 또는 레거시 모드에서 실행되는 Kubernetes 클러스터가 될 수 있습니다.

서버

다음 표는 들어오는 연결에 대해 사용 가능한 모든 메트릭을 식별합니다.

Teleport SSH 서비스

Teleport Kubernetes 서비스

다음 표는 서비스가 업스트림 서버에 연결될 때 사용 가능한 모든 메트릭을 식별합니다. kubernetes_service 의 경우, 업스트림 서버는 항상 Kubernetes 클러스터입니다.

다음 표는 들어오는 연결에 대해 사용 가능한 모든 메트릭을 식별합니다.

모든 Teleport 인스턴스

Go 런타임 메트릭

이 메트릭은 Go 런타임에서 제공하며 Teleport에 특화된 것이 아닙니다.

Prometheus

분산 추적

Teleport 인스턴스에 대한 분산 추적을 활성화하는 방법입니다.

Teleport는 OpenTelemetry를 활용하여 추적을 생성하고
이를 모든 OpenTelemetry Protocol (OTLP)
수용이 가능한 수출자에게 내보냅니다. 텔레메트리 백엔드가 OTLP 추적 수신을 지원하지 않는 경우,
OpenTelemetry Collector를 활용하여
OTLP에서 텔레메트리 백엔드가 수용하는 형식으로 추적을 프록시할 수 있습니다.

Teleport 구성

teleport 인스턴스에 대한 추적을 활성화하려면 해당 인스턴스의 구성 파일(/etc/teleport.yaml )에 다음 섹션을 추가하십시오.
이 구성 필드에 대한 자세한 설명은 구성 참조 페이지를 참조하십시오.

tracing_service:
  enabled: yes
  exporter_url: grpc://collector.example.com:4317
  sampling_rate_per_million: 1000000

샘플링 비율

샘플링 비율을 신중하게 선택하는 것이 중요합니다. 100% 비율로 샘플링을 할 경우 클러스터 성능에 부정적인 영향을 미칠 수 있습니다. Teleport는 들어오는 요청에 포함된 샘플링 비율을 존중하므로, tracing_service 가 활성화되어 있고 샘플링 비율이 0일 때에도 Teleport가 샘플링된 스팬을 가지고 있는 요청을 수신하면 해당 요청에 대한 응답으로 생성된 모든 스팬을 샘플링하고 내보냅니다.

내보내기 URL

exporter_url 설정은 Teleport가 스팬을 보내야 하는 위치를 나타냅니다. 지원되는 스킴은 grpc://, http://, https://, 및 file:// 입니다(스킴이 제공되지 않으면 grpc://가 사용됨).

file://를 사용할 경우, URL은 Teleport가 쓰기 권한을 가진 디렉토리에 대한 경로여야 합니다. 스팬은 제공된 디렉토리 내의 파일에 저장되며, 각 파일은 한 줄에 하나의 프로토 인코딩된 스팬을 포함합니다. 파일은 100MB를 초과하면 회전되며, 기본 제한을 무효화하려면 exporter_url 에 ?limit=<desired_file_size_in_bytes>를 추가하십시오(예: file:///var/lib/teleport/traces?limit=100 ).

기본적으로 내보내기 연결은 안전하지 않으며, TLS를 지원하려면 tracing_service 구성에 다음을 추가하십시오:

# 선택 사항 - 내보내기를 검증하는 데 사용되는 CA 인증서의 경로입니다.
ca_certs:
  - /var/lib/teleport/exporter_ca.pem
# 선택 사항 - 내보내기용 mTLS를 활성화하는 데 사용되는 TLS 인증서의 경로입니다.
https_keypairs:
  - key_file: /var/lib/teleport/exporter_key.pem
    cert_file: /var/lib/teleport/exporter_cert.pem

teleport.yaml 을 업데이트한 후, 새로운 구성을 적용하기 위해 teleport 인스턴스를 시작하십시오.

tsh

tsh 에서 추적을 캡처하려면 명령에 --trace 플래그를 추가하기만 하면 됩니다. tsh --trace 로 생성된 모든 추적은 명령이 실행되는 클러스터의 Auth Service에 정의된 exporter_url 로 프록시됩니다.

tsh --trace ssh root@myserver
tsh --trace ls

tsh 에서 Auth Service 구성에 정의된 것과 다른 내보내기로 추적을 내보내는 것도 --trace-exporter 플래그를 통해 가능합니다. exporter_url 의 동일한 형식에 맞는 URL을 제공해야 합니다.

tsh --trace --trace-exporter=grpc://collector.example.com:4317 ssh root@myserver
tsh --trace --trace-exporter=file:///var/lib/teleport/traces ls

프로파일 수집

Teleport 인스턴스에서 런타임 프로파일링 데이터를 수집하는 방법입니다.

Teleport는 Go의 진단 기능을 활용하여 프로파일링 데이터를 수집하고 내보냅니다. 프로파일은 CPU 사용량의 급증 원인, 메모리 누수의 원인 또는 교착 상태의 원인을 식별하는 데 도움이 될 수 있습니다.

디버그 서비스 사용하기

Teleport 디버그 서비스는 관리자가 시작 시 pprof 엔드포인트를 활성화하지 않고도 진단 프로파일을 수집할 수 있게 합니다. 기본적으로 활성화된 이 서비스는 로컬 전용 액세스를 보장하며 같은 인스턴스 내에서만 사용할 수 있습니다.

teleport debug profile 은 pprof 프로파일 목록을 수집합니다. STDOUT에 압축된 tarball(.tar.gz )을 출력합니다. tar 를 사용하여 압축을 해제하거나 결과를 파일로 저장할 수 있습니다.

기본적으로 goroutine , heap 및 profile 프로파일을 수집합니다.

수집된 각 프로파일은 tarball 내부에 해당 파일이 있습니다. 예를 들어, goroutine,trace,heap 을 수집하면 goroutine.pprof , trace.pprof , heap.pprof 파일이 생성됩니다.

기본 프로파일을 수집하고 파일에 저장합니다.
teleport debug profile > pprof.tar.gz
tar xvf pprof.tar.gz

기본 프로파일을 수집하고 압축 해제합니다.
teleport debug profile | tar xzv -C ./

"trace" 및 "mutex" 프로파일을 수집하고 파일에 저장합니다.
teleport debug profile trace,mutex > pprof.tar.gz

프로파일링 시간을 초 단위로 설정하여 프로파일을 수집합니다.
teleport debug profile -s 20 trace > pprof.tar.gz

Kubernetes 클러스터에서 Teleport를 실행 중인 경우, 대화형 세션 없이 로컬 디렉토리에 직접 프로파일을 수집할 수 있습니다:

kubectl -n teleport exec my-pod -- teleport debug profile > pprof.tar.gz

내용을 추출한 후, go tool 명령어를 사용하여 탐색하고 시각화할 수 있습니다:

터미널 대화형 탐색기를 엽니다.
go tool pprof heap.pprof

웹 시각화기를 엽니다.
go tool pprof -http : heap.pprof

trace 프로파일을 시각화합니다.
go tool trace trace.pprof

진단 엔드포인트 사용하기

프로파일링 엔드포인트는 --debug 플래그가 제공된 경우에만 활성화됩니다.

Teleport의 진단 HTTP 엔드포인트는 기본적으로 비활성화되어 있습니다. 이를 활성화하려면 다음 방법을 사용하십시오:

sudo teleport start --debug --diag-addr=127.0.0.1:3000

teleport:
    diag_addr: 127.0.0.1:3000

log:
    severity: DEBUG

curl http://127.0.0.1:3000/healthz

프로파일 수집하기

Go의 표준 프로파일링 엔드포인트는 http://127.0.0.1:3000/debug/pprof/에서 제공됩니다. 프로파일을 검색하려면 원하는 프로파일 유형에 해당하는 엔드포인트로 요청을 보내야 합니다. 문제를 디버깅할 때 일정 기간 동안 일련의 프로파일을 수집하는 것이 유용합니다.

CPU

CPU 프로파일은 사용자 지정 기간 동안 수집된 실행 통계 정보를 보여줍니다:

프로파일을 파일로 다운로드합니다:
curl -o cpu.profile http://127.0.0.1:3000/debug/pprof/profile?seconds=30

프로파일을 시각화합니다.
go tool pprof -http : cpu.profile

Goroutine

Goroutine 프로파일은 시스템 내에서 실행 중인 모든 goroutine의 스택 트레이스를 보여줍니다:

프로파일을 파일로 다운로드합니다:
curl -o goroutine.profile http://127.0.0.1:3000/debug/pprof/goroutine

프로파일을 시각화합니다.
go tool pprof -http : goroutine.profile

Heap

Heap 프로파일은 시스템에서 할당된 객체를 보여줍니다:

프로파일을 파일로 다운로드합니다:
curl -o heap.profile http://127.0.0.1:3000/debug/pprof/heap

프로파일을 시각화합니다.
go tool pprof -http : heap.profile

Trace

Trace 프로파일은 사용자 지정 기간 동안 Go 런타임이 수집한 스케줄링, 시스템 호출, 가비지 수집, 힙 크기 및 기타 이벤트를 캡처합니다:

프로파일을 파일로 다운로드합니다:
curl -o trace.out http://127.0.0.1:3000/debug/pprof/trace?seconds=5

프로파일을 시각화합니다.
go tool trace trace.out

추가 읽기

• Go 생태계에서 진단에 대한 더 많은 정보: https://go.dev/doc/diagnostics
• Go의 프로파일링 엔드포인트: https://golang.org/pkg/net/http/pprof/
• Go 프로그램 프로파일링에 대한 심층 분석: https://go.dev/blog/pprof