Datadog은 SAAS 모니터링 및 보안 플랫폼입니다. 이 가이드에서는 Fluentd를 사용하여 Teleport 감사 이벤트를 Datadog으로 전달하는 방법을 설명합니다.

작동 원리

Teleport Event Handler는 gRPC 스트림을 통해 감사 이벤트를 수신하기 위해 Teleport Auth 서비스에 대한 인증을 수행한 후, 이러한 이벤트를 안전한 채널을 통해 JSON 페이로드로 Fluentd에 전송합니다. 이 채널은 상호 TLS를 통해 설정됩니다:

Datadog 에이전트는 원격 소스에서 JSON 인코딩된 바이트로만 로그를 수신할 수 있기 때문에 TCP 또는 UDP 연결 을 사용하여 요청합니다. 따라서 Teleport Event Handler는 Datadog Agent를 사용하지 않고 HTTPS 페이로드를 전송해야 합니다. Fluentd는 Datadog API에 대한 인증을 처리합니다.

필요 조건

• 실행 중인 Teleport 클러스터 버전 17.0.0-dev 이상. Teleport를 시작하려면 가입하여 무료 평가판을 이용하거나 데모 환경 설정 방법을 확인하십시오.

• tctl 관리자 도구와 tsh 클라이언트 도구.

  tctl 및 tsh 다운로드 방법에 대한 지침은 설치를 방문하십시오.

권장: 플러그인에 단기간 사용 가능한 Teleport 자격 증명을 제공하기 위해 Machine ID를 구성합니다. 이 가이드를 따르기 전에 Machine ID 배포 가이드를 따라 tbot 바이너리를 인프라에서 실행하세요.

• Datadog 계정.
• Event Handler를 실행할 서버, 가상 머신, Kubernetes 클러스터 또는 Docker 환경. 아래의 지침은 테스트를 위한 로컬 Docker 컨테이너를 가정합니다.
• Fluentd 버전 v1.12.4 이상. Teleport Event Handler는 기존 Fluentd 시스템에 통합하거나 새로운 설정에 사용할 수 있는 새로운 fluent.conf 파일을 생성합니다.

아래의 지침은 워크스테이션에서 Event Handler 플러그인을 로컬 테스트하는 방법을 보여줍니다. 다른 환경에 맞게 경로, 포트 및 도메인을 조정해야 합니다.

• 연결이 가능한지 확인하기 위해 tsh login 으로 로그인한 다음, 현재 자격 증명을 사용하여 tctl 명령어를 실행할 수 있는지 확인하십시오. 예를 들어:

  tsh login --proxy=teleport.example.com --user=email@example.com
  tctl status
  클러스터  teleport.example.com
  버전  17.0.0-dev
  CA 핀   sha256:abdc1245efgh5678abdc1245efgh5678abdc1245efgh5678abdc1245efgh5678

  클러스터에 연결할 수 있고 tctl status 명령어를 실행할 수 있다면, 현재 자격 증명을 사용하여 워크스테이션에서 후속 tctl 명령어를 실행할 수 있습니다.
  자신의 Teleport 클러스터를 호스팅하는 경우, Teleport Auth Service를 호스팅하는 컴퓨터에서 전체 권한으로 tctl 명령어를 실행할 수도 있습니다.

1/6단계. Event Handler 플러그인 설치

Teleport Event Handler는 Fluentd 포워더와 함께 실행되어 Teleport의 이벤트 API에서 이벤트를 수신하고 이를 Fluentd로 전달합니다.

curl -L -O https://cdn.teleport.dev/teleport-event-handler-v17.0.0-dev-linux-ARCH-bin.tar.gz
tar -zxvf teleport-event-handler-v17.0.0-dev-linux-ARCH-bin.tar.gz
sudo ./teleport-event-handler/install

curl -L -O https://cdn.teleport.dev/teleport-event-handler-v17.0.0-dev-darwin-ARCH-bin.tar.gz
tar -zxvf teleport-event-handler-v17.0.0-dev-darwin-ARCH-bin.tar.gz
sudo ./teleport-event-handler/install

docker pull public.ecr.aws/gravitational/teleport-plugin-event-handler:17.0.0-dev

helm repo add teleport https://charts.releases.teleport.dev

helm repo update

git clone https://github.com/gravitational/teleport.git --depth 1 -b branch/v17
cd teleport/integrations/event-handler
make build

2/6단계. 플러그인 구성 생성

teleport-event-handler configure . mytenant.teleport.sh:443

teleport-event-handler configure . teleport.example.com:443

TELEPORT_CLUSTER_ADDRESS=mytenant.teleport.sh:443
docker run -v `pwd` :/opt/teleport-plugin -w /opt/teleport-plugin public.ecr.aws/gravitational/teleport-plugin-event-handler:17.0.0-dev configure . ${TELEPORT_CLUSTER_ADDRESS?}

kubectl create secret generic teleport-event-handler-client-tls --from-file=ca.crt=ca.crt,client.crt=client.crt,client.key=client.key

docker run -v `pwd` :/opt/teleport-plugin -w /opt/teleport-plugin public.ecr.aws/gravitational/teleport-plugin-event-handler:17.0.0-dev configure .

다음과 같은 출력을 볼 수 있습니다:

Teleport event handler 17.0.0-dev

[1] mTLS Fluentd 인증서가 생성되어 ca.crt, ca.key, server.crt, server.key, client.crt, client.key에 저장되었습니다.
[2] 샘플 teleport-event-handler 역할 및 사용자 파일 teleport-event-handler-role.yaml이 생성되었습니다.
[3] 샘플 fluentd 구성 파일 fluent.conf가 생성되었습니다.
[4] 플러그인 구성 파일 teleport-event-handler.toml이 생성되었습니다.

플러그인은 여러 설정 파일을 생성합니다:

ls -l
-rw------- 1 bob bob     1038 Jul  1 11:14 ca.crt
-rw------- 1 bob bob     1679 Jul  1 11:14 ca.key
-rw------- 1 bob bob     1042 Jul  1 11:14 client.crt
-rw------- 1 bob bob     1679 Jul  1 11:14 client.key
-rw------- 1 bob bob      541 Jul  1 11:14 fluent.conf
-rw------- 1 bob bob     1078 Jul  1 11:14 server.crt
-rw------- 1 bob bob     1766 Jul  1 11:14 server.key
-rw------- 1 bob bob      260 Jul  1 11:14 teleport-event-handler-role.yaml
-rw------- 1 bob bob      343 Jul  1 11:14 teleport-event-handler.toml

teleport-event-handler configure --cn=handler.example.com --dns-names=forwarder.example.com

3/6단계. 감사 이벤트 읽기를 위한 사용자 및 역할 생성

teleport-event-handler configure 명령은 teleport-event-handler-role.yaml 이라는 파일을 생성했습니다. 이 파일은 event API에 대한 읽기 전용 액세스를 가진 teleport-event-handler 역할과 사용자를 정의합니다:

kind: role
metadata:
  name: teleport-event-handler
spec:
  allow:
    rules:
      - resources: ["event", "session"]
        verbs: ["list", "read"]
version: v5
---
kind: user
metadata:
  name: teleport-event-handler
spec:
  roles: ["teleport-event-handler"]
version: v2

이 파일을 작업 스테이션으로 이동하거나 위의 코드 조각을 붙여넣어 재생성한 후, 작업 스테이션에서 tctl 을 사용하여 역할과 사용자를 생성하십시오:

tctl create -f teleport-event-handler-role.yaml
user "teleport-event-handler" has been created
role 'teleport-event-handler' has been created

4/6단계. teleport-event-handler 자격 증명 생성

Teleport Event Handler는 Teleport Auth 서비스에 대한 인증을 위해 자격 증명이 필요합니다. 이 섹션에서는 Event Handler에 이러한 자격 증명에 대한 접근 권한을 부여합니다.

Event Handler 역할을 위한 자격 증명 발급 활성화

tctl bots update my-bot --add-roles teleport-event-handler

kind: role
version: v5
metadata:
  name: teleport-event-handler-impersonator
spec:
  options:
    # max_session_ttl은 이 역할을 가진 사용자가 발급받는 SSH 인증서의 TTL(유효 기간)을 정의합니다.
    max_session_ttl: 10h

  # 이 섹션은 이 역할을 가진 사용자가 허용되는 리소스/행위 조합의 목록을 선언합니다. 기본적으로 아무것도 허용되지 않습니다.
  allow:
    impersonate:
      users: ["teleport-event-handler"]
      roles: ["teleport-event-handler"]

tctl create teleport-event-handler-impersonator.yaml

Event Handler 플러그인 사용자에 대한 신원 파일 내보내기

플러그인에 Teleport 신원 파일에 대한 접근을 제공합니다. 단기간의 신원 파일을 생성하여 유출되었을 경우 덜 위험하도록 Machine ID를 사용하는 것을 권장합니다. 하지만 데모 배포의 경우 tctl 을 사용하여 장기 신원 파일을 생성할 수 있습니다:

outputs:
- type: identity
  destination:
    type: directory
    # 이 안내서에서는 /opt/machine-id 를 대상 디렉토리로 사용합니다.
    # 이를 사용자 정의할 수 있습니다. 여러 출력은 동일한
    # 대상을 공유할 수 없습니다.
    path: /opt/machine-id

outputs:
  - type: identity
    destination:
      type: kubernetes_secret
      name: teleport-event-handler-identity

tctl auth sign --user=teleport-event-handler --out=identity

tsh login --proxy=teleport.example.com --ttl=60060

sudo mkdir -p /var/lib/teleport/api-credentials
sudo mv identity /var/lib/teleport/plugins/api-credentials

kubectl -n teleport create secret generic --from-file=identity teleport-event-handler-identity

5/6단계. Datadog용 Fluentd 출력 플러그인 설치

Fluentd가 Datadog와 통신하기 위해서는 Datadog용 Fluentd 출력 플러그인이 필요합니다. gem 또는 설치된 경우 td-agent 를 사용하여 Fluentd 호스트에 플러그인을 설치하세요:

Gem 사용
gem install fluent-plugin-datadog

td-agent 사용
/usr/sbin/td-agent-gem install fluent-plugin-datadog

docker run -u $(id -u root):$(id -g root) -p 8888:8888 -v $(pwd):/keys -v \$(pwd)/fluent.conf:/fluentd/etc/fluent.conf --entrypoint=/bin/sh -i --tty  fluent/fluentd:edge
컨테이너 Shell에서:
gem install fluent-plugin-datadog
fluentd -c /fluentd/etc/fluent.conf

Fluentd 구성

1. Datadog에 방문하여 Datadog 문서를 따라 Fluentd용 API 키를 생성합니다.

2. API 키를 복사하고 이를 사용하여 fluent.conf 에 새 <match> 블록을 추가하세요:

   <match test.log>
   
     @type datadog
     @id awesome_agent
     api_key abcd123-insecure-do-not-use-this
   
     host http-intake.logs.us5.datadoghq.com
   
     # 선택적 매개변수
     dd_source teleport
   
   </match>
   

3. 다음과 같이 구성 파일을 수정하세요:

   • api_key 필드에 API 키를 추가하세요.
   • host 값을 Datadog 사이트에 맞게 조정하세요. 올바른 값 확인을 위해 Datadog 로그 수집 및 통합 가이드를 참조하세요.
   • dd_source 는 Datadog UI에서 이러한 로그를 필터링하는 데 사용할 수 있는 선택적 필드입니다.
   • ca_path , cert_path 및 private_key_path 를 이전에 생성된 자격 증명 파일을 가리키도록 조정하세요. 로컬에서 테스트하는 경우, 위 Docker 명령어는 이미 현재 작업 디렉토리를 컨테이너의 keys/에 마운트합니다.

4. fluent.conf 에 대한 변경 사항을 저장한 후 Fluentd를 다시 시작하세요.

6/6단계. Teleport 이벤트 핸들러 플러그인 실행

이 섹션에서는 생성한 이벤트 핸들러 구성을 수정하고 구성 테스트를 위해 이벤트 핸들러를 실행합니다.

이벤트 핸들러 구성

이 섹션에서는 귀하의 환경을 위한 Teleport 이벤트 핸들러를 구성합니다.

storage = "./storage"
timeout = "10s"
batch = 20
namespace = "default"
# 윈도우 크기는 이벤트 핸들러가 Teleport로부터 이벤트를 요청하는 시간 창의 지속 시간을 구성합니다.
# 기본적으로 24시간으로 설정되어 있습니다.
# 기본 윈도우 크기에 대한 이벤트 백엔드가 이벤트 양을 관리할 수 없는 경우 윈도우 크기를 줄이십시오.
# 윈도우 크기는 Go의 time.ParseDuration에 의해 구문 분석되는 기간 문자열로 지정해야 합니다.
window-size = "24h"

[forward.fluentd]
ca = "/home/bob/event-handler/ca.crt"
cert = "/home/bob/event-handler/client.crt"
key = "/home/bob/event-handler/client.key"
url = "https://fluentd.example.com:8888/test.log"
session-url = "https://fluentd.example.com:8888/session"

[teleport]
addr = "example.teleport.com:443"
identity = "identity"

eventHandler:
  storagePath: "./storage"
  timeout: "10s"
  batch: 20
  namespace: "default"
  # 윈도우 크기는 이벤트 핸들러가 Teleport로부터 이벤트를 요청하는 시간 창의 지속 시간을 구성합니다.
  # 기본적으로 24시간으로 설정되어 있습니다.
  # 기본 윈도우 크기에 대한 이벤트 백엔드가 이벤트 양을 관리할 수 없는 경우 윈도우 크기를 줄이십시오.
  # 윈도우 크기는 Go의 time.ParseDuration에 의해 구문 분석되는 기간 문자열로 지정해야 합니다.
  windowSize: "24h"

teleport:
  address: "example.teleport.com:443"
  identitySecretName: teleport-event-handler-identity
  identitySecretPath: identity

fluentd:
  url: "https://fluentd.fluentd.svc.cluster.local/events.log"
  sessionUrl: "https://fluentd.fluentd.svc.cluster.local/session.log"
  certificate:
    secretName: "teleport-event-handler-client-tls"
    caPath: "ca.crt"
    certPath: "client.crt"
    keyPath: "client.key"

persistentVolumeClaim:
  enabled: true

다음으로, 구성 파일을 다음과 같이 수정하세요:

Linux 서버에서 실행되는 tbot 바이너리를 사용하여 이벤트 처리기에 자격 증명을 제공하는 경우, 이벤트 처리기 구성의 identity 값이 tbot 이 생성하도록 구성한 정체성 파일의 경로와 동일해야 합니다, /opt/machine-id/identity .

Teleport 이벤트 핸들러 시작

Teleport Teleport Event Handler를 시작하려면 아래 지침을 따르십시오.

[Unit]
Description=Teleport Event Handler
After=network.target

[Service]
Type=simple
Restart=always
ExecStart=/usr/local/bin/teleport-event-handler start --config=/etc/teleport-event-handler.toml --teleport-refresh-enabled=true
ExecReload=/bin/kill -HUP $MAINPID
PIDFile=/run/teleport-event-handler.pid

[Install]
WantedBy=multi-user.target

sudo systemctl enable teleport-event-handler
sudo systemctl start teleport-event-handler

teleport-event-handler start --config /etc/teleport-event-handler.toml --start-time "2021-05-05T00:00:00Z"

sudo journalctl -u teleport-event-handler
DEBU   Event sent id:f19cf375-4da6-4338-bfdc-e38334c60fd1 index:0 ts:2022-09-2118:51:04.849 +0000 UTC type:cert.create event-handler/app.go:140...

helm install teleport-plugin-event-handler teleport/teleport-plugin-event-handler \  --values teleport-plugin-event-handler-values.yaml \  --version 17.0.0-dev

docker run --network host -v `pwd` :/opt/teleport-plugin -w /opt/teleport-plugin public.ecr.aws/gravitational/teleport-plugin-event-handler:17.0.0-dev start --config=teleport-event-handler.toml

이제 Datadog의 로그 보기에서 귀하의 Teleport 클러스터 이벤트를 보고해야 합니다:

연결 문제 해결

Teleport Event Handler가 Teleport Cluster에 연결하는 동안 오류 로그를 표시하는 경우, 다음 사항을 확인하십시오.

• Teleport Event Handler가 Teleport 클러스터에 연결하는 데 사용하는 인증서가 만료되지 않았는지 확인하십시오. 이는 tctl auth sign 명령의 --ttl 플래그 값이며, 기본적으로 12시간입니다.
• Teleport Event Handler 구성 파일(teleport-event-handler.toml )에서 Teleport Proxy Service의 올바른 호스트 및 포트를 제공했는지 확인하십시오.

다음 단계

• 임시 사용자 권한 부여에 대해 자세히 알아보십시오.
• 이 가이드에서는 Teleport Event Handler에 대한 자격 증명을 발급하기 위해 tctl auth sign 명령을 사용하지만, 운영 클러스터에서는 보다 안전하고 신뢰성 있는 갱신을 위해 Machine ID를 사용하는 것이 좋습니다. Machine ID를 시작하는 방법에 대한 가이드를 읽어보십시오.
• teleport-plugin-event-handler Helm 차트에 대한 값 파일에 설정할 수 있는 모든 옵션을 보려면 참조 가이드를 참조하십시오.
• Datadog에 로그 형식을 사용자 정의하는 방법을 배우려면 Fluentd 출력 플러그인에 대한 README 파일을 검토하십시오.