EKS 자동 발견은 태그가 구성된 레이블과 일치하는 경우 자동으로 모든 EKS 클러스터를 발견하고 Teleport에 등록할 수 있습니다.

Teleport cluster 자동 검색에는 두 가지 구성 요소가 포함됩니다:

1. 새로운 cluster 또는 이전에 발견된 cluster의 변경 사항을 감시하는 Teleport Discovery Service.
   발견된 각 cluster를 Teleport 클러스터의 kube_cluster 리소스로 동적으로 등록합니다.
   발견되는 cluster에 대한 연결이 필요하지 않습니다.
2. Discovery Service에 의해 등록된 동적 kube_cluster 리소스를 모니터링하는 Teleport Kubernetes Service.
   사용자와 cluster 간의 통신을 프록시합니다.

작동 원리

Teleport Discovery Service는 AWS를 포함한 구성된 클라우드 공급자를 스캔하여 지정된 필터링 레이블과 일치하는 Kubernetes 클러스터를 찾아내며, 발견된 새로운 클러스터에 대해 Teleport 내에 동적 자원을 생성합니다. Teleport Kubernetes Service는 이러한 동적 자원을 모니터링하고 해당 Kubernetes 클러스터로 요청을 전달합니다. 두 서비스 모두 기능을 수행하기 위해 AWS API에 대한 접근이 필요합니다.

추가로, Kubernetes Service는 대상 클러스터에 대한 직접 접근과 요청을 전달하기 위한 필요한 권한이 필요합니다.

전제 조건

• 실행 중인 Teleport 클러스터 버전 17.0.0-dev 이상. Teleport를 시작하려면 가입하여 무료 평가판을 이용하거나 데모 환경 설정 방법을 확인하십시오.

• tctl 관리자 도구와 tsh 클라이언트 도구.

  tctl 및 tsh 다운로드 방법에 대한 지침은 설치를 방문하십시오.

• IAM 정책을 생성하고 첨부할 수 있는 권한이 있는 AWS 계정.
• Teleport Discovery 및 Kubernetes 서비스를 실행할 호스트.
• 하나 이상의 EKS 클러스터가 실행 중이어야 합니다.

1/3단계. AWS IAM 자격 증명 설정

Teleport Discovery Service가 실행 중인 인스턴스의 ID에 다음 AWS IAM 정책을 생성하고 첨부합니다:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EKSDiscovery",
            "Effect": "Allow",
            "Action": [
              "eks:DescribeCluster",
              "eks:ListClusters"
            ],
            "Resource": "*"
        },
        {
            "Sid": "EKSManageAccess",
            "Effect": "Allow",
            "Action": [
              "eks:AssociateAccessPolicy",
              "eks:CreateAccessEntry",
              "eks:DeleteAccessEntry",
              "eks:DescribeAccessEntry",
              "eks:TagResource",
              "eks:UpdateAccessEntry"
            ],
            "Resource": "*"
        }
    ]
}

권한을 특정 지역이나 EKS 클러스터로 좁히기 위해 ARNs 목록을 사용할 수 있으며, 와일드카드를 대신 사용할 수 있습니다.
리소스 ARN은 다음 형식을 가집니다:

arn:{Partition}:eks:{Region}:{Account}:cluster/{ClusterName}

EKSManageAccess 문장 내의 권한은 선택적이며, Discovery 서비스는 Teleport Kubernetes 서비스가 발견된 클러스터에 접근할 수 없더라도 EKS 클러스터를 발견할 수 있습니다.
EKSManageAccess 권한 중 일부를 생략하는 경우, Teleport Kubernetes 서비스가 각 EKS 클러스터에 접근할 수 있도록 보장하는 것은 귀하의 책임입니다.

2/3단계. EKS 클러스터 권한 설정

Kubernetes Service가 클러스터를 생성하는 것과 다른 IAM 역할을 사용하는 경우, 발견된 각 클러스터에서 aws-auth Configmap 을 편집하여 Teleport IAM Role과 Kubernetes RBAC 권한 간의 매핑을 구성해야 합니다.

Kubernetes 클러스터로 요청을 전달하기 위해 Teleport Kubernetes Service는 RBAC 사용자 및 그룹을 Impersonate 하고, SelfSubjectAccessReviews 및 SelfSubjectRulesReviews 를 생성하며, 최종적으로 Pods 에 대한 읽기 권한이 필요합니다.

필요한 권한이 있는 RBAC 그룹이 클러스터에 없다면, ClusterRole , ClusterRoleBinding 을 생성하고 매핑을 수행할 수 있습니다. 필요한 권한을 만족하는 RBAC 그룹이 이미 클러스터에 있는 경우, 이를 재사용하고 Teleport Kubernetes Service에서 사용하는 IAM Role과 매핑할 수 있습니다. 간단함을 위해 system:masters 와 같은 내장된 Kubernetes RBAC 그룹에 Teleport IAM 역할을 매핑하는 것도 가능하지만, 운영 환경에서는 추천하지 않습니다.

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: teleport
rules:
  - apiGroups:
      - ""
    resources:
      - users
      - groups
      - serviceaccounts
    verbs:
      - impersonate
  - apiGroups:
      - ""
    resources:
      - pods
    verbs:
      - get
  - apiGroups:
      - "authorization.k8s.io"
    resources:
      - selfsubjectaccessreviews
      - selfsubjectrulesreviews
    verbs:
      - create

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: teleport
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: teleport
subjects:
  - kind: Group
    name: teleport
    apiGroup: rbac.authorization.k8s.io

apiVersion: v1
data:
  mapRoles: |
    - groups:
      - teleport
      rolearn: {teleport_aws_iam_role} # 예: arn:aws:iam::222222222222:role/teleport-role
      username: teleport

aws eks create-access-entry \  --cluster-name eks-cluster \  --region eu-west-1 \  --principal-arn arn:aws:iam::222222222222:role/teleport-role \  --kubernetes-groups teleport

{  ...}

apiVersion: v1
data:
  mapRoles: |
  ...
    - groups:
      - {rbac_group}
      rolearn: {teleport_aws_iam_role} # 예: arn:aws:iam::222222222222:role/teleport-role
      username: teleport

apiVersion: v1
data:
  mapRoles: |
  ...
    - groups:
      - system:masters
      rolearn: {teleport_aws_iam_role} # 예: arn:aws:iam::222222222222:role/teleport-role
      username: teleport

aws eks create-access-entry \  --cluster-name eks-cluster \  --region eu-west-1 \  --principal-arn arn:aws:iam::222222222222:role/teleport-role

{  ...}
aws eks associate-access-policy \  --cluster-name eks-cluster \  --region eu-west-1 \  --principal-arn arn:aws:iam::222222222222:role/teleport-role
  --policy-arn "arn:aws:eks::aws:cluster-access-policy/AmazonEKSClusterAdminPolicy" \  --access-scope type=cluster
{  ...}

3/3단계. EKS 클러스터 발견을 위해 Teleport 구성

조인 토큰 가져오기

Teleport EKS 자동 검색을 위해서는 클러스터에 조인하기 위한 Discovery 및 Kubernetes 서비스에 유효한 Teleport 인증 토큰이 필요합니다. 다음 명령을 Teleport Auth Service에 대해 실행하여 생성하고, Kubernetes Discovery를 실행할 머신의 /tmp/token 에 저장하세요:

tctl tokens add --type=discovery,kube

Teleport Kubernetes 및 Discovery 서비스 구성

EKS 자동 검색을 활성화하려면 discovery_service.aws 섹션에 최소한 하나의 항목이 포함되어야 하고, discovery_service.aws.types 에 eks 가 포함되어야 합니다. 또한 kubernetes_service.resources.tags 를 discovery_service.aws.tags 에 구성된 동일한 레이블 또는 그 하위 집합을 사용하여 구성하여, Kubernetes 서비스가 Discovery 서비스에 의해 생성된 동적 리소스를 수신하도록 해야 합니다.

version: v3
teleport:
  join_params:
    token_name: "/tmp/token"
    method: token
  proxy_server: teleport.example.com:443
auth_service:
  enabled: off
proxy_service:
  enabled: off
ssh_service:
  enabled: off
discovery_service:
  enabled: "yes"
  discovery_group: "aws-prod"
  aws:
    - types: ["eks"]
      regions: ["*"]
      tags:
        "env": "prod" # EKS 클러스터 태그와 일치하는 태그: env=prod
kubernetes_service:
  enabled: "yes"
  resources:
    - labels:
        "env": "prod" # 이전에 명시된 Kubernetes 클러스터 레이블과 일치

Kubernetes 및 Discovery 서비스 시작

Kubernetes 및 Discovery 서비스 가 AWS에 인증하는 데 사용할 수 있는 자격 증명에 대한 액세스를 부여하십시오.

• Kubernetes 및 Discovery 서비스 를 EC2 인스턴스에서 실행 중인 경우, EC2 인스턴스 메타데이터 서비스 방법을 사용할 수 있습니다.
• Kubernetes 및 Discovery 서비스 를 Kubernetes에서 실행 중인 경우, IAM Roles for Service Accounts (IRSA)를 사용할 수 있습니다.
• 그렇지 않은 경우, 환경 변수를 사용해야 합니다.

AWS_ACCESS_KEY_ID=00000000000000000000
AWS_SECRET_ACCESS_KEY=0000000000000000000000000000000000000000
AWS_DEFAULT_REGION=<YOUR_REGION>

호스트가 부팅될 때 Kubernetes 및 Discovery 서비스가 자동으로 시작되도록 systemd 서비스를 생성하여 구성합니다. 지침은 Kubernetes 및 Discovery 서비스를 설치한 방법에 따라 다릅니다.

sudo systemctl enable teleport
sudo systemctl start teleport

sudo teleport install systemd -o /etc/systemd/system/teleport.service
sudo systemctl enable teleport
sudo systemctl start teleport

systemctl status teleport 로 Kubernetes 및 Discovery 서비스의 상태를 확인하고, journalctl -fu teleport 로 로그를 볼 수 있습니다.

Kubernetes 및 Discovery 서비스가 시작되면, AWS 섹션에 지정된 태그와 지역에 일치하는 EKS 클러스터가 Teleport 클러스터에 자동으로 추가됩니다.

문제 해결

Discovery Service 문제 해결

먼저, 발견된 Kubernetes cluster이 있는지 확인하세요.
이를 위해 tctl get kube_cluster 명령을 사용하고, 예상되는 Kubernetes cluster이 이미 Teleport 클러스터에 등록되어 있는지 확인하세요.

목록에 일부 Kubernetes cluster이 나타나지 않으면, Discovery Service 선택기 레이블이 누락된 Kubernetes cluster 태그와 일치하는지 확인하거나 Discovery Service 로그에서 권한 오류를 살펴보세요.

Discovery Service가 올바른 AWS 계정의 자격 증명으로 실행되고 있는지 확인하세요. 다른 AWS 계정에서 리소스를 발견할 수 있지만, 이 경우 다른 AWS 계정의 역할을 가정하도록 구성해야 합니다.

실행 중인 Discovery Service가 여러 개인지 확인하세요:

tctl inventory status --connected

여러 개의 Discovery Service를 실행 중인 경우, 동일한 클라우드 Kubernetes cluster를 감시하는 경우에는 각 서비스가 동일한 discovery_group 값으로 구성되어야 하며, 다른 클라우드 Kubernetes cluster를 감시하는 경우에는 다른 값으로 구성되어야 합니다.
이 구성이 올바르지 않으면, 일반적인 증상으로는 kube_cluster 리소스가 Teleport 클러스터의 레지스트리에서 간헐적으로 삭제되는 것이 있습니다.

Kubernetes 서비스 문제 해결

tctl get kube_cluster 명령어가 발견된 클러스터를 반환하지만, tctl kube ls 명령어에 포함되지 않는 경우, kubernetes_service.resources 섹션이 올바르게 설정되었는지 확인하십시오.

kubernetes_service:
  enabled: "yes"
  resources:
  - labels:
      "env": "prod"

섹션이 올바르게 구성되었으나 클러스터가 여전히 나타나지 않거나 인증 오류가 발생하는 경우, 대상 클러스터에서 권한이 올바르게 구성되었는지 확인하거나 Teleport에서 Kubernetes 클러스터를 나열할 수 있는 올바른 권한이 있는지 확인하십시오.