1장 실습 Amazon EKS 배포

1
whoami

1
2
3
4
5
6
7
8
9
10
11
// kubectl 버전 확인
kubectl version --client=true -o yaml | yh

// eksctl 버전 확인
eksctl version

// awscli 버전 확인
aws --version

// 도커 정보 확인
docker info | yh

1
2
3
4
5
// awscli로 인스턴스 정보 확인 (IAM 자격 증명 X)
aws ec2 describe-instances | jq

// IAM 사용자 자격 구성
aws configure

1
2
3
4
5
6
7
8
// CLUSTER_NAME 변수 확인
echo $CLUSTER_NAME

// EKS를 배포할 myeks-VPC 정보 확인
aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" | jq

// EKS를 배포할 myeks-VPC ID 값만 확인
aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" | jq -r .Vpcs[].VpcId

1
2
3
4
5
6
7
8
// VPCID 변수에 myeks-VPC ID 값을 저장
export VPCID=$(aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" | jq -r .Vpcs[].VpcId)

// VPCID를 전역 변수로 선언
echo "export VPCID=$VPCID" >> /etc/profile

// VPCID 변수 호출
echo $VPCID

1
2
3
4
5
6
7
8
9
10
11
12
// EKS를 배포할 VPC의 전체 서브넷 정보 확인
aws ec2 describe-subnets --filters "Name=vpc-id,Values=$VPCID" --output json | jq

// EKS를 배포할 VPC의 퍼블릭 서브넷 정보 확인
aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" | jq

aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" | jq

// EKS를 배포할 VPC의 퍼블릭 서브넷 ID 값만 확인
aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text

aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// 변수에 퍼블릭 서브넷 ID 값을 저장
export PubSubnet1=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text)

export PubSubnet2=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text)

// 퍼블릭 서브넷 ID를 전역 변수로 선언
echo "export PubSubnet1=$PubSubnet1" >> /etc/profile

echo "export PubSubnet2=$PubSubnet2" >> /etc/profile

// VPCID 변수 호출
echo $PubSubnet1

echo $PubSubnet2

1
2
3
4
5
6
7
echo $AWS_DEFAULT_REGION

echo $CLUSTER_NAME

echo $VPCID

echo $PubSubnet1,$PubSubnet2

1
2
3
4
5
6
7
8
9
10
11
// EKS 클러스터 정보 업데이트
aws eks update-kubeconfig --region $AWS_DEFAULT_REGION --name $CLUSTER_NAME

// kubeconfig 정보 확인
cat ~/.kube/config | yh

// kube_ps1 비활성화
kubeoff

// 생성한 Kubernetes 서비스 확인
kubectl get svc

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// EKS 노드 IAM 역할의 신뢰 대상 지정 파일 생성
cat <<EOT > node-role-trust-policy.json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "ec2.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}
EOT

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
// EKS 노드 IAM 역할 생성 (eksNodeRole)
aws iam create-role \
  --role-name eksNodeRole \
  --assume-role-policy-document file://"node-role-trust-policy.json"

// EKS 노드 IAM 역할에 정책 연결
aws iam attach-role-policy \
  --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy \
  --role-name eksNodeRole

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryReadOnly \
  --role-name eksNodeRole

aws iam attach-role-policy \
  --policy-arn arn:aws:iam::aws:policy/AmazonEKS_CNI_Policy \
  --role-name eksNodeRole

1
2
3
4
5
// EKS 노드 IAM 역할 확인
aws iam get-role --role-name eksNodeRole | jq

// EKS 노드 IAM 역할에 연결된 정책 확인
aws iam list-attached-role-policies --role-name eksNodeRole | jq

1
2
3
4
5
6
7
8
9
echo $AWS_DEFAULT_REGION

echo $CLUSTER_NAME

echo $VPCID

echo $PubSubnet1

echo $PubSubnet2

1
2
3
4
5
6
7
8
9
10
11
12
// EKS 클러스터 및 관리형 노드 그룹 생성 전 정보 확인 (dry-run 옵션)
eksctl create cluster \
  --name $CLUSTER_NAME \
  --region=$AWS_DEFAULT_REGION \
  --nodegroup-name=$CLUSTER_NAME-nodegroup \
  --node-type=t3.medium \
  --node-volume-size=30 \
  --vpc-public-subnets "$PubSubnet1,$PubSubnet2" \
  --version 1.26 \
  --ssh-access \
  --external-dns-access \
  --dry-run | yh

1
2
3
4
5
6
7
8
9
10
11
12
// EKS 클러스터 및 관리형 노드 그룹 생성
eksctl create cluster \
  --name $CLUSTER_NAME \
  --region=$AWS_DEFAULT_REGION \
  --nodegroup-name=$CLUSTER_NAME-nodegroup \
  --node-type=t3.medium \
  --node-volume-size=30 \
  --vpc-public-subnets "$PubSubnet1,$PubSubnet2" \
  --version 1.26 \
  --ssh-access \
  --external-dns-access \
  --verbose 4

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// krew로 설치한 플러그인 확인
kubectl krew list

// kube_ps1 활성화
kubeon

// ctx 플러그인 확인
kubectl ctx

// ns 플러그인 확인
kubectl ns

kubectl ns default

// 모든 네임스페이스의 모든 리소스 확인
kubectl get-all

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// kubectl을 통한 클러스터 정보 확인
kubectl cluster-info

// eksctl을 통한 클러스터 정보 확인
eksctl get cluster

// awscli를 통한 클러스터 정보 확인 (상세)
aws eks describe-cluster --name $CLUSTER_NAME | jq

// awscli를 통한 클러스터 정보 확인 (API 서버 주소만 추출)
aws eks describe-cluster --name $CLUSTER_NAME | jq -r .cluster.endpoint

// API 서버 주소 변수 저장 및 dig 조회
APIDNS=$(aws eks describe-cluster --name $CLUSTER_NAME | jq -r .cluster.endpoint | cut -d '/' -f 3)

dig +short $APIDNS

// API 서버 접속
curl -k -s https://$APIDNS | jq

curl -k -s https://$APIDNS/version | jq

1
2
3
4
5
6
7
8
9
10
11
12
// eksctl을 통한 노드 그룹 정보 확인
eksctl get nodegroup --cluster $CLUSTER_NAME --name $CLUSTER_NAME-nodegroup

// awscli를 통한 노드 그룹 정보 확인 (상세)
aws eks describe-nodegroup --cluster-name $CLUSTER_NAME --nodegroup-name $CLUSTER_NAME-nodegroup | jq

// kubectl을 통한 노드 정보 확인
kubectl get node

kubectl get node -owide

kubectl get node -v=6

1
2
3
4
5
6
7
8
9
10
// 현재 네임스페이스에 파드 정보 확인
kubectl get pod

// 모든 네임스페이스에 파드 정보 확인
kubectl get pod -A

// kube-system 네임스페이스에 파드 정보 확인
kubectl get pod -n kube-system

kubectl get pod -n kube-system -owide

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
// EC 인스턴스의 프라이빗/퍼블릭 IP 확인
aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,PrivateIPAdd:PrivateIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output table

// 워커 노드의 프라이빗 IP 주소를 변수에 입력 및 확인
kubectl get node -o jsonpath={.items[0].status.addresses[0].address}
kubectl get node -o jsonpath={.items[1].status.addresses[0].address}

export N1=$(kubectl get node -o jsonpath={.items[0].status.addresses[0].address})
export N2=$(kubectl get node -o jsonpath={.items[1].status.addresses[0].address})

echo "export N1=$N1" >> /etc/profile
echo "export N2=$N2" >> /etc/profile

echo $N1
echo $N2

// 워커 노도의 노드 이름을 변수에 입력 및 확인
kubectl get node -o jsonpath={.items[0].status.addresses[3].address}
kubectl get node -o jsonpath={.items[1].status.addresses[3].address}

export NN1=$(kubectl get node -o jsonpath={.items[0].status.addresses[3].address})
export NN2=$(kubectl get node -o jsonpath={.items[1].status.addresses[3].address})

echo "export NN1=$NN1" >> /etc/profile
echo "export NN2=$NN2" >> /etc/profile

echo $NN1
echo $NN2

1
2
3
4
5
6
7
8
9
10
11
// 워커 노드 SSH 접속 후 빠져 나오기
ssh ec2-user@$N1 
exit

ssh ec2-user@$N2
exit

// 워커 노드 SSH 접속하여 명령어만 반환
ssh ec2-user@$N1 hostname

ssh ec2-user@$N2 hostname

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// kubelet 상태 정보
ssh ec2-user@$N1 sudo systemctl status kubelet

ssh ec2-user@$N2 sudo systemctl status kubelet

// 프로세스 확인
ssh ec2-user@$N1 sudo pstree
ssh ec2-user@$N1 sudo ps afxuwww

ssh ec2-user@$N2 sudo pstree
ssh ec2-user@$N2 sudo ps afxuwww

// 컨테이너 런타임 확인
ssh ec2-user@$N1 sudo ps axf |grep /usr/bin/containerd

ssh ec2-user@$N2 sudo ps axf |grep /usr/bin/containerd

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// 인터페이스 IP 주소 확인
ssh ec2-user@$N1 sudo ip -c addr

ssh ec2-user@$N2 sudo ip -c addr

// 라우팅 테이블 확인
ssh ec2-user@$N1 sudo ip -c route

ssh ec2-user@$N2 sudo ip -c route

// NAT iptables 확인
ssh ec2-user@$N1 sudo iptables -t nat -S

ssh ec2-user@$N2 sudo iptables -t nat -S

1
2
3
4
// 스토리지 정보
ssh ec2-user@$N1 lsblk

ssh ec2-user@$N2 lsblk

1
2
3
4
5
6
7
8
9
10
11
// TCP 세션 확인 (kubelet과 kubeproxy의 Peer IP 확인)
ssh ec2-user@$N1 sudo ss -tnp
ssh ec2-user@$N2 sudo ss -tnp

// API 서버 주소 dig 조회
dig +short $APIDNS

// 새로운 터미널에서 kebectl으로 노드에 bash 셸 접근
kubectl node-shell $NN1

exit

1
2
3
4
5
// 보안 그룹 ID와 이름 확인
aws ec2 describe-security-groups --query 'SecurityGroups[*].[GroupId, GroupName]' --output text | grep myeks

// 각각의 보안 그룹 정보 확인
aws ec2 describe-security-groups --group-ids --output yaml sg-XXXXXXXXXXX | yh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// 새로운 터미널에서 파드와 서비스 모니터링
watch -d 'kubectl get pod,svc'

// 슈퍼마리오 디플로이먼트 다운 및 확인
curl -s -O https://raw.githubusercontent.com/cloudneta/cnaeblab/master/_data/mario.yaml

cat mario.yaml | yh

// 슈퍼마리오 디플로이먼트 배포
kubectl apply -f mario.yaml

// 슈퍼마리오 디플로이먼트 배포 확인 (CLB 확인)
kubectl get deploy,svc,ep mario

// 슈퍼마리오 CLB 주소 추출
kubectl get svc mario -o jsonpath={.status.loadBalancer.ingress[0].hostname} | awk '{ print "Mario URL = http://"$1 }'

1
2
// 생성한 파드 삭제
kubectl delete -f mario.yaml

1
2
3
4
5
6
7
8
9
10
11
// 새로운 터미널에서 EC2 인스턴스 생성 모니터링
while true; do aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,PrivateIPAdd:PrivateIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output text ; echo "------------------------------" ; sleep 1; done

// EKS 노드 그룹 정보 확인
eksctl get nodegroup --cluster $CLUSTER_NAME --name $CLUSTER_NAME-nodegroup

// EKS 노드 수 증가 (2개 -> 3개)
eksctl scale nodegroup --cluster $CLUSTER_NAME --name $CLUSTER_NAME-nodegroup --nodes 3 --nodes-min 3 --nodes-max 6

// EKS 노드 수 감소 (3개 -> 2개)
eksctl scale nodegroup --cluster $CLUSTER_NAME --name $CLUSTER_NAME-nodegroup --nodes 2 --nodes-min 2 --nodes-max 4

1
2
// eksctl 도구로 Amazon EKS 클러스터 삭제
eksctl delete cluster --name $CLUSTER_NAME

1
2
// awscli 도구로 기본 인프라 삭제
aws cloudformation delete-stack --stack-name $CLUSTER_NAME