4장 실습 Amazon EKS 로깅 구성하기

1
2
3
// Amazon EKS Control Plane 로깅 활성화 설정
aws eks update-cluster-config --region $AWS_DEFAULT_REGION --name $CLUSTER_NAME \
  --logging '{"clusterLogging":[{"types":["api","audit","authenticator","controllerManager","scheduler"],"enabled":true}]}'

1
2
3
4
5
6
// CloudWatch의 로그 그룹 생성 확인
aws logs describe-log-groups | jq

// 로그 그룹에 구성된 로그 스트림 확인
aws logs describe-log-streams \
  --log-group-name /aws/eks/${CLUSTER_NAME}/cluster | grep logStreamName

1
2
3
4
5
6
7
8
9
10
11
12
13
// 10분 동안 Control Plane 로그 확인(more 옵션)
aws logs tail /aws/eks/$CLUSTER_NAME/cluster | more

// 신규 로그 바로 출력
aws logs tail /aws/eks/$CLUSTER_NAME/cluster --follow

//로그 스트림 대상 지정 (kube-controller-mananger)
aws logs tail /aws/eks/$CLUSTER_NAME/cluster --log-stream-name-prefix kube-controller-manager --follow

// 신규 터미널 생성 후 coreDNS 수량 조정
kubectl scale deployment -n kube-system coredns --replicas=1

kubectl scale deployment -n kube-system coredns --replicas=2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// kube-apiserver-audit 로그에서 UserAgent 정렬 후 카운트 값
fields userAgent, requestURI, @timestamp, @message
| filter @logStream ~= "kube-apiserver-audit"
| stats count(userAgent) as count by userAgent
| sort count desc

// kube-apiserver 로그에서 timestamp로 정렬
fields @timestamp, @message
| filter @logStream ~= "kube-apiserver"
| sort @timestamp desc

// authenticator 로그에서 timestamp로 정렬
fields @timestamp, @message
| filter @logStream ~= "authenticator"
| sort @timestamp desc

1
2
3
4
5
6
7
8
9
// EKS Control Plane 로깅 비활성화
eksctl utils update-cluster-logging \
  --cluster $CLUSTER_NAME \
  --region $AWS_DEFAULT_REGION \
  --disable-types all \
  --approve

// Control Plane 로그 그룹 삭제
aws logs delete-log-group --log-group-name /aws/eks/$CLUSTER_NAME/cluster

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
// helm repository 추가
helm repo add bitnami https://charts.bitnami.com/bitnami

// nginx 파라미터 파일 생성
cat <<EOT > nginx-values.yaml
service:
    type: NodePort

ingress:
  enabled: true
  ingressClassName: alb
  hostname: nginx.$MyDomain
  path: /*
  annotations: 
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
    alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN
    alb.ingress.kubernetes.io/success-codes: 200-399
    alb.ingress.kubernetes.io/load-balancer-name: $CLUSTER_NAME-ingress-alb
    alb.ingress.kubernetes.io/group.name: study
    alb.ingress.kubernetes.io/ssl-redirect: '443'
EOT
cat nginx-values.yaml | yh

// nginx 배포
helm install nginx bitnami/nginx --version 14.1.0 -f nginx-values.yaml

1
2
3
4
5
// ingress, deployment, service, endpoint nginx 확인
kubectl get ingress,deploy,svc,ep nginx

// alb targetgroupbinding 확인
kubectl get targetgroupbindings

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// HTTPS로 접속
curl -s https://nginx.$MyDomain

// HTTP로 접속
curl -s http://nginx.$MyDomain

// HTTP로 접속할 때 상세 로그 설정
curl -vs http://nginx.$MyDomain

// HTTP로 접속할 때 리다이렉션 location 정보 출력
curl -L http://nginx.$MyDomain

// 신규 터미널 모니터링 - 반복 접속
MyDomain = <자신의 도메인>

while true; do curl -s https://nginx.$MyDomain -I | head -n 1; date; sleep 1; done

1
2
3
4
5
// 컨테이너 로그 확인
kubectl logs deploy/nginx -c nginx -f

// 컨테이너 로그 파일 위치 확인
kubectl exec -it deploy/nginx -c nginx -- ls -l /opt/bitnami/nginx/logs/

1
2
3
4
5
6
7
8
9
10
// /var/log/containers tree 확인 (nginx 파드가 생성된 노드 지정)
ssh ec2-user@$N1 sudo tree -C /var/log/containers

// /var/log/pods tree 확인 (nginx 파드가 생성된 노드 지정)
ssh ec2-user@$N1 sudo tree -C /var/log/pods

// /var/log/pods에서 로그 직접 확인 (nginx 로그 뒤에 삽입)
ssh ec2-user@$N1 sudo tail -f <XXXXXXXXX>

ssh ec2-user@$N1 sudo head <XXXXXXXXX>

1
ssh ec2-user@$N1 journalctl -u kubelet | grep FLAG | grep container-log-max

1
2
3
4
5
6
// application 로그 소스 확인
for node in $N1 $N2 $N3; do echo ">>>>> $node <<<<<"; \
ssh ec2-user@$node sudo tree /var/log/containers; echo; done

for node in $N1 $N2 $N3; do echo ">>>>> $node <<<<<"; \
ssh ec2-user@$node sudo tree /var/log/pods; echo; done

1
2
3
4
5
6
7
// host 로그 소스 (Logs from /var/log/dmesg, /var/log/secure, and /var/log/messages), 노드(호스트) 로그
for node in $N1 $N2 $N3; do echo ">>>>> $node <<<<<"; \
ssh ec2-user@$node sudo tree /var/log/ -L 1; echo; done

// 노드 1에 dmesg, secure, messages 로그 확인
for log in dmesg secure messages; do echo ">>>>> Node1: /var/log/$log <<<<<"; \
ssh ec2-user@$N1 sudo tail /var/log/$log; echo; done

1
2
3
4
5
6
7
8
// dataplane 로그 소스(/var/log/journal for kubelet.service, kubeproxy.service, and docker.service), 쿠버네티스 데이터플레인 로그
for node in $N1 $N2 $N3; do echo ">>>>> $node <<<<<"; \
ssh ec2-user@$node sudo tree /var/log/journal -L 1; echo; done

// journal 로그 확인 (kubelet 정보)
ssh ec2-user@$N3 sudo journalctl -u kubelet -x -n 200

ssh ec2-user@$N3 sudo journalctl -u kubelet -f

1
2
3
4
5
// 네임스페이스 생성
kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/cloudwatch-namespace.yaml

// 네임스페이스 확인
kubectl get ns

1
2
3
4
5
6
7
8
9
10
11
12
13
// Fluent-bit ConfigMap 생성
FluentBitHttpServer='On'
FluentBitHttpPort='2020'
FluentBitReadFromHead='Off'
FluentBitReadFromTail='On'

kubectl create configmap fluent-bit-cluster-info \
--from-literal=cluster.name=${CLUSTER_NAME} \
--from-literal=http.server=${FluentBitHttpServer} \
--from-literal=http.port=${FluentBitHttpPort} \
--from-literal=read.head=${FluentBitReadFromHead} \
--from-literal=read.tail=${FluentBitReadFromTail} \
--from-literal=logs.region=${AWS_DEFAULT_REGION} -n amazon-cloudwatch

1
2
3
4
5
// Fluentbit 생성
kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit.yaml

// 설치 확인
kubectl get ds,pod,cm,sa -n amazon-cloudwatch

1
2
3
4
5
6
// FluentBit Configmap 확인
kubectl get cm fluent-bit-cluster-info -n amazon-cloudwatch -o yaml | yh

// FluentBit Configmap 상세 - 로그 INPUT/FILTER/OUTPUT 설정 확인
/// 설정 구성 : application-log.conf, dataplane-log.conf, fluent-bit.conf, host-log.conf, parsers.conf
kubectl describe cm fluent-bit-config -n amazon-cloudwatch

1
2
3
4
5
6
// FluentBit Daemonset 
/// 파드가 수집하는 방법 : Volumes에 HostPath 확인
kubectl describe ds fluent-bit -n amazon-cloudwatch

// /var/log에 tree 확인
ssh ec2-user@$N1 sudo tree /var/log

1
kubectl logs deploy/nginx -f

1
2
3
yum install -y httpd

ab -c 500 -n 30000 https://nginx.$MyDomain/

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// Log Insight 컨테이너 이름별 애플리케이션 로그 오류 카운트
// 로그 그룹 선택 : /aws/containerinsights/<CLUSTER_NAME>/application
stats count() as error_count by kubernetes.container_name 
| filter stream="stderr" 
| sort error_count desc

// 컨테이너 프로세스 강제 종료
kubectl exec deploy/nginx -c nginx -- kill -s SIGINT 1

// 노드에서 컨테이너 에러 카운트
// 로그 그룹 선택 : /aws/containerinsights/<CLUSTER_NAME>/host
fields @timestamp, @message, ec2_instance_id
| filter  message like 'level=error' or message like 'level=warning' 
| stats count(*) as error_count by ec2_instance_id

1
2
3
4
5
6
7
8
9
10
11
// fluent-bit 삭제
kubectl delete ds fluent-bit -n amazon-cloudwatch && kubectl delete cm fluent-bit-cluster-info -n amazon-cloudwatch && kubectl delete cm fluent-bit-config -n amazon-cloudwatch && kubectl delete sa fluent-bit -n amazon-cloudwatch

// bitnami nginx 삭제
helm uninstall nginx

// 로그 그룹 삭제 : 데이터 플레인
aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/application
aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/dataplane
aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/host
aws logs delete-log-group --log-group-name /aws/containerinsights/$CLUSTER_NAME/performance