🛡 AWS VPN Site to Site with Dynamic Route

작성자 : gasida.cloudnet@

AWS Document Link

Site-to-Site VPN User Guide
Site-to-Site VPN Network Administrator Guide
VYOS User Guide

1. AWS VPN Site to Site with Dynamic Route (BGP)

VPN 을 통한 내부 네트워크 대역에 대한 라우팅 광로를 BGP 를 통하여 동적으로 업데이트 한다
BGP AS 는 2- or 4-byte ASN 를 사용
AWS VGW는 BGP로 Amazon VPC 대역을 광고한다

→ 즉, IDC(고객측)에는 AWS VPC대역의 네트워크 정보를 알게 된다
AWS VGW는 BGP로 VPC대역 광고 시 BGP MED 100 과 200 을 각각 Tunnel 로 광고한다

→ 즉, IDC(고객측)에서는 BGP MED 100이 우선함으로 1개의 Tunnel 이 선정되고 실제 트래픽이 해당 Tunnel 로 통신한다
IPsec tunnels 과 BGP sessions 는 항상 고객측(CGW)에서 시작한다

2. AWS VPN Site to Site with Dynamic Route (BGP) Lab Preview

2.1 Lab Topology

서울, 싱가폴 Region에 각각 AWS 환경과, IDC 환경(가정)으로 구성
- IDC 환경은 실제 AWS 영역이 아니라 일반 기업 물리망이지만 실습의 편리성을 위해서 AWS 환경에서 구성함
서울 Region 은 AWS VGW를 배치하고 Public Subnet 에 테스트 용도의 EC2를 배치함
싱가폴 Region (IDC환경)은 VPN 역할을 VYOS(커뮤니티AMI)로 하며 Private Subnet에 테스트 용도의 EC2를 배치함

💡 VYOS는 리눅스(Debina) 기반에 라우팅, 방화벽, VPN 기능을 제공하여 VPN 역할로 선택함. 참고 링크

2.2 기본 설정

본 실습에서 활용할 AWS Region은 서울, 싱가폴 입니다. 해당 Region에 대한 EC2-Key Pair를 생성
시드니, 상파울루 Region 에 리소스는 CloudFormation에 의해 2.1 그림의 인프라를 자동 구축 (2.3항에서 진행)

2.3 CloudFormation (Infrastructure as Code)

싱가폴 Region에서 CloudFormation 스택을 생성한다.

1단계 템플릿 지정
- 템플릿 준비 : 준비된 템플릿
- 템플릿 소스 : Amazon S3 URL
- Amazon S3 URL : https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/VPN/gasida_vpn_idc1.yaml
  - 우측 하단 다음 클릭
2단계 스택 세부 정보 지정
- 스택 이름 : VPN-IDC
- KeyName : 자신의 EC2-Key Pair 를 지정
  - 우측 하단 다음 클릭
3단계 스택 옵션 구성
- 우측 하단 다음 클릭
4단계 검토
- 우측 하단 스택 생성 클릭

싱가폴 Region에서 CloudFormation 스택 생성 완료 후 (5분 정도 소요) 출력에서 VYOSInstancePublicIP 의 값(IP)를 확인한다.

AWS%20VPN%20Site%20to%20Site%20with%20Dynamic%20Route%20BGP%2005b6a5e86b864ae6b876cae1b8184477/Untitled%201.png

서울 Region에서 CloudFormation 스택을 생성한다.

1단계 템플릿 지정
- 템플릿 준비 : 준비된 템플릿
- 템플릿 소스 : Amazon S3 URL
- Amazon S3 URL : https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/VPN/gasida_vpn_aws.yaml
  - 우측 하단 다음 클릭
2단계 스택 세부 정보 지정
- 스택 이름 : VPN-AWS
- KeyName : 자신의 EC2-Key Pair 를 지정
- StaticRoutesOnlyForVPN : false ← AWS VPN 와 IDC VPN 간 Dynamic Route(BGP) 설정을 할 예정이므로
- VPCAWSCustomerGatewayIP : 52.76.100.41 ← 위 싱가폴에서 스택 출력에서 VYOSInstancePublicIP 값
  - 우측 하단 다음 클릭
3단계 스택 옵션 구성
- 우측 하단 다음 클릭
4단계 검토
- 우측 하단 스택 생성 클릭

CloudFormation에 의해 생성되는 리소스는 아래와 같으며, 각 Region 별 정상적으로 생성되었는지 확인한다.

싱가폴 CloudFormation 생성 인프라

- VPC, 2 Subnet, IGW, 2 Route table
- EIP, VYOS EC2 Instance (eth0, eth1)
- Amazon Linux 2 EC2 Instance (Test용)

서울 CloudFormation 생성 인프라

- VPC, 2 Subnet, IGW, 2 Route table
- VGW, CGW, VPN Connection
- EIP, Amazon Linux 2 EC2 Instance (Test용)

💡 실무에서의 AWS VGW 와 연결 시 IDC 위치한 VPN(예. VYOS)설정은 보통 ‘IDC 네트워크(혹은 보안) 엔지니어’ 가 설정을 하게 되어서 개발자 분들의 경우 아래 Lab 따라하기가 어려운 부분이 있다. 그래서 VYOS 관련 설정과 IDC1에 관련 설정은 toggle ‘▶︎’ 접어 두었다. 필요 시 toggle 클릭하여 상세히 내용을 보시기 바란다. VYOS 내용을 제외한 AWS VPN 관련 설정 내용을 위주로 보시면 된다.

2.4 검증

사용자 PC에서 싱가폴 VYOS Public IP 주소로 SSH 접근한다. 추가로 VYOS 인터페이스 설정을 한다.

VYOS 설정 모드(conf) 로 진입해서 VYOS eth1 IP(스택 출력 VYOSInstanceINTERNALPrivateIP 확인)는 설정 후 적용한다.

Private Subnet 에 있는 Test EC2 IP 로 ping 및 SSH 접근한다. 접속 계정 root / qwe123

# 자신의 VYOSInstanceINTERNALPrivateIP 로 SSH 접속
ssh -i '*EC2-Key Pair'* vyos@52.76.100.41
..

# 해당 AMI 이미지는 기본적으로 eth1 IP 가 미설정 되어 있다
vyos@ip-10-100-1-198:~$ show interfaces
Codes: S - State, L - Link, u - Up, D - Down, A - Admin Down
Interface        IP Address                        S/L  Description
---------        ----------                        ---  -----------
eth0             10.100.1.198/24                    u/u
eth1             -                                 u/u
..

# VYOS 설정모드(conf)로 진입하여 eth1의 IP를 설정 후 적용과 저장을 한다
vyos@ip-10-100-1-198$ conf
vyos@ip-10-100-1-198# set interfaces ethernet eth1 address 10.100.100.56/24
vyos@ip-10-100-1-198# commit
vyos@ip-10-100-1-198# exit

# VYOS에서 내부에 있는 EC2 인스턴스로 ping 테스트를 한다
vyos@ip-10-100-1-198:~$ ping 10.100.100.192
PING 10.100.100.192 (10.100.100.192) 56(84) bytes of data.
64 bytes from 10.100.100.192: icmp_seq=1 ttl=255 time=0.732 ms
..

# VYOS에서 내부에 있는 EC2 인스턴스로 SSH 접속 확인을 한다.
vyos@ip-10-100-1-198:~$ ssh root@10.100.100.192

사용자 PC에서 서울 EC2 Instance EIP 주소로 SSH 접근한다. 접속 계정 root / qwe123
1
ssh root@52.78.176.204
참고로 CloudFormation에 의해 리소스가 정상적으로 올라오기 까지 약간의 시간이 필요하니 일정 시간 대기가 필요하다.

💡 본격적인 실습에 앞서, Site to Site VPN 리소스는 소량의 과금이 불가피 하다. (VPN 연결 시간 단위 요금 부과 - 시간 당 $0.05 등)
자세한 사항은 요금 링크를 참고 바란다.

3. Configuration Site to Site VPN

3.1 서울 Region 의 VPN 정보 확인

VPN Tunnel 1 과 Tunnel 2 의 외부IP와 내부IP CIDR을 확인 한다.

3.2 서울 Region 의 고객 VPN 장비 설정을 위한 구성 다운로드 후 싱가폴 Region 에 VYOS 에 VPN Config 설정

💁🏻‍♂️ VPN 구성 다운로드? AWS VGW 에 연결되는 고객VPN 장비(공급업체 별)의 VPN 관련 설정을 AWS 에서 제공
[AWS VPN 사이트 간 VPN 연결 - 구성 다운로드] 선택 후 Vyatta 선택 후 다운로드
- 다운로드 파일 예시
  
  vpn-0056e880bc3e56d15.txt
다운 받은 config 파일 내용을 일부 변경 후 VYOS 에 적용한다

일부 내용 변경 : 찾기 사용을 권장

41줄, 132줄) VYOS eth0(EIP)를 etho(private ip)로 변경
set vpn ipsec site-to-site peer 15.164.80.217 local-address '10.100.1.198'
set vpn ipsec site-to-site peer 52.78.188.212 local-address '10.100.1.198'

98줄, 189줄) VYOS 의 BGP 명령어 입력이 버전 상향으로 일부 바뀌었음
set protocols bgp 65000 neighbor 169.254.13.29 soft-reconfiguration 'inbound' -(아래 내용으로 변경)->
set protocols bgp 65000 neighbor 169.254.13.29 address-family ipv4-unicast soft-reconfiguration inbound

106줄, 197줄) 해당 내용 삭제, 해당 내용은 IDC에서 디폴트 route 정보를 광고하는 내용이다
set protocols bgp 65000 network 0.0.0.0/0 - 해당 줄 내용 삭제

맨 마지막줄 내용 추가) IDC내부 대역인 10.100.0.0/16 대역을 BGP로 광고한다
set protocols bgp 65000 address-family ipv4-unicast network 10.100.0.0/16

변경 적용 한 VYOS VPN Config → VYOS conf 모드에 복사 붙여넣기를 한다

conf
set vpn ipsec ike-group AWS lifetime '28800'
set vpn ipsec ike-group AWS proposal 1 dh-group '2'
set vpn ipsec ike-group AWS proposal 1 encryption 'aes128'
set vpn ipsec ike-group AWS proposal 1 hash 'sha1'
set vpn ipsec site-to-site peer 15.164.80.217 authentication mode 'pre-shared-secret'
set vpn ipsec site-to-site peer 15.164.80.217 authentication pre-shared-secret 'NCN1B7Xzjv0NnGOLxFQJMnWBG8FlJnzT'
set vpn ipsec site-to-site peer 15.164.80.217 description 'VPC tunnel 1'
set vpn ipsec site-to-site peer 15.164.80.217 ike-group 'AWS'
set vpn ipsec site-to-site peer 15.164.80.217 local-address '10.100.1.198'
set vpn ipsec site-to-site peer 15.164.80.217 vti bind 'vti0'
set vpn ipsec site-to-site peer 15.164.80.217 vti esp-group 'AWS'

set vpn ipsec ipsec-interfaces interface 'eth0'
set vpn ipsec esp-group AWS compression 'disable'
set vpn ipsec esp-group AWS lifetime '3600'
set vpn ipsec esp-group AWS mode 'tunnel'
set vpn ipsec esp-group AWS pfs 'enable'
set vpn ipsec esp-group AWS proposal 1 encryption 'aes128'
set vpn ipsec esp-group AWS proposal 1 hash 'sha1'

set vpn ipsec ike-group AWS dead-peer-detection action 'restart'
set vpn ipsec ike-group AWS dead-peer-detection interval '10'
set vpn ipsec ike-group AWS dead-peer-detection timeout '30'

set interfaces vti vti0 address '169.254.70.182/30'
set interfaces vti vti0 description 'VPC tunnel 1'
set interfaces vti vti0 mtu '1436'

set protocols bgp 65000 neighbor 169.254.70.181 remote-as '64512'
set protocols bgp 65000 neighbor 169.254.70.181 address-family ipv4-unicast soft-reconfiguration inbound
set protocols bgp 65000 neighbor 169.254.70.181 timers holdtime '30'
set protocols bgp 65000 neighbor 169.254.70.181 timers keepalive '10'

set vpn ipsec site-to-site peer 52.78.188.212 authentication mode 'pre-shared-secret'
set vpn ipsec site-to-site peer 52.78.188.212 authentication pre-shared-secret 'MfmyxlydtXvvC2FLGmBsqMQlW5q89Z0S'
set vpn ipsec site-to-site peer 52.78.188.212 description 'VPC tunnel 2'
set vpn ipsec site-to-site peer 52.78.188.212 ike-group 'AWS'
set vpn ipsec site-to-site peer 52.78.188.212 local-address '10.100.1.198'
set vpn ipsec site-to-site peer 52.78.188.212 vti bind 'vti1'
set vpn ipsec site-to-site peer 52.78.188.212 vti esp-group 'AWS'

set interfaces vti vti1 address '169.254.50.254/30'
set interfaces vti vti1 description 'VPC tunnel 2'
set interfaces vti vti1 mtu '1436'

set protocols bgp 65000 neighbor 169.254.50.253 remote-as '64512'
set protocols bgp 65000 neighbor 169.254.50.253 address-family ipv4-unicast soft-reconfiguration inbound
set protocols bgp 65000 neighbor 169.254.50.253 timers holdtime '30'
set protocols bgp 65000 neighbor 169.254.50.253 timers keepalive '10'

set protocols bgp 65000 address-family ipv4-unicast network 10.100.0.0/16

commit
save

VPN 관련 Tunnel, Interface, IP 를 표현

4. Verify Site to Site VPN

4.1 서울 Region 의 VPN 정보 확인

VPN Tunnel 2개의 상태가 정상 작동을 확인 , 세부정보에서 VYOS 에서 BGP로 1개의 네트워크 대역을 광고해서 알아왔음을 확인

4.2 싱가폴 Region 의 VYOS 에서 VPN 정보 확인

Tunnel 인터페이스(= vti0, vti1) 정보 확인 및 VPN 상태 확인 및 라우팅 테이블 확인, VPN Tunnel IP 로 ping 테스트

# VYOS 의 가상의 터널 인터페이스 정보를 확 
$ show interfaces vti
Codes: S - State, L - Link, u - Up, D - Down, A - Admin Down
Interface        IP Address                        S/L  Description
---------        ----------                        ---  -----------
vti0             169.254.70.182/30                 u/u  VPC tunnel 1
vti1             169.254.50.254/30                 u/u  VPC tunnel 2

# AWS 내부IP(터널IP)와 ping 통신 확인
$ ping 169.254.70.181
64 bytes from 169.254.70.181: icmp_seq=1 ttl=254 time=103 ms
$ ping 169.254.50.253
64 bytes from 169.254.50.253: icmp_seq=1 ttl=254 time=103 ms

# VYOS 의 VPN IPsec 상태 정보 확인 및 해당 터널을 통한 트래픽 통계 확인
$ show vpn ipsec sa
Connection                     State    Uptime    Bytes In/Out    Packets In/Out    Remote address    Remote ID    Proposal
-----------------------------  -------  --------  --------------  ----------------  ----------------  -----------  ----------------------------------
peer-52.78.188.212-tunnel-vti  up       8m23s     4K/6K           62/112            52.78.188.212     N/A          AES_CBC_128/HMAC_SHA1_96/MODP_1024
peer-15.164.80.217-tunnel-vti  up       8m23s     5K/6K           84/110            15.164.80.217     N/A          AES_CBC_128/HMAC_SHA1_96/MODP_1024

# VYOS 장비의 라우팅 테이블을 확인, AWS VGW에 연결된 VPC대역에 대한 라우팅 정보 확인
$ show ip route
..
S>* 0.0.0.0/0 [210/0] via 10.100.1.1, eth0, 00:52:07
B>* 10.50.0.0/16 [20/100] via 169.254.50.253, vti1, 00:08:31
C>* 10.100.1.0/24 is directly connected, eth0, 00:52:08
C>* 10.100.100.0/24 is directly connected, eth1, 00:47:21
C>* 169.254.50.252/30 is directly connected, vti1, 00:08:33
C>* 169.254.70.180/30 is directly connected, vti0, 00:08:33

# VYOS와 VGW 간 BGP 정보 확인, AWS Tunnel1과2에서 각각 Metric(=MED) 100과 200으로 인입
$ show ip bgp
..
   Network          Next Hop            Metric LocPrf Weight Path
*> 10.50.0.0/16     169.254.50.253         100             0 64512 i
*                   169.254.70.181         200             0 64512 i
*> 10.100.0.0/16  0.0.0.0                  0         32768 i

sh ip bgp summary
sh ip bgp neighbors 169.254.X.Y advertised-routes
sh ip bgp neighbors 169.254.X.Y received-routes
sh ip bgp neighbors 169.254.X.Y routes

4.3 싱가폴 내부 대역의 Route Table 설정

[VPC - Route Tables] VPCIDC1 VYOS Internal Subnet Route Table 선택 후 [라우팅 편집]으로 추가
- 10.50.0.0/16 , Network Interface → VYOS Eth1 후 라우팅 저장

4.4 서울 Subnet에 Route Table 설정

[VPC - Route Tables] VPCAWS Subnet Route Table 선택 후 [라우팅 전파 편집]으로 추가
- 전파 선택 후 저장
- 라우팅 테이블을 확인하면 자동으로 추가되어 있다

4.5 전체 라우팅 상태 확인

서울 Region 경우 싱가폴 VPC대역인 10.100.0.0/16 을VGW 로 보냄

→ 이후 VGW 는 VPN Tunnel 을 통해 VYOS eth0 으로 보냄
싱가폴 Region 경우 내부대역(10.100.100.0/24)에서 서울 VPC대역인 10.50.0.0/16 을 VYOS eth1 으로 보냄

→ 이후 VYOS는 10.50.0.0/16 을 vti0, vti1 즉 VPN Tunnel 을 통해 VGW 로 보냄

4.6 통신 확인

서울 EC2 에서 싱가폴 EC2 로 ping 통신, ssh 접속을 확인

[root@ip-10-50-1-175 ~]$ ping -c 1 10.100.100.192
PING 10.100.100.192 (10.100.100.192) 56(84) bytes of data.
64 bytes from 10.100.100.192: icmp_seq=1 ttl=254 time=103 ms

$ ssh root@10.100.100.192
root@10.100.100.192's password:
..
[root@ip-10-100-100-192 ~]#

위 ping 통신 시도 시, VYOS 에서 icmp 패킷 확인

vyos@ip-10-100-1-198:~$ sudo tcpdump -i any -nn icmp
..
02:08:35.528632 IP 10.100.100.192 > 10.50.1.175: ICMP echo reply, id 32455, seq 14, length 64
02:08:36.529260 IP 10.50.1.175 > 10.100.100.192: ICMP echo request, id 32455, seq 15, length 64
..

4.7 CloudWatch 모니터링 설정

서울 Region [CloudWatch - 대시보드 생성] : 이름(VPN)
- 위젯 추가
  - 유형 : 행
    - 지표 : VPN 터널 지표 → (VPN Tunnel 1 IP 입력 후 검색 후) TunnelState 선택
      - 그래프로 표시된 지표 : 레이블(VPN Tunnel 1 State), 통계(최소), 기간(1분)
        
        그래프옵션 : 위젯 유형(누적 면적)
        
        상단(사용자지정 - 30분, 현지시간대)
        
        우측 하단 위젯 생성
  - 유형 : 행
    - 지표 : VPN 터널 지표 → (VPN Tunnel 2 IP 입력 후 검색 후) TunnelState 선택
      - 그래프로 표시된 지표 : 색상(변경), 레이블(VPN Tunnel 2 State), 통계(최소), 기간(1분)
        
        그래프옵션 : 위젯 유형(누적 면적)
        
        상단(사용자지정 - 30분, 현지시간대)
        
        우측 하단 위젯 생성
  - 유형 : 행
    - 지표 : VPN 터널 지표 → (VPN Tunnel 1 IP 입력 후 검색 후) TunnelDataIn, TunnelDataOut 선택
      - 그래프로 표시된 지표 : 상단(VPN Tunnel 1 Data In/Out), 통계(합계), 기간(1분)
        
        그래프옵션 : 위젯 유형(누적 면적)
        
        상단(사용자지정 - 30분, 현지시간대)
        
        우측 하단 위젯 생성
  - 유형 : 행
    - 지표 : VPN 터널 지표 → (VPN Tunnel 2 IP 입력 후 검색 후) TunnelDataIn, TunnelDataOut 선택
      - 그래프로 표시된 지표 : 상단(VPN Tunnel 2 Data In/Out), 통계(합계), 기간(1분)
        
        그래프옵션 : 위젯 유형(누적 면적)
        
        상단(사용자지정 - 30분, 현지시간대)
        
        우측 하단 위젯 생성
  - 상단 - 대시보드 저장

5. VPN Failover Test

5.1 싱가폴 Region 의 VYOS 재부팅 후 확인

서울 Region 의 내부 EC2 에서 ping 실행
1
$ ping -i 1 -W 1 10.100.100.192
VYOS 인스턴스 재부팅
1
vyos@ip-10-100-1-198:~$ reboot now

서울 Region 의 내부 EC2 에서 ping 결과 확인

82 - 23 = 59개로 대략 59초(=대략 1분) 정도의 절체시간이 있었다.

$ ping -i 1 -W 1 10.100.100.192
PING 10.100.100.192 (10.100.100.192) 56(84) bytes of data.
64 bytes from 10.100.100.192: icmp_seq=1 ttl=254 time=104 ms
..
^C
--- 10.100.100.192 ping statistics ---
82 packets transmitted, 23 received, 71% packet loss, time 82429ms
rtt min/avg/max/mdev = 103.895/104.418/105.911/0.503 ms

CloudWatch 모니터링을 확인 : 2개 Tunnel State 가 0 으로 다운되고 정상이 되었다, 트래픽은 여전히 Tunnel 2 를 사용 중이다

5.2 현재 Active VPN Tunnel 을 Down 후 확인

현재 통신에 사용되는 VPN Tunnel 을 강제로 Down 하여 다른 VPN Tunnel 사용 시를 테스트 해본다
서울 Region 의 내부 EC2 에서 ping 실행
1
$ ping -i 1 -W 1 10.100.100.192

VYOS 에서 터널 정보를 확인 후 해당 터널로 맺혀있는 BGP 네이버를 강제로 Shutdown 한다

$ show ip route
B>* 10.50.0.0/16 [20/100] via 169.254.50.253, vti1, 00:00:12

$ show vpn ipsec sa
Connection                     State    Uptime    Bytes In/Out    Packets In/Out    Remote address    Remote ID    Proposal
-----------------------------  -------  --------  --------------  ----------------  ----------------  -----------  ----------------------------------
peer-52.78.188.212-tunnel-vti  up       15m29s    75K/84K         943/1K            52.78.188.212     N/A          AES_CBC_128/HMAC_SHA1_96/MODP_1024
peer-15.164.80.217-tunnel-vti  up       15m29s    13K/11K         190/194           15.164.80.217     N/A          AES_CBC_128/HMAC_SHA1_96/MODP_1024

conf
set protocols bgp 65000 neighbor 169.254.50.253 shutdown
commit
save
exit

$ show ip route
..
B>* 10.50.0.0/16 [20/100] via 169.254.70.181, vti0, 00:04:37

서울 Region 의 내부 EC2 에서 ping 결과 확인

22 - 21 = 1개로 대략 1초 이내에 절체시간이 있었다.

$ ping -i 1 -W 1 10.100.100.192
PING 10.100.100.192 (10.100.100.192) 56(84) bytes of data.
64 bytes from 10.100.100.192: icmp_seq=1 ttl=254 time=104 ms
..
^C
--- 10.100.100.192 ping statistics ---
22 packets transmitted, 21 received, 4% packet loss, time 21029ms
rtt min/avg/max/mdev = 104.003/104.743/105.439/0.621 ms

CloudWatch 모니터링을 확인 : Tunnel 2 가 Down 되자마자 바로 Tunnel 1 로 데이터 트래픽 통신을 사용했다.

6. Delete Infrastructure

싱가폴 Region 의 CloudFormation Stack 삭제
서울 Region 의 CloudFormation Stack 삭제
서울 Region 의 CloudWatch 대시보드 삭제