🛡 AWS VPN Site to Site with Static Route

작성자 : gasida.cloudnet@

AWS Document Link

Site-to-Site VPN User Guide
Site-to-Site VPN Network Administrator Guide
VYOS User Guide

1. AWS VPN Site to Site with Static Route

1.1 AWS Site-to-Site VPN

AWS Site-to-Site VPN(S2S VPN) 은 Amazon VPC 망과 외부망(ex. 기업망 등) 안전한 연결을 해주는 것을 말함
주요 용어
- VPN 연결 : 온프레미스 장비(ex. 기업망 VPN장비)와 Amazon VPC 간의 보안 연결
- VPN 터널 : AWS VPC 네트워크와 온프레미스 네트워크 간 주고 받을 수 있는 암호화된 링크
  - 고가용성을 위해서 2개의 터널을 제공함
- 고객 게이트웨이 : 온프레미스 장비(ex. 기업망 VPN장비)에 대한 정보를 말함
  - AWS VGW 에 설정을 위해서 지정함 (ex. 온프레미스 VPN 장비의 IP 등)
- 고객 게이트웨이 디바이스 : 온프레미스 장비(ex. 기업망 VPN장비) 혹은 소프트웨어 애플리케이션
제약사항 : IPv6 트래픽 미지원, AWS VPN 연결 시 Path MTU discovery 미지원 (→ MTU 설정을 맞출 것을 권장)

1.2 AWS S2S 작동 방식

AWS VGW 와 TGW 에서 동작합니다

AWS VGW(=가상 프라이빗 게이트웨이)

AWS Transit GW(=전송 게이트웨이)

S2S VPN Tunnel 은 2개가 있으며, 퍼블릭 IP주소가 각 터널에 사용된다.
- VGW는 터널에 대해 두개의 Tunnel Endpoint를 제공
- IPsec tunnels 과 BGP sessions 는 항상 고객측(CGW)에서 시작한다
- 고가용성을 위해서 두 터널 반드시 모두 구성해야 한다.
- 특히 AWS VGW 정기 유지 관리 시 순차적으로 터널이 비활성화 된다
  
  → 🚧 필자가 AWS VPN 운영 시 에도 매달 26~28일 사이에 Tunnel1, Tunnel 2 가 시간차를 두고 Down 되었었다
- AWS S2S VPN SLA 는 99.95% 입니다. → 한 달 5분 2초는 계약 상 유지 관리 등을 위해서 비활성화가 되어도…
  
  https://uptime.is/ 참고
CGW (=고객 게이트웨이) 는 고객 측에 있는 물리적 또는 소프트웨어 어플라이언스이다.
- CGW가 1대의 장비라면 논리적인 터널 인터페이스 2개를 설정하여 AWS VPN Tunnel 1,2 와 연결 설정한다
서로 통신을 위한 라우팅은 Static 과 Dynamic(BGP) 를 지원한다.

1.3 S2S VPN 아키텍처

AWS VGW —-(S2S VPN) —- IDC(CGW)
AWS TGW —-(S2S VPN) —- IDC(CGW) : VGW 가 아닌 Transit Gateway(TGW)가 VPN 연결되는 종단점 역할
다중 S2S VPN 연결 : 여러개의 고객 VPN 망이 연결 되는 구성 환경
S2S VPN 이중화를 통한 고가용성 구성
- 1안 : CGW 가 이중화 구성이나 클러스터 동작이 아닌 A-S 동작인 경우 두개의 CGW 를 두 개의 VGW에 연결
  - AWS S2S VGW 를 2개를 생성하고 고객측 장비도 2대를 구성하며 BGP 로 각각 내부망을 광고하는 형태
2안 : CGW 가 2대로 이중화 구성에서 클러스터로 동작 시(논리적으로 1대)에는 1개의 VGW 에 각 터널 엔드포인트로 모두 연결
- AWS S2S VGW 를 1개만 생성하여 고객측 장비의 논리1대의 방화벽(실제 물리 방화벽 2대)으로 연결

1.4 VPN Performance

VGW 1개 Tunnel 은 1.25Gbps Throughput 성능을 가짐

→ TGW 의 ECMP 를 사용 시 하여 Throughput 성능 향상을 할 수 있음

2. AWS VPN Site to Site with Static Route Lab Preview

2.1 Lab Topology

서울, 싱가폴 Region에 각각 AWS 환경과, IDC 환경(가정)으로 구성
- IDC 환경은 실제 AWS 영역이 아니라 일반 기업 물리망이지만 실습의 편리성을 위해서 AWS 환경에서 구성함
서울 Region 은 AWS VGW를 배치하고 Public Subnet 에 테스트 용도의 EC2를 배치함
싱가폴 Region (IDC환경)은 VPN 역할을 VYOS(커뮤니티AMI)로 하며 Private Subnet에 테스트 용도의 EC2를 배치함

💡 VYOS는 리눅스(Debian) 기반에 라우팅, 방화벽, VPN 기능을 제공하여 VPN 역할로 선택함. 참고 링크

2.2 기본 설정

본 실습에서 활용할 AWS Region은 서울, 싱가폴 입니다. 해당 Region에 대한 EC2-Key Pair를 생성
시드니, 상파울루 Region 에 리소스는 CloudFormation에 의해 2.1 그림의 인프라를 자동 구축 (2.3항에서 진행)

2.3 CloudFormation (Infrastructure as Code)

싱가폴 Region에서 CloudFormation 스택을 생성한다.

1단계 템플릿 지정
- 템플릿 준비 : 준비된 템플릿
- 템플릿 소스 : Amazon S3 URL
- Amazon S3 URL : https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/VPN/gasida_vpn_idc1.yaml
  - 우측 하단 다음 클릭
2단계 스택 세부 정보 지정
- 스택 이름 : VPN-IDC
- KeyName : 자신의 EC2-Key Pair 를 지정
  - 우측 하단 다음 클릭
3단계 스택 옵션 구성
- 우측 하단 다음 클릭
4단계 검토
- 우측 하단 스택 생성 클릭

싱가폴 Region에서 CloudFormation 스택 생성 완료 후 (5분 정도 소요) 출력에서 VYOSInstancePublicIP 의 값(IP)를 확인한다.

AWS%20VPN%20Site%20to%20Site%20with%20Static%20Route%2078d272b9998c46a4875aa9c090b80ccf/_2020-05-06__1.32.13.png

서울 Region에서 CloudFormation 스택을 생성한다.

1단계 템플릿 지정
- 템플릿 준비 : 준비된 템플릿
- 템플릿 소스 : Amazon S3 URL
- Amazon S3 URL : https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/VPN/gasida_vpn_aws.yaml
  - 우측 하단 다음 클릭
2단계 스택 세부 정보 지정
- 스택 이름 : VPN-AWS
- KeyName : 자신의 EC2-Key Pair 를 지정
- StaticRoutesOnlyForVPN : true ← AWS VPN 와 IDC VPN 간 Static Route 설정을 할 예정이므로
- VPCAWSCustomerGatewayIP : 54.255.135.113 ← 위 싱가폴에서 스택 출력에서 VYOSInstancePublicIP 값
  - 우측 하단 다음 클릭
3단계 스택 옵션 구성
- 우측 하단 다음 클릭
4단계 검토
- 우측 하단 스택 생성 클릭

CloudFormation에 의해 생성되는 리소스는 아래와 같으며, 각 Region 별 정상적으로 생성되었는지 확인한다.

싱가폴 CloudFormation 생성 인프라

- VPC, 2 Subnet, IGW, 2 Route table
- EIP, VYOS EC2 Instance (eth0, eth1)
- Amazon Linux 2 EC2 Instance (Test용)

서울 CloudFormation 생성 인프라

- VPC, 2 Subnet, IGW, 2 Route table
- VGW, CGW, VPN Connection
- EIP, Amazon Linux 2 EC2 Instance (Test용)

💡 실무에서의 AWS VGW 와 연결 시 IDC 위치한 VPN(예. VYOS)설정은 보통 ‘IDC 네트워크(혹은 보안) 엔지니어’ 가 설정을 하게 되어서 개발자 분들의 경우 아래 Lab 따라하기가 어려운 부분이 있다. 그래서 VYOS 관련 설정과 IDC1에 관련 설정은 toggle ‘▶︎’ 접어 두었다. 필요 시 toggle 클릭하여 상세히 내용을 보시기 바란다. VYOS 내용을 제외한 AWS VPN 관련 설정 내용을 위주로 보시면 된다.

2.4 검증

사용자 PC에서 싱가폴 VYOS Public IP 주소로 SSH 접근한다. 추가로 VYOS 인터페이스 설정을 한다.

VYOS 설정 모드(conf) 로 진입해서 VYOS eth1 IP(스택 출력 VYOSInstanceINTERNALPrivateIP 확인)는 설정 후 적용한다.

Private Subnet 에 있는 Test EC2 IP 로 ping 및 SSH 접근한다. 접속 계정 root / qwe123

# 자신의 VYOSInstanceINTERNALPrivateIP 로 SSH 접속
ssh -i '*EC2-Key Pair'* vyos@54.255.135.113
..

# 해당 AMI 이미지는 기본적으로 eth1 IP 가 미설정 되어 있다
vyos@ip-10-100-1-19:~$ show interfaces
Codes: S - State, L - Link, u - Up, D - Down, A - Admin Down
Interface        IP Address                        S/L  Description
---------        ----------                        ---  -----------
eth0             10.100.1.19/24                    u/u
eth1             -                                 u/u
..

# VYOS 설정모드(conf)로 진입하여 eth1의 IP를 설정 후 적용과 저장을 한다
vyos@ip-10-100-1-19$ conf
vyos@ip-10-100-1-19# set interfaces ethernet eth1 address 10.100.100.210/24
vyos@ip-10-100-1-19# commit
vyos@ip-10-100-1-19# exit

# VYOS에서 내부에 있는 EC2 인스턴스로 ping 테스트를 한다
vyos@ip-10-100-1-19:~$ ping 10.100.100.252
PING 10.100.100.252 (10.100.100.252) 56(84) bytes of data.
64 bytes from 10.100.100.252: icmp_seq=1 ttl=255 time=0.600 ms
..

# VYOS에서 내부에 있는 EC2 인스턴스로 SSH 접속 확인을 한다.
vyos@ip-10-100-1-19:~$ ssh root@10.100.100.252

사용자 PC에서 서울 EC2 Instance EIP 주소로 SSH 접근한다. 접속 계정 root / qwe123
1
ssh root@15.165.117.201
참고로 CloudFormation에 의해 리소스가 정상적으로 올라오기 까지 약간의 시간이 필요하니 일정 시간 대기가 필요하다.

💡 본격적인 실습에 앞서, Site to Site VPN 리소스는 소량의 과금이 불가피 하다. (VPN 연결 시간 단위 요금 부과 - 시간 당 $0.05 등)
자세한 사항은 요금 링크를 참고 바란다.

3. Configuration Site to Site VPN

3.1 서울 Region 의 VPN 정보 확인

VPN Tunnel 1 과 Tunnel 2 의 외부IP와 내부IP CIDR을 확인 한다.

3.2 서울 Region 의 고객 VPN 장비 설정을 위한 구성 다운로드 후 싱가폴 Region 에 VYOS 에 VPN Config 설정

💁🏻‍♂️ VPN 구성 다운로드? AWS VGW 에 연결되는 고객VPN 장비(공급업체 별)의 VPN 관련 설정을 AWS 에서 제공
[AWS VPN 사이트 간 VPN 연결 - 구성 다운로드] 선택 후 Generic 선택 후 다운로드
- 다운로드 파일 예시
  
  vpn-006dfdf3f4989c4df.txt
다운 받은 config 파일 정보를 기반으로 아래 샘플 VYOS VPN Config 에 변경 후 VYOS 에 적용한다

샘플 VYOS VPN Config

set vpn ipsec ike-group AWS lifetime '28800'
set vpn ipsec ike-group AWS proposal 1 dh-group '2'
set vpn ipsec ike-group AWS proposal 1 encryption 'aes128'
set vpn ipsec ike-group AWS proposal 1 hash 'sha1'

set vpn ipsec ipsec-interfaces interface 'eth0'
set vpn ipsec esp-group AWS compression 'disable'
set vpn ipsec esp-group AWS lifetime '3600'
set vpn ipsec esp-group AWS mode 'tunnel'
set vpn ipsec esp-group AWS pfs 'enable'
set vpn ipsec esp-group AWS proposal 1 encryption 'aes128'
set vpn ipsec esp-group AWS proposal 1 hash 'sha1'

set vpn ipsec ike-group AWS dead-peer-detection action 'restart'
set vpn ipsec ike-group AWS dead-peer-detection interval '10'
set vpn ipsec ike-group AWS dead-peer-detection timeout '30'

set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' authentication mode 'pre-shared-secret'
set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' authentication pre-shared-secret 'IPSec Tunnel #1 의 Pre-Shared Key'
set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' description 'VPC tunnel 1'
set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' ike-group 'AWS'
set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' local-address 'VYOS Eth0 IP (EIP가 아님)'
set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' vti bind 'vti0'
set vpn ipsec site-to-site peer 'IPSec Tunnel #1 의 Virtual Private Gateway IP' vti esp-group 'AWS'

set interfaces vti vti0 address 'IPSec Tunnel #1 의 Customer Gateway 의 Inside IP Addresses'
set interfaces vti vti0 description 'VPC tunnel 1'
set interfaces vti vti0 mtu '1436'

set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' authentication mode 'pre-shared-secret'
set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' authentication pre-shared-secret 'IPSec Tunnel #2 의 Pre-Shared Key'
set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' description 'VPC tunnel 2'
set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' ike-group 'AWS'
set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' local-address 'VYOS Eth0 IP (EIP가 아님)'
set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' vti bind 'vti1'
set vpn ipsec site-to-site peer 'IPSec Tunnel #2 의 Virtual Private Gateway IP' vti esp-group 'AWS'

set interfaces vti vti1 address 'IPSec Tunnel #2 의 Customer Gateway 의 Inside IP Addresses'
set interfaces vti vti1 description 'VPC tunnel 2'
set interfaces vti vti1 mtu '1436'

set protocols static interface-route 'VPN으로 통신해야 될 AWS VPN 내부 대역' next-hop-interface 'vti0'
set protocols static interface-route 'VPN으로 통신해야 될 AWS VPN 내부 대역' next-hop-interface 'vti1'

commit
save

변경 적용 한 VYOS VPN Config → VYOS conf 모드에 복사 붙여넣기를 한다

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
conf
set vpn ipsec ike-group AWS lifetime '28800'
set vpn ipsec ike-group AWS proposal 1 dh-group '2'
set vpn ipsec ike-group AWS proposal 1 encryption 'aes128'
set vpn ipsec ike-group AWS proposal 1 hash 'sha1'

set vpn ipsec ipsec-interfaces interface 'eth0'
set vpn ipsec esp-group AWS compression 'disable'
set vpn ipsec esp-group AWS lifetime '3600'
set vpn ipsec esp-group AWS mode 'tunnel'
set vpn ipsec esp-group AWS pfs 'enable'
set vpn ipsec esp-group AWS proposal 1 encryption 'aes128'
set vpn ipsec esp-group AWS proposal 1 hash 'sha1'

set vpn ipsec ike-group AWS dead-peer-detection action 'restart'
set vpn ipsec ike-group AWS dead-peer-detection interval '10'
set vpn ipsec ike-group AWS dead-peer-detection timeout '30'

set vpn ipsec site-to-site peer '13.209.231.134' authentication mode 'pre-shared-secret'
set vpn ipsec site-to-site peer '13.209.231.134' authentication pre-shared-secret 'bIben5l33KgXpzShJdwNKlO3rG3ryq01'
set vpn ipsec site-to-site peer '13.209.231.134' description 'VPC tunnel 1'
set vpn ipsec site-to-site peer '13.209.231.134' ike-group 'AWS'
set vpn ipsec site-to-site peer '13.209.231.134' local-address '10.100.1.19'
set vpn ipsec site-to-site peer '13.209.231.134' vti bind 'vti0'
set vpn ipsec site-to-site peer '13.209.231.134' vti esp-group 'AWS'

set interfaces vti vti0 address '169.254.191.154/30'
set interfaces vti vti0 description 'VPC tunnel 1'
set interfaces vti vti0 mtu '1436'

set vpn ipsec site-to-site peer '15.164.154.116' authentication mode 'pre-shared-secret'
set vpn ipsec site-to-site peer '15.164.154.116' authentication pre-shared-secret 'abs4CQtJ63ryaw9KaFiix12_us7Vje.r'
set vpn ipsec site-to-site peer '15.164.154.116' description 'VPC tunnel 2'
set vpn ipsec site-to-site peer '15.164.154.116' ike-group 'AWS'
set vpn ipsec site-to-site peer '15.164.154.116' local-address '10.100.1.19'
set vpn ipsec site-to-site peer '15.164.154.116' vti bind 'vti1'
set vpn ipsec site-to-site peer '15.164.154.116' vti esp-group 'AWS'

set interfaces vti vti1 address '169.254.213.202/30'
set interfaces vti vti1 description 'VPC tunnel 2'
set interfaces vti vti1 mtu '1436'

set protocols static interface-route '10.50.0.0/16' next-hop-interface 'vti0'
set protocols static interface-route '10.50.0.0/16' next-hop-interface 'vti1'

commit
save
exit

VPN 관련 Tunnel, Interface , IP 를 표현

4. Verify Site to Site VPN

4.1 서울 Region 의 VPN 정보 확인

VPN Tunnel 2개의 상태가 정상 작동을 확인

4.2 싱가폴 Region 의 VYOS 에서 VPN 정보 확인

Tunnel 인터페이스(= vti0, vti1) 정보 확인 및 VPN 상태 확인 및 라우팅 테이블 확인

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# VYOS 의 가상의 터널 인터페이스 정보를 확인
$ sh interfaces vti
Codes: S - State, L - Link, u - Up, D - Down, A - Admin Down
Interface        IP Address                        S/L  Description
---------        ----------                        ---  -----------
vti0             169.254.191.154/30                u/u  VPC tunnel 1
vti1             169.254.213.202/30                u/u  VPC tunnel 2

# AWS 내부IP(터널IP)와 ping 통신 확인
$ ping 169.254.191.153
4 bytes from 169.254.191.153: icmp_seq=1 ttl=254 time=98.5 ms
$ ping 169.254.213.201
64 bytes from 169.254.213.201: icmp_seq=1 ttl=254 time=102 ms

# VYOS 의 VPN IPsec 상태 정보 확인 및 해당 터널을 통한 트래픽 통계 확인
$ show vpn ipsec sa
Connection                      State    Uptime    Bytes In/Out    Packets In/Out    Remote address    Remote ID    Proposal
------------------------------  -------  --------  --------------  ----------------  ----------------  -----------  ----------------------------------
peer-15.164.154.116-tunnel-vti  up       14m12s    0B/0B           0/0               15.164.154.116    N/A          AES_CBC_128/HMAC_SHA1_96/MODP_1024
peer-13.209.231.134-tunnel-vti  up       14m12s    0B/0B           0/0               13.209.231.134    N/A          AES_CBC_128/HMAC_SHA1_96/MODP_1024

# VYOS 장비의 라우팅 테이블을 확인, AWS VGW에 연결된 VPC대역에 대한 라우팅 정보 확인
$ sh ip route
..
S>* 0.0.0.0/0 [210/0] via 10.100.1.1, eth0, 02:02:04
S>* 10.50.0.0/16 [1/0] is directly connected, vti0, 00:00:06
  *                    is directly connected, vti1, 00:00:06
C>* 10.100.1.0/24 is directly connected, eth0, 02:02:05
C>* 10.100.100.0/24 is directly connected, eth1, 01:31:39
C>* 169.254.191.152/30 is directly connected, vti0, 00:17:41
C>* 169.254.213.200/30 is directly connected, vti1, 00:17:41
..

4.3 싱가폴 내부 대역의 Route Table 설정

[VPC - Route Tables] VPCIDC1 VYOS Internal Subnet Route Table 선택 후 [라우팅 편집]으로 추가

10.50.0.0/16 , Network Interface → VYOS Eth1 후 라우팅 저장

4.4 서울 Subnet에 Route Table 설정

[AWS VPN 사이트 간 VPN 연결 - (하단) 정적 라우팅] 편집 후 10.100.0.0/16 후 저장
[VPC - Route Tables] VPCAWS Subnet Route Table 선택 후 [라우팅 전파 편집]으로 추가
- 전파 선택 후 저장

4.5 전체 라우팅 상태 확인

서울 Region 경우 싱가폴 VPC대역인 10.100.0.0/16 을VGW 로 보냄

→ 이후 VGW 는 VPN Tunnel 을 통해 VYOS eth0 으로 보냄
싱가폴 Region 경우 내부대역(10.100.100.0/24)에서 서울 VPC대역인 10.50.0.0/16 을 VYOS eth1 으로 보냄

→ 이후 VYOS는 10.50.0.0/16 을 vti0, vti1 즉 VPN Tunnel 을 통해 VGW 로 보냄

4.6 통신 확인

서울 EC2 에서 싱가폴 EC2 로 ping 통신, ssh 접속을 확인

[root@ip-10-50-1-80 ~]$ ping -c 1 10.100.100.252
PING 10.100.100.252 (10.100.100.252) 56(84) bytes of data.
64 bytes from 10.100.100.252: icmp_seq=1 ttl=254 time=104 ms

$ ssh root@10.100.100.252
root@10.100.100.252's password:
..
[root@ip-10-100-100-252 ~]#

위 ping 통신 시도 시, VYOS 에서 icmp 패킷 확인

vyos@ip-10-100-1-19:~$ sudo tcpdump -i any -nn icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on any, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
06:57:58.578074 IP 10.50.1.80 > 10.100.100.252: ICMP echo request, id 32561, seq 1, length 64
06:57:58.578456 IP 10.100.100.252 > 10.50.1.80: ICMP echo reply, id 32561, seq 1, length 64

5. Delete Infrastructure

싱가폴 Region 의 CloudFormation Stack Delete
서울 Region 의 CloudFormation Stack Delete