[GCP] AWS S3 버킷을 Cloud Storage Transfer Service를 통해 Google Cloud Storage로 옮기는 방법

Cloud Storage Transfer Service: 데이터를 다른 클라우드 서비스나 온프레미스 시스템에서 Google Cloud Storage로 간편하게 이전할 수 있도록 도와주는 관리형 서비스 / 대규모 데이터 이전을 자동화하고 예약할 수 있으며, 데이터 검증과 보고의 기능 제공

 

 

<Cloud Storage Transfer Service가 지원되는 리전과 관리형 비공개 네트워크 사용가능한 리전>

*관리형 비공개 네트워크가 더 안전하니 비공개 네트워크를 사용할 예정

US East(N.Virginia / us-east-1)에서 사용하는 중

 

 

1. 버킷 미리 생성해두기

https://cloudgarden.tistory.com/32

[GCP] Cloud Storage Bucket 생성하는 방법

 

 

2. Storage Transfer > Transfer jobs > Create Transfer Job

*project 이름 확인 잘하고 클릭

 

Source type은 Amazon S3로,

Destination type은 Google Cloud Storage로 선택

 

Scheduling mode에서 Batch는 한 번에 기존 AWS S3에 있던 내용을 Google Cloud Storage로 다 옮겨오는 것이고,

Event-driven은 AWS S3 버킷에 수정된 내용이 생길 때마다 Google Cloud Storage로 옮기는 선택지임

 

 

옮기려는 AWS S3 이름 입력

Managed private network 선택(관리형 비공개 네트워크)

옮기려는 AWS S3를 만들었던 IAM의 Access key ID랑 Secret Access key 입력해주기

 

*IAM Access Key 위치는 IAM > Isers > IAM ID 클릭

 

Destination 선택할 때에는 기존에 만들었던 Google Bucket 선택

 

 

Choose when to run job에서 Run once / Starting Now 선택(지금 즉시 S3 내용 옮기기)

 

 

3. Tansfer Job이 완료 되었는 지 확인

 

 

4. 미리 생성해둔 bucket 내용 확인

 

 

AWS S3 Bucket에서 GCP Bucket으로 내용 옮기기 완료!!!

 

 

S3를 AWS에서 GCP로 옮길 때 과정이 복잡할 줄 알았는데, 생각보다 쉬웠다.

처음 팀프로젝트 시작할 때에는 VPN으로 해야 하는 줄 알았는데 이렇게 쉬운 기능이 있었다니!

앞으로도 쓸만한 기능이 있는 지 잘 찾아봐야겠다.

 

 

*GCP 참고

https://cloud.google.com/storage-transfer/docs/create-transfers/agentless/s3?hl=ko#google-cloud-console

Amazon S3에서 Cloud Storage로 이전  |  Cloud Storage Transfer Service Documentation  |  Google Cloud