Google Cloud로 마이그레이션: 대규모 데이터세트 전송

많은 고객이 Google Cloud 제품을 채택하는 첫 번째 단계는 데이터를 Google Cloud로 가져오는 것입니다. 이 문서에서는 데이터 전송 계획에서 계획 구현 시 모범 사례 사용에 이르기까지 해당 프로세스를 살펴봅니다.

대규모 데이터 세트를 전송하려면 적합한 팀을 구성하고, 조기에 계획하고, 프로덕션 환경에서 구현하기 전에 전송 계획을 테스트해야 합니다. 이러한 단계는 이전 자체만큼 많은 시간이 소요될 수 있지만 이러한 준비는 이전 중에 비즈니스 운영 중단을 최소화하는 데 도움이 될 수 있습니다.

이 문서는 Google Cloud로의 마이그레이션에 대한 여러 부분으로 구성된 시리즈의 일부입니다. 시리즈 개요에 관심이 있는 경우 Google Cloud로 마이그레이션: 마이그레이션 경로 선택을 참조하세요.

이 문서는 시리즈의 일부입니다.
- Google Cloud로 마이그레이션: 시작하기
- Google Cloud로 마이그레이션: 워크로드 평가 및 검색
- Google Cloud로 마이그레이션: 기반 구축
- Google Cloud로 마이그레이션: 대규모 데이터 세트 전송(이 문서)
- Google Cloud로 마이그레이션: 워크로드 배포
- Google Cloud로 마이그레이션: 수동 배포에서 자동화된 컨테이너식 배포로 마이그레이션
- Google Cloud로 마이그레이션: 환경 최적화
- Google Cloud로 마이그레이션: 마이그레이션 계획 검증 권장사항
다음 다이어그램은 마이그레이션 여정의 경로를 보여줍니다.

배포 단계는 워크로드에 대한 배포 프로세스를 설계하는 Google Cloud로의 마이그레이션의 세 번째 단계입니다.

이 문서는 온프레미스 환경, 비공개 호스팅 환경, 다른 클라우드 제공업체에서 Google Cloud로의 마이그레이션을 계획 중이거나 마이그레이션 기회를 평가하고 어떤 모습일지 살펴보고 싶은 경우에 유용합니다. 처럼

## 데이터 전송이란?
이 문서의 목적상 데이터 전송은 데이터를 변환하지 않고 이동하는 프로세스입니다(예: 파일을 개체로 이동하는 것).

 데이터 전송은 말처럼 간단하지 않습니다
데이터 전송을 하나의 거대한 FTP 세션으로 생각하고 싶을 것입니다. 여기서 파일을 한쪽에 놓고 다른 쪽에서 나올 때까지 기다립니다. 그러나 대부분의 엔터프라이즈 환경에서 전송 프로세스에는 다음과 같은 많은 요소가 포함됩니다.
- 이전 옵션을 결정하고 승인을 받고 예기치 않은 문제를 처리하는 시간을 포함하여 관리 시간을 고려한 이전 계획 고안


- 전송을 실행하는 팀, 도구 및 아키텍처를 승인하는 직원, 데이터 이동이 가져올 수 있는 가치와 중단에 관심이 있는 비즈니스 이해 관계자와 같은 조직의 사람들을 조정합니다.

- 리소스, 비용, 시간 및 기타 프로젝트 고려 사항에 따라 올바른 전송 도구 선택

- "빛의 속도"문제(부족한 대역폭)를 포함한 데이터 전송 문제 극복, 활성 사용 중인 데이터 세트 이동, 이동 중 데이터 보호 및 모니터링, 데이터가 성공적으로 전송되었는지 확인

이 문서는 성공적인 이전 이니셔티브를 시작하는 데 도움이 되는 것을 목표로 합니다.

 데이터 전송과 관련된 기타 프로젝트
다음 목록에는 이 문서에서 다루지 않는 다른 유형의 데이터 전송 프로젝트에 대한 리소스가 포함되어 있습니다.
- 데이터 변환(예: 행 결합, 데이터 세트 결합 또는 개인 식별 정보 필터링)이 필요한 경우 데이터를 Google Cloud 데이터 웨어하우스에 보관할 수 있는 추출, 변환 및 로드(ETL) 솔루션을 고려해야 합니다. 이 아키텍처의 예는 이 Dataflow 가이드를 참조하세요.

- 데이터베이스 및 관련 앱을 마이그레이션해야 하는 경우(예: 데이터베이스 앱을 리프트 앤 시프트하기 위해) Cloud Spanner 설명서, PostgreSQL용 솔루션 및 데이터베이스 유형에 대한 기타 설명서를 참조할 수 있습니다.

- HBase에서 HBase API와 호환되고 더 큰 워크로드를 처리할 수 있는 완전 관리형 NoSQL 데이터베이스 서비스로 데이터를 마이그레이션하려면 Cloud Bigtable을 살펴보세요.

- 가상 머신(VM) 인스턴스를 이동해야 하는 경우 Google의 VM 마이그레이션 제품인 Migrate to Virtual Machines 사용을 고려하십시오.

## 1단계: 팀 구성
이전을 계획하려면 일반적으로 다음 역할과 책임을 가진 직원이 필요합니다.
이전에 필요한 리소스 활성화:스토리지, IT 및 네트워크 관리자, 경영진 스폰서 및 기타 고문(예: Google 계정 팀 또는 통합 파트너) 이전 결정 승인:데이터 소유자 또는 관리자(누가에 대한 내부 정책용) 어떤 데이터를 전송할 수 있는지), 법률 고문(데이터 관련 규정) 및 보안 관리자(데이터 액세스 보호에 대한 내부 정책) 전송 실행:팀장, 프로젝트 관리자(프로젝트 실행 및 추적) ), 엔지니어링 팀, 현장 수령 및 배송(어플라이언스 하드웨어 수령)
이전 프로젝트에 대한 이전 책임을 누가 소유하고 있는지 확인하고 적절한 경우 계획 및 의사 결정 회의에 포함시키는 것이 중요합니다. 부실한 조직 계획은 종종 이전 이니셔티브 실패의 원인입니다.
이러한 이해 관계자로부터 프로젝트 요구 사항과 의견을 수집하는 것은 어려울 수 있지만 계획을 세우고 명확한 역할과 책임을 설정하는 것이 좋습니다. 데이터의 모든 세부 정보를 알 것으로 기대할 수는 없습니다. 팀을 구성하면 비즈니스 요구 사항에 대한 더 큰 통찰력을 얻을 수 있습니다. 이전을 완료하기 위해 시간, 비용 및 리소스를 투자하기 전에 잠재적인 문제를 식별하는 것이 가장 좋습니다.

## 2단계: 요구 사항 및 사용 가능한 리소스 수집
전송 계획을 설계할 때 먼저 데이터 전송에 대한 요구 사항을 수집한 다음 전송 옵션을 결정하는 것이 좋습니다. 요구 사항을 수집하려면 다음 프로세스를 사용할 수 있습니다.
- 이동해야 하는 데이터 세트 식별

- 데이터 카탈로그와 같은 도구를 선택하여 데이터를 함께 이동하고 사용하는 논리적 그룹으로 구성

- 조직 내 팀과 협력하여 이러한 그룹화를 검증하거나 업데이트합니다.

- 어떤 데이터 세트를 식별
이동할 수 있습니다

- 규제, 보안 또는 기타 요인으로 인해 일부 데이터 세트의 전송이 금지되는지 여부를 고려하십시오.

- 데이터를 이동하기 전에 일부 데이터를 변환해야 하는 경우(예: 민감한 데이터 제거 또는 데이터 재구성) Dataflow 또는 Cloud Data Fusion과 같은 데이터 통합 ​​제품이나 Cloud Composer와 같은 워크플로 오케스트레이션 제품 사용을 고려하십시오.

- 이동 가능한 데이터 세트의 경우 각 데이터 세트를 전송할 위치 결정

- 데이터를 저장하기 위해 선택한 저장 옵션을 기록합니다. 일반적으로 Google Cloud의 대상 스토리지 시스템은 Cloud Storage입니다. 애플리케이션을 가동하고 실행한 후 더 복잡한 솔루션이 필요한 경우에도 Cloud Storage는 확장 가능하고 내구성 있는 스토리지 옵션입니다.

- 마이그레이션 후 유지해야 하는 데이터 액세스 정책 이해

- 이 데이터를 특정 지역에 저장해야 하는지 결정

- 대상에서 이 데이터를 구성하는 방법을 계획합니다. 예를 들어, 소스와 같을까요, 다를까요?
- 지속적으로 데이터를 전송해야 하는지 결정

- 이동 가능한 데이터 세트의 경우 사용 가능한 리소스를 결정합니다.
그들을 이동

- 시간: 전송을 완료해야 하는 시점은 언제입니까?
- 비용 : 팀에서 사용할 수 있는 예산과 이적 비용은?
- 사람: 전송을 실행할 수 있는 사람은 누구입니까?
- 대역폭(온라인 전송용): Google Cloud에 현재 사용 가능한 대역폭 중 전송에 할당할 수 있는 대역폭과 기간은 얼마입니까?
계획의 다음 단계에서 이전 옵션을 평가하고 선택하기 전에 데이터 거버넌스, 조직 및 보안과 같은 IT 모델의 일부를 개선할 수 있는지 평가하는 것이 좋습니다.

 보안 모델
전송팀의 많은 구성원에게 데이터 전송 프로젝트의 일부로 Google Cloud 조직에서 새로운 역할이 부여될 수 있습니다. 데이터 전송 계획은 Identity and Access Management(IAM) 권한과 IAM을 안전하게 사용하기 위한 모범 사례를 검토하기에 좋은 시기입니다. 이러한 문제는 저장소에 대한 액세스 권한을 부여하는 방법에 영향을 줄 수 있습니다. 예를 들어 규제상의 이유로 보관된 데이터에 대한 쓰기 액세스를 엄격하게 제한할 수 있지만 많은 사용자와 애플리케이션이 테스트 환경에 데이터를 쓸 수 있도록 허용할 수 있습니다.   Google Cloud 조직 Google Cloud에서 데이터를 구조화하는 방법은 Google Cloud 사용 계획에 따라 다릅니다. 애플리케이션을 실행하는 동일한 클라우드 프로젝트에 데이터를 저장하는 것은 간단한 접근 방식이지만 관리 관점에서 최적이 아닐 수 있습니다. 일부 개발자는 프로덕션 데이터를 볼 수 있는 권한이 없을 수 있습니다. 이 경우 개발자는 샘플 데이터에 대한 코드를 개발할 수 있고 권한 있는 서비스 계정은 프로덕션 데이터에 액세스할 수 있습니다. 따라서 전체 프로덕션 데이터 세트를 별도의 클라우드 프로젝트에 보관한 다음 서비스 계정을 사용하여 각 애플리케이션 프로젝트의 데이터에 액세스할 수 있습니다.  Google Cloud는 프로젝트를 중심으로 구성됩니다. 프로젝트는 폴더로 그룹화할 수 있으며 폴더는 조직 아래에 그룹화할 수 있습니다. 역할은 프로젝트 수준에서 설정되며 Cloud Storage 버킷 수준에서 이러한 역할에 액세스 권한이 추가됩니다. 이 구조는 다른 개체 저장소 공급자의 권한 구조와 일치합니다.  Google Cloud 조직 구성 권장사항은 Google Cloud 방문 영역의 리소스 계층 구조 결정을 참조하세요.  ## 3단계: 전송 옵션 평가 데이터 전송 옵션을 평가하기 위해 전송 팀은 다음을 포함한 여러 요인을 고려해야 합니다. - 비용 - 시간 - 오프라인 대 온라인 전송 옵션 - 이전 도구 및 기술 - 보안  비용 데이터 전송과 관련된 대부분의 비용에는 다음이 포함됩니다. - 네트워킹 비용 - Cloud Storage로의 인그레스는 무료입니다. 그러나 퍼블릭 클라우드 공급자에서 데이터를 호스팅하는 경우 데이터 전송에 대한 송신 요금 및 잠재적 스토리지 비용(예: 읽기 작업)을 지불해야 할 수 있습니다. 이 요금은 Google 또는 다른 클라우드 제공업체에서 오는 데이터에 적용됩니다.  - 데이터가 운영하는 사설 데이터 센터에서 호스팅되는 경우 Google Cloud에 더 많은 대역폭을 설정하는 데 추가 비용이 발생할 수도 있습니다.  - 데이터 전송 중 및 전송 후 Cloud Storage의 저장 및 운영 비용 - 제품 비용(예: Transfer Appliance) - 팀 구성 및 물류 지원 확보를 위한 인건비  시간 컴퓨팅에서 많은 양의 데이터를 전송할 때 네트워크의 하드웨어 한계를 강조하는 것은 거의 없습니다. 이상적으로는 1Gbps 네트워크를 통해 8초 안에 1GB를 전송할 수 있습니다. 거대한 데이터 세트(예: 100TB)로 확장하는 경우 전송 시간은 12일입니다. 거대한 데이터 세트를 전송하면 인프라의 한계를 테스트하고 잠재적으로 비즈니스에 문제를 일으킬 수 있습니다.  다음 계산기를 사용하여 이동할 데이터 세트의 크기와 전송에 사용할 수 있는 대역폭을 고려할 때 전송에 걸리는 시간을 이해할 수 있습니다. 일정 비율의 관리 시간이 계산에 반영됩니다. 또한 효과적인 대역폭 효율성이 포함되어 있으므로 결과 수치가 보다 현실적이며 이상적인 수치를 얻을 수 없습니다.  피크 근무 시간 동안 회사 네트워크 외부로 대용량 데이터 세트를 전송하고 싶지 않을 수 있습니다. 전송으로 인해 네트워크에 과부하가 걸리면 아무도 필요하거나 미션 크리티컬한 작업을 완료할 수 없습니다. 이 때문에 이적팀은 시간적 요인을 고려해야 한다.데이터가 Cloud Storage로 전송된 후 Dataflow네트워크 대역폭 증가How you increase network 대역폭은 Google Cloud에 연결하는 방법에 따라 다릅니다.Google Cloud와 다른 클라우드 제공업체 간의 클라우드 간 전송에서 Google은 클라우드 공급업체 데이터 센터 간의 연결을 프로비저닝하므로 설정이 필요하지 않습니다.사설 데이터 센터와 Google Cloud 간에 데이터를 전송하는 경우 세 가지 주요 접근 방식이 있습니다.- 공용 API를 사용한 공용 인터넷 연결- 공개 API를 사용한 다이렉트 피어링- 비공개 API를 사용한 Cloud Interconnect이러한 접근 방식을 평가할 때 장기적인 연결 요구 사항을 고려하는 것이 도움이 됩니다.전송 목적으로만 대역폭을 확보하는 데 막대한 비용이 든다는 결론을 내릴 수 있지만 Google Cloud의 장기적인 사용과 조직 전체의 네트워크 요구를 고려할 때 투자 가치가 있을 수 있습니다공용 인터넷 연결로 연결공용 인터넷 연결을 사용하면 인터넷 서비스 공급자(ISP)의 용량 및 라우팅에 의해 제한되기 때문에 네트워크 처리량을 예측하기 어렵습니다.ISP는 제한된 서비스 수준 계약(SLA)을 제공하거나 전혀 제공하지 않을 수도 있습니다.그러나 이러한 연결은 비교적 저렴한 비용을 제공하며 Google의 광범위한 피어링 배열을 사용하면 ISP가 몇 번의 네트워크 홉 내에서 Google의 글로벌 네트워크로 사용자를 라우팅할 수 있습니다.다음을 확인하는 것이 좋습니다. 회사 정책이 공용 인터넷을 통해 일부 데이터 세트를 이동하는 것을 금지하는지 여부에 대해 보안 관리자와 상의하십시오.또한 프로덕션 트래픽에 공용 인터넷 연결이 사용되는지 확인하십시오.대규모 데이터 전송은 프로덕션 네트워크에 부정적인 영향을 미칠 수 있음다이렉트 피어링으로 연결
공용 인터넷 연결보다 적은 네트워크 홉으로 Google 네트워크에 액세스하려면 다이렉트 피어링을 사용할 수 있습니다. 다이렉트 피어링을 사용하면 네트워크와 Google의 에지 PoP(Points of Presence) 간에 인터넷 트래픽을 교환할 수 있습니다. 즉, 데이터가 공용 인터넷을 사용하지 않습니다. 이렇게 하면 내 네트워크와 Google 네트워크 간의 홉 수도 줄어듭니다. Google 네트워크와 피어링하려면 등록된 AS(자율 시스템) 번호를 설정하고 인터넷 교환을 사용하여 Google에 연결하고 네트워크 운영 센터에 24시간 연락해야 합니다.

 Cloud Interconnect로 연결
Cloud Interconnect는 Google 또는 Cloud Interconnect 서비스 제공업체 중 하나를 통해 Google Cloud에 대한 직접 연결을 제공합니다. 이 서비스는 데이터가 공용 인터넷으로 이동하는 것을 방지하고 대용량 데이터 전송을 위해 보다 일관된 처리량을 제공할 수 있습니다. 일반적으로 Cloud Interconnect는 네트워크 가용성 및 네트워크 성능에 대한 SLA를 제공합니다. 자세한 내용은 서비스 제공업체에 직접 문의하십시오. 또한 Cloud Interconnect는 프라이빗 주소 지정, RFC 1918을 지원하므로 퍼블릭 IP 주소나 NAT 없이도 클라우드가 프라이빗 데이터 센터의 확장이 됩니다.

 온라인 대 오프라인 전송
중요한 결정은 데이터 전송에 오프라인 또는 온라인 프로세스를 사용할지 여부입니다. 즉, 전용 상호 연결이든 공용 인터넷이든 상관없이 네트워크를 통해 전송하거나 스토리지 하드웨어를 사용하여 전송하는 것 중에서 선택해야 합니다.

이 결정을 돕기 위해 이 두 옵션 간의 시간 및 비용 차이를 추정하는 데 도움이 되는 전송 계산기를 제공합니다. 다음 차트에는 다양한 데이터 세트 크기 및 대역폭에 대한 몇 가지 전송 속도도 나와 있습니다. 이러한 계산에는 일정량의 관리 오버헤드가 포함됩니다.

앞서 언급한 바와 같이 데이터 전송의 지연 시간을 줄이는 데 드는 비용(예: 네트워크 대역폭 확보)이 조직에 대한 투자 가치로 상쇄되는지 여부를 고려해야 할 수 있습니다.

 Google에서 제공하는 옵션
Google은 데이터 전송을 수행하는 데 도움이 되는 몇 가지 도구와 기술을 제공합니다.

 Google의 전송 옵션 중 결정
전송 옵션 선택은 다음 표와 같이 사용 사례에 따라 다릅니다.

|
|데이터를 이동하는 위치 |
|시나리오 |
|추천 제품
|다른 클라우드 공급자(예: Amazon Web Services 또는 Microsoft Azure)에서 Google CloudStorage Transfer Service로|
|Cloud Storage에서 Cloud Storage로(두 개의 서로 다른 버킷Storage Transfer Service|
|개인 데이터 센터에서 Google Cloud로 연결||프로젝트 기한을 맞추기에 충분한 대역폭
|
1TB 미만의 데이터
|
|
|개인 데이터 센터에서 Google Cloud로 연결||프로젝트 기한을 맞추기에 충분한 대역폭
|
1TB 이상의 데이터
|온프레미스 데이터용 스토리지 전송 서비스|
|개인 데이터 센터에서 Google Cloud로||프로젝트 기한을 맞추기에 대역폭이 충분하지 않음||기기 이전|
온프레미스 데이터의 소규모 전송을 위한 gsutil
그만큼
gsutil 도구
중소 규모의 전송을 위한 표준 도구입니다(이하
1TB) 사설 데이터 센터에서 일반적인 엔터프라이즈급 네트워크를 통해
Google 클라우드로. 포함하는 것이 좋습니다.
기본 경로의 gsutil
당신이 사용할 때
클라우드 쉘

또한 설치 시 기본적으로 사용할 수 있습니다.
구글 클라우드 CLI

관리에 필요한 모든 기본 기능을 제공하는 신뢰할 수 있는 도구입니다.
당신의
클라우드 스토리지
로컬 파일 시스템과의 데이터 복사 및
클라우드 스토리지. 또한 개체를 이동하고 이름을 바꾸고 수행할 수 있습니다.
다음과 같은 실시간 증분 동기화
rsync, Cloud Storage 버킷으로

gsutil은 다음 시나리오에서 특히 유용합니다.
- 필요에 따라 또는 사용자의 명령줄 세션 중에 전송을 실행해야 합니다.

- 몇 개의 파일만 전송하거나 매우 큰 파일 또는 둘 다를 전송하는 경우

- 프로그램의 출력을 소비하고 있습니다(클라우드 스토리지로 출력 스트리밍).

- 적당한 수의 파일이 있는 디렉토리를 감시하고 대기 시간이 매우 짧은 모든 업데이트를 동기화해야 합니다.

시작하기의 기본 사항
gsutil은
Cloud Storage 버킷 만들기
그리고
데이터 복사
그 양동이에. 더 큰 데이터 세트를 전송하려면 다음 두 가지가 있습니다.
고려하다:
다중 스레드 전송의 경우 다음을 사용하십시오.
gsutil -m

여러 파일을 병렬로 처리하여 전송 속도를 높입니다.

단일 대용량 파일의 경우 복합 전송을 사용하십시오.

이 방법은 큰 파일을 더 작은 청크로 나누어 전송 속도를 높입니다. 청크는 병렬로 전송 및 검증되어 모든 데이터를 Google로 전송합니다. 청크가 Google에 도착하면 결합됩니다(
구성) 단일 개체를 형성

gsutil을 사용한 복합 전송에는 각 조각(전체 객체가 아님)이 개별적으로 체크섬되고 콜드 스토리지 클래스 구성으로 인해 조기 삭제 페널티가 발생하는 등 몇 가지 단점이 있습니다.

 온프레미스 데이터의 대량 전송을 위한 Storage Transfer Service
처럼
gsutil,
온프레미스 데이터용 Storage Transfer Service
네트워크 파일 시스템(NFS) 스토리지에서
클라우드 스토리지. 하지만
gsutil은 작은 전송 크기(최대
~ 1TB), 온프레미스 데이터용 Storage Transfer Service는 다음을 위해 설계되었습니다.
대규모 전송(최대 페타바이트의 데이터, 수십억 개의 파일). 지원합니다
전체 사본 또는 증분 사본이며 나열된 모든 전송 옵션에서 작동합니다.
일찍이
Google의 전송 옵션 중에서 결정합니다. 그것
또한 간단하고 관리되는 그래픽 사용자 인터페이스가 있습니다. 기술 지식이 없어도
사용자(설정 후)는 이를 사용하여 데이터를 이동할 수 있습니다.

온프레미스 데이터용 Storage Transfer Service는 다음 시나리오에서 특히 유용합니다.
- 데이터 볼륨을 이동하는 데 사용할 수 있는 대역폭이 충분합니다(Google 클라우드 데이터 전송 계산기 참조)- 명령줄을 찾을 수 있는 대규모 내부 사용자 기반을 지원합니다tool likegsutilchallenging to use- 강력한 오류 보고와 이동된 모든 파일 및 개체의 기록이 필요합니다- 데이터 센터의 다른 워크로드에 대한 전송의 영향을 제한해야 합니다(이 제품은 사용자 지정 대역폭 제한 아래에 있을 수 있음)- 일정에 따라 반복 전송을 실행하려고 합니다온프레미스 소프트웨어[*에이전트*로 알려짐]를 데이터 센터의 컴퓨터에 설치하여 온프레미스 데이터용 Storage Transfer Service를 설정합니다.이러한에이전트는 Docker 컨테이너에 있으므로 많은 에이전트를 실행하거나Kubernetes를 통해 오케스트레이션설정이 완료된 후 , 사용자는소스 디렉터리, 대상 버킷, 시간 또는 일정을 제공하여Google Cloud Console에서 전송을 시작할 수 있습니다.Storage Transfer Service는소스 디렉터리에 저장하고Cloud Storage에 해당 이름의 개체를 만듭니다. [/dir/foo/file.txt 개체는 /dir/foo/file.txt라는 대상 버킷의 개체가 됩니다].Storage Transfer Service일시적인 오류가 발생하면 자동으로 전송을 다시 시도합니다.전송이 실행되는 동안 얼마나 많은 파일이 이동되고전체 전송 속도 및 오류 샘플을 볼 수 있습니다.전송이 완료되면 터치한 모든 파일의 전체 레코드가 있는 탭으로 구분된 파일(TSV)이 생성됩니다. 수신된 모든 오류 메시지.에이전트는 내결함성이 있으므로 에이전트가 다운되면 나머지 에이전트로 전송이 계속됩니다.또한 에이전트는 자가 업데이트 및 자가 복구가 가능하므로 최신 버전을 패치하거나 예상치 못한 문제로 인해 프로세스가 중단된 경우 프로세스를 다시 시작하는 것에 대해 걱정할 필요가 없습니다.Storage Transfer Service를 사용할 때 고려해야 할 사항:모든 시스템에서 동일한 에이전트 설정을 사용합니다. 모든 에이전트는 동일한 방식(동일한 상대 경로)에서 동일한 네트워크 파일 시스템(NFS) 마운트를 확인해야 합니다.이 설정은 제품이 작동하기 위한 요구 사항입니다.에이전트가 많을수록 속도가 빨라집니다. 전송은 모든 에이전트에서 자동으로 병렬화되므로 사용 가능한 대역폭을 사용할 수 있도록 많은 에이전트를 배포하는 것이 좋습니다.대역폭 상한은 워크로드를 보호할 수 있습니다. 다른 워크로드가 데이터 센터 대역폭을 사용할 수 있으므로 전송이 SLA에 영향을 미치지 않도록 대역폭 상한을 설정하십시오.오류를 검토할 시간을 계획하십시오.대량 전송은 종종 검토가 필요한 오류를 초래할 수 있습니다.Storage Transfer Service를 사용하면 Google Cloud Console에서 직접 발생한 오류 샘플을 볼 수 있습니다.필요한 경우 모든 전송 오류의 전체 기록을 BigQuery로 로드하여 파일을 확인하거나 재시도 후에도 남아 있는 오류를 평가할 수 있습니다.이러한 오류는 전송이 발생하는 동안 소스에 쓰고 있던 실행 중인 앱으로 인해 발생하거나 오류로 인해 문제 해결이 필요한 문제(예: 권한 오류)가 나타날 수 있습니다.장기 실행 전송을 위해 Cloud Monitoring을 설정하세요.Storage Transfer Service를 사용하면 Monitoring에서 에이전트 상태와 처리량을 모니터링할 수 있으므로 에이전트가 작동 중지되거나 주의가 필요할 때 알림을 보내도록 설정할 수 있습니다.프로젝트 타임라인을 지연시킬 수 있는 상당한 속도 저하 또는 중단을 방지하려면 며칠 또는 몇 주가 걸리는 전송의 경우 에이전트 실패에 대한 조치가 중요합니다.대규모 전송을 위한 Transfer Appliance대규모 전송(특히 네트워크 대역폭이 제한된 전송)의 경우 Transfer Appliance는 특히 빠른 네트워크 연결을 사용할 수 없고 더 많은 대역폭을 확보하는 데 비용이 너무 많이 드는 경우 탁월한 옵션입니다.Transfer Appliance는 다음 시나리오에서 특히 유용합니다.- 데이터 센터가 대역폭에 대한 액세스가 제한되거나 없는 원격 위치에 있습니다.- 대역폭을 사용할 수 있지만 마감일을 맞추는 시간에 확보할 수 없습니다.  - 기기를 받아 네트워크에 연결하기 위해 물류 리소스에 액세스할 수 있습니다.  이 옵션을 사용하면 다음 사항을 고려하십시오. - Transfer Appliance를 사용하려면 Google 소유 하드웨어를 수령하고 반송할 수 있어야 합니다.  - 인터넷 연결에 따라 Google Cloud로 데이터를 전송하는 지연 시간은 일반적으로 온라인보다 Transfer Appliance에서 더 높습니다.  - Transfer Appliance는 특정 국가에서만 사용할 수 있습니다.  Transfer Appliance에서 고려해야 할 두 가지 주요 기준은 비용과 속도입니다. 합리적인 네트워크 연결(예: 1Gbps)로 100TB의 데이터를 온라인으로 전송하는 데 10일 이상 걸립니다. 이 비율이 허용되는 경우 온라인 전송이 귀하의 필요에 적합한 솔루션일 수 있습니다. 100Mbps 연결만 있는 경우(또는 원격 위치에서 더 나쁜 경우) 동일한 전송에 100일 이상 걸립니다. 이 시점에서 Transfer Appliance와 같은 오프라인 전송 옵션을 고려해 볼 가치가 있습니다.  Transfer Appliance를 구입하는 것은 간단합니다. Google Cloud Console에서 Transfer Appliance를 요청하고 보유한 데이터의 양을 표시한 다음 Google에서 하나 이상의 어플라이언스를 요청한 위치로 배송합니다. 데이터를 어플라이언스로 전송('데이터 캡처')하고 Google로 다시 배송하는 데 며칠이 주어집니다.  네트워크 어플라이언스가 배송되고, 데이터가 로드되고, 다시 배송되고, Google Cloud에서 복원되는 예상 처리 시간은 20일입니다. 온라인 전송 기간이 이 기간보다 상당히 긴 것으로 계산되면 Transfer Appliance를 고려하십시오. 300TB 장치 프로세스의 총 비용은 $2,500 미만입니다.   클라우드 간 전송을 위한 스토리지 전송 서비스 Storage Transfer Service는 다른 공용에서 Cloud Storage로의 전송을 자동화하는 확장성이 뛰어난 완전 관리형 서비스입니다. Amazon S3 및 HTTP에서 Cloud Storage로의 전송을 지원합니다.  Amazon S3의 경우 옵션으로 액세스 키와 S3 버킷을 제공할 수 있습니다. 선택할 S3 객체에 대한 필터를 선택한 다음 S3 객체를 원하는 위치에 복사합니다.
Cloud Storage 버킷. 이 서비스는 모든 문서의 일일 사본도 지원합니다.
수정된 객체. 이 서비스는 현재 데이터 전송을 지원하지 않습니다.
*에게*
아마존 S3

HTTP의 경우 Storage Transfer Service에 공용 URL 목록을 제공할 수 있습니다.
지정된 형식

이 방법을 사용하려면 각 크기를 제공하는 스크립트를 작성해야 합니다.
파일 콘텐츠의 Base64 인코딩 MD5 해시와 함께 바이트 단위의 파일

때때로 파일 크기와 해시는 소스 웹 사이트에서 사용할 수 있습니다. 만약에
그렇지 않으면 파일에 대한 로컬 액세스가 필요합니다. 이 경우 더 쉬울 수 있습니다.
사용
앞에서 설명한 대로 gsutil

전송이 있는 경우 Storage Transfer Service는 특히 다른 퍼블릭 클라우드에서 전송할 때 데이터를 가져오고 보관하는 좋은 방법입니다.

 보안
많은 Google Cloud 사용자의 경우 보안이 주요 관심사이며 다양한 수준의 보안이 제공됩니다. 고려해야 할 보안의 몇 가지 측면에는 미사용 데이터 보호(소스 및 대상 스토리지 시스템에 대한 권한 부여 및 액세스), 전송 중 데이터 보호 및 전송 제품에 대한 액세스 보호가 포함됩니다. 다음 표에는 제품별 보안 측면이 요약되어 있습니다.

|
|제품 |
|미사용 데이터 |
|전송 중인 데이터 |
|이전 제품에 대한 액세스
|Transfer Appliance||유휴 상태의 모든 데이터는 암호화됨데이터는 고객이 관리하는 키로 보호됩니다. 어플라이언스는 누구나 주문할 수 있지만 사용하려면 데이터 소스에 대한 액세스 권한이 필요합니다.|
|
||저장 시 암호화되는 Cloud Storage에 액세스하는 데 필요한 액세스 키데이터는 HTTPS를 통해 전송되고 전송 시 암호화됩니다. 누구나 다운로드하고 실행할 수 있습니다.
|
|온프레미스 데이터용 Storage Transfer Service||유휴 시 암호화되는 Cloud Storage에 액세스하는 데 필요한 액세스 키입니다. 에이전트 프로세스는 OS 권한 허용으로 로컬 파일에 액세스할 수 있습니다. 데이터는 HTTPS를 통해 전송되고 전송 중에 암호화됩니다. Cloud Storage 버킷에 액세스하려면 객체 편집자 권한이 있어야 합니다.|
|Storage Transfer Service||Google Cloud 이외의 리소스(예: Amazon S3)에 액세스 키가 필요합니다. 저장 시 암호화되는 Cloud Storage에 액세스하려면 액세스 키가 필요합니다. 데이터는 HTTPS를 통해 전송되고 전송 시 암호화됩니다. 모든 Cloud Storage 버킷에 대한 소스 및 객체 편집자 권한에 액세스하려면 서비스 계정에 대한 IAM 권한이 있어야 합니다.|
기본 보안 향상을 달성하기 위해 다음으로 온라인 전송
사용 중인 Google 클라우드
gsutil
HTTPS를 통해 수행되고 데이터는 전송 중에 암호화되며 모든 데이터는
Cloud Storage는 기본적으로 유휴 상태에서 암호화됩니다. 에 대한 정보
보다 정교한 보안 관련 체계는 다음을 참조하십시오.
보안 및 개인 정보 보호 고려 사항

당신이 사용하는 경우
전송 어플라이언스,
제어하는 보안 키는 데이터를 보호하는 데 도움이 될 수 있습니다. 일반적으로 우리는
전송 계획을 확실히 하기 위해 보안 팀과 협력할 것을 권장합니다.
회사 및 규정 요구 사항을 충족합니다.

 타사 전송 제품
고급 네트워크 수준 최적화 또는 진행 중인 데이터 전송 워크플로우의 경우 고급 도구를 사용할 수 있습니다. 고급 도구에 대한 자세한 내용은 Google 파트너를 방문하세요.

다음 링크는 많은 옵션 중 일부를 강조 표시합니다(알파벳순으로 나열됨).
- Aspera On Cloud는 Aspera의 특허 프로토콜을 기반으로 하며 대규모 워크플로에 적합합니다. 구독 라이선스 모델로 주문형으로 제공됩니다.

- Tervela의 Cloud FastPath를 사용하여 Google Cloud 안팎으로 관리되는 데이터 스트림을 구축할 수 있습니다. 자세한 내용은 Cloud FastPath를 사용하여 데이터 스트림 만들기를 참조하세요.

- Signiant는 Media Shuttle을 SaaS(Software-as-a-Service) 솔루션으로 제공하여 모든 파일을 어디에서나 전송할 수 있습니다. 또한 Signiant는 고도로 최적화된 프로토콜을 기반으로 하는 자동 확장 유틸리티로 Flight를 제공하고 지리적으로 분산된 위치에서 대규모 전송을 위한 자동화 도구로 Signiant Flight Deck을 제공합니다.

## 4단계: 전송 준비
대규모 전송 또는 상당한 종속성이 있는 전송의 경우 전송 제품을 작동하는 방법을 이해하는 것이 중요합니다. 고객은 일반적으로 다음 단계를 거칩니다.
가격 책정 및 ROI 추정. 이 단계에서는 의사 결정에 도움이 되는 다양한 옵션을 제공합니다. 기능 테스트. 이 단계에서는 제품을 성공적으로 설정할 수 있고 네트워크 연결(해당되는 경우)이 작동하는지 확인합니다. 또한 데이터의 대표 샘플(VM 인스턴스 이동과 같은 비전송 단계 포함)을 대상으로 이동할 수 있는지 테스트합니다.

일반적으로 전송 시스템 또는 대역폭과 같은 모든 리소스를 할당하기 전에 이 단계를 수행할 수 있습니다. 이 단계의 목표는 다음과 같습니다.
- 전송 설치 및 운영이 가능한지 확인

- 데이터 이동(예: 네트워크 경로) 또는 작업(예: 비전송 단계에 필요한 교육)을 차단하는 잠재적인 프로젝트 중단 문제를 표면화합니다.

성능 테스트. 이 단계에서는 프로덕션 리소스가 다음을 수행하도록 할당된 후 대용량 데이터 샘플(일반적으로 3âÃÂÃÂ5%)에 대한 전송을 실행합니다.
- 할당된 모든 리소스를 사용할 수 있고 기대하는 속도를 얻을 수 있는지 확인합니다.

- 병목 현상을 표면화하고 수정합니다(예: 느린 소스 스토리지 시스템).

## 5단계: 전송의 무결성 보장
전송 중에 데이터의 무결성을 보장하려면 다음 예방 조치를 취하는 것이 좋습니다.
- 대상에서 버전 관리 및 백업을 활성화하여 우발적인 삭제로 인한 피해를 제한합니다.

- 원본 데이터를 제거하기 전에 데이터 유효성 검사

대규모 데이터 전송(페타바이트의 데이터와 수십억 개의 파일 포함)의 경우 기본 소스 스토리지 시스템의 기본 잠재 오류율이 0.0001%로 낮아도 여전히 수천 개의 파일과 기가바이트의 데이터 손실이 발생합니다. 일반적으로 소스에서 실행되는 애플리케이션은 이미 이러한 오류를 허용하므로 추가 유효성 검사가 필요하지 않습니다. 일부 예외적인 시나리오(예: 장기 아카이브)에서는 소스에서 데이터를 삭제하는 것이 안전한 것으로 간주되기 전에 더 많은 유효성 검사가 필요합니다.

애플리케이션의 요구 사항에 따라 전송이 완료된 후 일부 데이터 무결성 테스트를 실행하여 애플리케이션이 의도한 대로 계속 작동하는지 확인하는 것이 좋습니다. 많은 전송 제품에는 데이터 무결성 검사가 내장되어 있습니다. 그러나 위험 프로필에 따라 원본에서 데이터를 삭제하기 전에 데이터와 해당 데이터를 읽는 앱에 대한 추가 검사를 수행할 수 있습니다. 예를 들어 독립적으로 기록하고 계산한 체크섬이 대상에 기록된 데이터와 일치하는지 확인하거나 애플리케이션에서 사용하는 데이터 세트가 성공적으로 전송되었는지 확인할 수 있습니다.

## 도움말 찾기
Google Cloud는 Google Cloud 서비스를 최대한 활용하는 데 필요한 도움과 지원을 찾을 수 있는 다양한 옵션과 리소스를 제공합니다.
셀프 서비스 리소스.전담 지원이 필요하지 않은 경우 원하는 속도로 사용할 수 있는 다양한 옵션이 있습니다. 기술 파트너. Google Cloud는 Google 제품 및 서비스 사용을 돕기 위해 여러 회사와 파트너 관계를 맺었습니다. Google Cloud 전문 서비스.Google의 전문 서비스를 통해 Google Cloud에 대한 투자를 최대한 활용할 수 있습니다.

Google Cloud Migration Center에는 워크로드를 Google Cloud로 마이그레이션하는 데 도움이 되는 추가 리소스가 있습니다.

이러한 리소스에 대한 자세한 내용은 Google Cloud로 마이그레이션: 시작하기의 도움말 찾기 섹션을 참조하세요.

## 무엇 향후 계획
- 이전 계획 수립이나 특정 사용 사례에 대해 궁금한 점이 있으면 Google Cloud 지원팀에 문의하거나 Google 계정팀에 직접 문의하세요.

- 전송을 시작하기 위해 다음 가이드를 제공합니다.
- 일반적인 데이터 마이그레이션 전략: 모놀리식 애플리케이션을 Google Kubernetes Engine의 마이크로서비스로 마이그레이션
- 오프라인 전송의 경우: Transfer Appliance
- 퍼블릭 클라우드에서 온라인으로 전송하는 경우: Storage Transfer Service
- Google Cloud에 대한 참조 아키텍처, 다이어그램, 가이드, 권장사항을 살펴보세요. 클라우드 아키텍처 센터를 살펴보십시오.