Migration sa Google Cloud: Paglilipat ng iyong malalaking dataset

Para sa maraming customer, ang unang hakbang sa paggamit ng produkto ng Google Cloud ay ang pagkuha ng kanilang data sa Google Cloud. Sinasaliksik ng dokumentong ito ang prosesong iyon, mula sa pagpaplano ng paglilipat ng data hanggang sa paggamit ng pinakamahuhusay na kagawian sa pagpapatupad ng plano

Kasama sa paglilipat ng malalaking dataset ang pagbuo ng tamang team, pagpaplano nang maaga, at pagsubok sa iyong plano sa paglilipat bago ito ipatupad sa isang production environment. Bagama't ang mga hakbang na ito ay maaaring tumagal ng kasing tagal ng paglipat mismo, ang mga naturang paghahanda ay maaaring makatulong na mabawasan ang pagkaantala sa iyong mga pagpapatakbo ng negosyo sa panahon ng paglilipat.

Ang dokumentong ito ay bahagi ng isang serye ng maraming bahagi tungkol sa paglipat sa Google Cloud. Kung interesado ka sa isang pangkalahatang-ideya ng serye, tingnan ang Paglipat sa Google Cloud: Pagpili ng iyong landas sa paglipat

Ang artikulong ito ay bahagi ng isang serye:
- Paglipat sa Google Cloud: Pagsisimula
- Paglipat sa Google Cloud: Pagtatasa at pagtuklas ng iyong mga workload
- Paglipat sa Google Cloud: Pagbuo ng iyong pundasyon
- Paglipat sa Google Cloud: Paglilipat ng iyong malalaking dataset (dokumentong ito)
- Paglipat sa Google Cloud: Pag-deploy ng iyong mga workload
- Paglipat sa Google Cloud: Paglipat mula sa mga manu-manong deployment patungo sa mga automated at containerized na deployment
- Paglipat sa Google Cloud: Pag-optimize ng iyong kapaligiran
- Paglipat sa Google Cloud: Pinakamahuhusay na kagawian para sa pagpapatunay ng plano sa paglilipat
Ang sumusunod na diagram ay naglalarawan sa landas ng iyong paglalakbay sa paglilipat

Ang yugto ng deployment ay ang ikatlong yugto sa iyong paglipat sa Google Cloud, kung saan nagdidisenyo ka ng proseso ng pag-deploy para sa iyong mga workload

Ang dokumentong ito ay kapaki-pakinabang kung nagpaplano ka ng paglipat mula sa isang nasa lugar na kapaligiran, mula sa isang pribadong hosting na kapaligiran, mula sa isa pang cloud provider patungo sa Google Cloud, o kung sinusuri mo ang pagkakataong mag-migrate at gustong tuklasin kung ano ang maaaring hitsura nito gaya ng

## Ano ang paglilipat ng data?
Para sa mga layunin ng dokumentong ito, ang paglilipat ng data ay ang proseso ng paglipat ng data nang hindi binabago ito, halimbawa, ang paglipat ng mga file bilang mga bagay.

 Ang paglipat ng data ay hindi kasing simple ng tila
Nakatutukso na isipin ang paglilipat ng data bilang isang higanteng sesyon ng FTP, kung saan ilalagay mo ang iyong mga file sa isang tabi at hintayin silang lumabas sa kabilang panig. Gayunpaman, sa karamihan ng mga kapaligiran ng negosyo, ang proseso ng paglipat ay nagsasangkot ng maraming mga kadahilanan tulad ng mga sumusunod:
- Pagbuo ng plano sa paglilipat na nagsasaad ng oras ng pangangasiwa, kabilang ang oras upang magpasya sa opsyon sa paglipat, kumuha ng mga pag-apruba, at humarap sa mga hindi inaasahang isyu


- Pag-coordinate ng mga tao sa iyong organisasyon, gaya ng team na nagsasagawa ng paglilipat, mga tauhan na nag-aapruba sa mga tool at arkitektura, at mga stakeholder ng negosyo na nag-aalala sa halaga at mga pagkagambala na maaaring idulot ng paglipat ng data

- Pagpili ng tamang tool sa paglipat batay sa iyong mga mapagkukunan, gastos, oras, at iba pang mga pagsasaalang-alang sa proyekto

- Pagtagumpayan ang mga hamon sa paglilipat ng data, kabilang ang mga isyu sa "bilis ng liwanag"(hindi sapat na bandwidth), paglipat ng mga dataset na aktibong ginagamit, pagprotekta at pagsubaybay sa data habang ito ay nasa paglipad, at pagtiyak na matagumpay na nailipat ang data

Nilalayon ng dokumentong ito na tulungan kang makapagsimula sa isang matagumpay na hakbangin sa paglipat

 Iba pang mga proyektong nauugnay sa paglilipat ng data
Kasama sa sumusunod na listahan ang mga mapagkukunan para sa iba pang mga uri ng mga proyekto sa paglilipat ng data na hindi sakop sa dokumentong ito:
- Kung kailangan mong baguhin ang iyong data (tulad ng pagsasama-sama ng mga row, pagsali sa mga dataset, o pag-filter ng personal na makikilalang impormasyon), dapat mong isaalang-alang ang isang extract, transform, at load (ETL) na solusyon na maaaring magdeposito ng data sa isang Google Cloud data warehouse. Para sa isang halimbawa ng arkitektura na ito, tingnan ang tutorial na ito ng Dataflow

- Kung kailangan mong mag-migrate ng database at mga kaugnay na app (halimbawa, upang iangat at ilipat ang isang database app), maaari mong tingnan ang dokumentasyon para sa Cloud Spanner, mga solusyon para sa PostgreSQL, at iba pang dokumentasyon tungkol sa uri ng iyong database

- Kung gusto mong ilipat ang iyong data mula sa HBase sa isang ganap na pinamamahalaan, NoSQL database service na tugma sa HBase API at kayang humawak ng mas malalaking workload, tingnan ang Cloud Bigtable

- Kung kailangan mong maglipat ng virtual machine (VM) instance, isaalang-alang ang paggamit ng VM migration product ng Google, Migrate to Virtual Machines

## Hakbang 1: Pagtitipon ng iyong koponan
Ang pagpaplano ng paglipat ay karaniwang nangangailangan ng mga tauhan na may mga sumusunod na tungkulin at responsibilidad:
Pag-enable ng mga mapagkukunang kailangan para sa isang paglipat:Storage, IT, at mga admin ng network, isang executive sponsor, at iba pang mga tagapayo (halimbawa, isang Google Account team o mga kasosyo sa pagsasama) Pag-apruba sa desisyon sa paglipat: Mga may-ari ng data o gobernador (para sa mga panloob na patakaran kung sino ang pinapayagang maglipat ng kung anong data), mga legal na tagapayo (para sa mga regulasyong nauugnay sa data), at isang admin ng seguridad (para sa mga panloob na patakaran kung paano pinoprotektahan ang pag-access ng data) Pagpapatupad ng paglilipat: Isang team lead, isang project manager (para sa pagpapatupad at pagsubaybay sa proyekto ), isang engineering team, at on-site na pagtanggap at pagpapadala (upang makatanggap ng appliance hardware)
Napakahalagang tukuyin kung sino ang nagmamay-ari ng mga naunang responsibilidad para sa iyong proyekto sa paglilipat at isama sila sa mga pulong sa pagpaplano at pagpapasya kung naaangkop. Ang hindi magandang pagpaplano ng organisasyon ay kadalasang sanhi ng mga nabigong hakbangin sa paglipat
Ang pagtitipon ng mga kinakailangan sa proyekto at input mula sa mga stakeholder na ito ay maaaring maging mahirap, ngunit ang paggawa ng isang plano at pagtatatag ng malinaw na mga tungkulin at responsibilidad ay magbabayad. Hindi mo inaasahang malalaman mo ang lahat ng detalye ng iyong data. Ang pag-assemble ng isang team ay nagbibigay sa iyo ng higit na insight sa mga pangangailangan ng negosyo. Ito ay isang pinakamahusay na kasanayan upang matukoy ang mga potensyal na isyu bago ka mamuhunan ng oras, pera, at mga mapagkukunan upang makumpleto ang mga paglilipat

## Hakbang 2: Pagkolekta ng mga kinakailangan at magagamit na mapagkukunan
Kapag nagdisenyo ka ng plano sa paglipat, inirerekomenda namin na mangolekta ka muna ng mga kinakailangan para sa iyong paglilipat ng data at pagkatapos ay magpasya sa isang opsyon sa paglilipat. Upang mangolekta ng mga kinakailangan, maaari mong gamitin ang sumusunod na proseso:
- Tukuyin kung anong mga dataset ang kailangan mong ilipat

- Pumili ng mga tool tulad ng Data Catalog upang ayusin ang iyong data sa mga lohikal na pagpapangkat na inililipat at ginagamit nang magkasama

- Makipagtulungan sa mga koponan sa loob ng iyong organisasyon upang patunayan o i-update ang mga pagpapangkat na ito

- Tukuyin kung anong mga datasets ka
makagalaw

- Isaalang-alang kung ang regulasyon, seguridad, o iba pang mga salik ay nagbabawal sa ilang mga dataset na ilipat

- Kung kailangan mong baguhin ang ilan sa iyong data bago mo ito ilipat (halimbawa, upang alisin ang sensitibong data o muling isaayos ang iyong data), isaalang-alang ang paggamit ng produkto ng pagsasama ng data tulad ng Dataflow o Cloud Data Fusion, o isang produkto ng orkestrasyon ng daloy ng trabaho tulad ng Cloud Composer

- Para sa mga dataset na naililipat, tukuyin kung saan ililipat ang bawat dataset

- I-record kung aling opsyon sa storage ang pipiliin mong iimbak ang iyong data. Karaniwan, ang target na storage system sa Google Cloud ay Cloud Storage. Kahit na kailangan mo ng mas kumplikadong mga solusyon pagkatapos gumana at gumana ang iyong mga application, ang Cloud Storage ay isang scalable at matibay na opsyon sa storage

- Unawain kung anong mga patakaran sa pag-access ng data ang dapat panatilihin pagkatapos ng paglipat

- Tukuyin kung kailangan mong iimbak ang data na ito sa mga partikular na rehiyon

- Planuhin kung paano ayusin ang data na ito sa destinasyon. Halimbawa, pareho ba ito sa pinagmulan o iba?
- Tukuyin kung kailangan mong maglipat ng data sa patuloy na batayan

- Para sa mga dataset na naililipat, tukuyin kung anong mga mapagkukunan ang magagamit
para ilipat sila

- Oras: Kailan kailangang makumpleto ang paglipat?
- Gastos: Ano ang magagamit na badyet para sa koponan at mga gastos sa paglilipat?
- Mga Tao: Sino ang magagamit upang maisagawa ang paglipat?
- Bandwidth (para sa mga online na paglilipat): Gaano karami sa iyong kasalukuyang magagamit na bandwidth para sa Google Cloud ang maaaring ilaan para sa isang paglilipat, at sa anong yugto ng panahon?
Bago mo suriin at piliin ang mga opsyon sa paglilipat sa susunod na yugto ng pagpaplano, inirerekomenda namin na suriin mo kung ang alinmang bahagi ng iyong modelo ng IT ay maaaring mapabuti, gaya ng pamamahala ng data, organisasyon, at seguridad

 Ang iyong modelo ng seguridad
Maraming miyembro ng transfer team ang maaaring mabigyan ng mga bagong tungkulin sa iyong organisasyon sa Google Cloud bilang bahagi ng iyong proyekto sa paglilipat ng data. Ang pagpaplano ng paglipat ng data ay isang magandang panahon para suriin ang iyong mga pahintulot sa Identity and Access Management (IAM) at pinakamahuhusay na kagawian para sa ligtas na paggamit ng IAM. Maaaring makaapekto ang mga isyung ito kung paano ka nagbibigay ng access sa iyong storage. Halimbawa, maaari kang maglagay ng mahigpit na limitasyon sa pag-access sa pagsulat sa data na na-archive para sa mga kadahilanang pang-regulasyon, ngunit maaari mong payagan ang maraming user at application na magsulat ng data sa iyong kapaligiran sa pagsubok.   Ang iyong organisasyon sa Google Cloud Kung paano mo binubuo ang iyong data sa Google Cloud ay depende sa kung paano mo pinaplanong gamitin ang Google Cloud. Ang pag-iimbak ng iyong data sa parehong proyekto sa Cloud kung saan mo pinapatakbo ang iyong application ay isang simpleng diskarte, ngunit maaaring hindi ito pinakamainam mula sa isang pananaw sa pamamahala. Maaaring walang pribilehiyo ang ilan sa iyong mga developer na tingnan ang data ng produksyon. Sa ganoong sitwasyon, maaaring bumuo ang isang developer ng code sa sample na data, habang maaaring ma-access ng isang privileged service account ang production data. Kaya, maaaring gusto mong panatilihin ang iyong buong dataset ng produksyon sa isang hiwalay na proyekto sa Cloud, at pagkatapos ay gumamit ng account ng serbisyo upang payagan ang pag-access sa data mula sa bawat proyekto ng application.  Ang Google Cloud ay nakaayos sa paligid ng mga proyekto. Maaaring pagsama-samahin ang mga proyekto sa mga folder, at maaaring pagsama-samahin ang mga folder sa ilalim ng iyong organisasyon. Itinatag ang mga tungkulin sa antas ng proyekto at idinaragdag ang mga pahintulot sa pag-access sa mga tungkuling ito sa mga antas ng Cloud Storage bucket. Ang istrakturang ito ay nakaayon sa istraktura ng mga pahintulot ng iba pang mga provider ng object store  Para sa pinakamahuhusay na kagawian sa pagbuo ng isang organisasyon ng Google Cloud, tingnan ang Magpasya ng hierarchy ng mapagkukunan para sa iyong Google Cloud landing zone  ## Hakbang 3: Pagsusuri sa iyong mga opsyon sa paglipat Upang suriin ang iyong mga opsyon sa paglilipat ng data, kailangang isaalang-alang ng pangkat ng paglilipat ang ilang salik, kabilang ang sumusunod: - Gastos - Oras - Offline kumpara sa mga opsyon sa online na paglipat - Maglipat ng mga tool at teknolohiya - Seguridad  Gastos Karamihan sa mga gastos na nauugnay sa paglilipat ng data ay kinabibilangan ng mga sumusunod: - Mga gastos sa networking - Ang pagpasok sa Cloud Storage ay libre. Gayunpaman, kung nagho-host ka ng iyong data sa isang pampublikong tagapagbigay ng cloud, maaari mong asahan na magbabayad ng singil sa paglabas at posibleng mga gastos sa pag-iimbak (halimbawa, mga pagpapatakbo sa pagbabasa) para sa paglilipat ng iyong data. Nalalapat ang singil na ito para sa data na nagmumula sa Google o isa pang cloud provider  - Kung ang iyong data ay naka-host sa isang pribadong data center na iyong pinapatakbo, maaari ka ring magkaroon ng mga karagdagang gastos para sa pag-set up ng mas maraming bandwidth sa Google Cloud  - Mga gastos sa storage at pagpapatakbo para sa Cloud Storage sa panahon at pagkatapos ng paglilipat ng data - Mga gastos sa produkto (halimbawa, isang Transfer Appliance) - Mga gastos sa tauhan para sa pag-assemble ng iyong team at pagkuha ng logistical support  Oras Ang ilang mga bagay sa pag-compute ay nagtatampok sa mga limitasyon ng hardware ng mga network bilang paglilipat ng malalaking halaga ng data. Sa isip, maaari kang maglipat ng 1 GB sa loob ng walong segundo sa isang 1 Gbps network. Kung i-scale mo iyon hanggang sa isang malaking dataset (halimbawa, 100 TB), ang oras ng paglipat ay 12 araw. Maaaring subukan ng paglilipat ng malalaking dataset ang mga limitasyon ng iyong imprastraktura at posibleng magdulot ng mga problema para sa iyong negosyo  Maaari mong gamitin ang sumusunod na calculator upang maunawaan kung gaano katagal ang isang paglilipat, dahil sa laki ng dataset na iyong nililipat at ang bandwidth na magagamit para sa paglilipat. Ang isang tiyak na porsyento ng oras ng pamamahala ay isinasali sa mga kalkulasyon. Bukod pa rito, may kasamang epektibong bandwidth efficiency, kaya mas makatotohanan ang mga resultang numero at hindi makukuha ang mga ideal na numero  Maaaring hindi mo gustong maglipat ng malalaking dataset mula sa network ng iyong kumpanya sa mga pinakamaraming oras ng trabaho. Kung na-overload ng paglipat ang network, walang ibang makakatapos ng kinakailangang o kritikal na misyon na gawain. Para sa kadahilanang ito, kailangang isaalang-alang ng pangkat ng paglilipat ang kadahilanan ng orasPagkatapos mailipat ang data sa Cloud Storage, maaari kang gumamit ng ilang teknolohiya para iproseso ang mga bagong file pagdating ng mga ito, gaya ng DataflowPagtaas ng bandwidth ng networkPaano mo pinapataas ang network depende ang bandwidth sa kung paano ka kumonekta sa Google CloudSa isang cloud-to-cloud transfer sa pagitan ng Google Cloud at iba pang cloud provider, ibinibigay ng Google ang koneksyon sa pagitan ng mga cloud vendor data center, na hindi nangangailangan ng setup mula sa iyoKung naglilipat ka ng data sa pagitan ng iyong pribadong data center at Google Cloud, mayroong tatlong pangunahing diskarte:- Isang pampublikong koneksyon sa internet sa pamamagitan ng paggamit ng pampublikong API- Direktang Peering sa pamamagitan ng paggamit ng pampublikong API- Cloud Interconnect sa pamamagitan ng paggamit ng pribadong APIKapag sinusuri ang mga diskarteng ito, nakakatulong na isaalang-alang ang iyong mga pangmatagalang pangangailangan sa koneksyon.Maaari mong ipagpalagay na malaki ang gastos upang makakuha ng bandwidth para lamang sa mga layunin ng paglilipat, ngunit kapag isinaalang-alang ang pangmatagalang paggamit ng Google Cloud at ang mga pangangailangan ng network sa iyong organisasyon, ang pamumuhunan ay maaaring maging sulitKumokonekta gamit ang pampublikong koneksyon sa internetKapag gumamit ka ng pampublikong koneksyon sa internet, hindi gaanong mahulaan ang throughput ng network dahil nalilimitahan ka ng kapasidad at pagruruta ng iyong internet service provider (ISP).Maaaring mag-alok din ang ISP ng limitadong Service Level Agreement (SLA) o wala.Gayunpaman, ang mga koneksyon na ito ay nag-aalok ng medyo mababang gastos, at sa malawak na pagsasaayos ng peering ng Google, maaaring iruta ka ng iyong ISP sa pandaigdigang network ng Google sa loob ng ilang network hopsInirerekomenda namin na suriin mo kasama ng iyong security admin kung ipinagbabawal ng patakaran ng iyong kumpanya ang paglipat ng ilang dataset sa pampublikong internet.Suriin din kung ang pampublikong koneksyon sa internet ay ginagamit para sa iyong trapiko sa produksyon.Ang malakihang paglilipat ng data ay maaaring negatibong makaapekto sa production networkPagkonekta sa Direktang Peering
Upang ma-access ang Google network na may mas kaunting network hops kaysa sa pampublikong koneksyon sa internet, maaari mong gamitin ang Direct Peering. Sa pamamagitan ng paggamit ng Direct Peering, maaari kang makipagpalitan ng trapiko sa internet sa pagitan ng iyong network at ng Google's Edge Points of Presence (PoPs), na nangangahulugang hindi ginagamit ng iyong data ang pampublikong internet. Ang paggawa nito ay binabawasan din ang bilang ng mga hops sa pagitan ng iyong network at network ng Google. Ang pag-peering sa network ng Google ay nangangailangan sa iyo na mag-set up ng isang nakarehistrong Autonomous System (AS) Number, kumonekta sa Google gamit ang isang internet exchange, at magbigay ng isang buong-panahong contact sa iyong network operations center

 Kumokonekta sa Cloud Interconnect
Nag-aalok ang Cloud Interconnect ng direktang koneksyon sa Google Cloud sa pamamagitan ng Google o isa sa mga service provider ng Cloud Interconnect. Nakakatulong ang serbisyong ito na pigilan ang iyong data sa pagpunta sa pampublikong internet at maaaring magbigay ng mas pare-parehong throughput para sa malalaking paglilipat ng data. Karaniwan, ang Cloud Interconnect ay nagbibigay ng mga SLA para sa pagkakaroon ng network at pagganap ng kanilang network. Direktang makipag-ugnayan sa isang service provider para matuto pa. Sinusuportahan din ng Cloud Interconnect ang pribadong addressing, RFC 1918, upang ang cloud ay epektibong maging extension ng iyong pribadong data center nang hindi nangangailangan ng mga pampublikong IP address o NAT.

 Online laban sa offline na paglipat
Ang isang kritikal na desisyon ay kung gagamit ng offline o online na proseso para sa iyong paglilipat ng data. Ibig sabihin, dapat kang pumili sa pagitan ng paglilipat sa isang network, ito man ay isang nakalaang interconnect o ang pampublikong internet, o ang paglilipat sa pamamagitan ng paggamit ng storage hardware

Para makatulong sa desisyong ito, nagbibigay kami ng transfer calculator para tulungan kang tantiyahin ang mga pagkakaiba sa oras at gastos sa pagitan ng dalawang opsyong ito. Ipinapakita rin ng sumusunod na chart ang ilang bilis ng paglipat para sa iba't ibang laki ng dataset at bandwidth. Ang isang tiyak na halaga ng overhead ng pamamahala ay binuo sa mga kalkulasyong ito

Gaya ng nabanggit kanina, maaaring kailanganin mong isaalang-alang kung ang gastos upang makamit ang mas mababang mga latency para sa iyong paglilipat ng data (tulad ng pagkuha ng bandwidth ng network) ay na-offset ng halaga ng pamumuhunang iyon sa iyong organisasyon

 Available ang mga opsyon mula sa Google
Nag-aalok ang Google ng ilang mga tool at teknolohiya upang matulungan kang magsagawa ng paglilipat ng data

 Pagpapasya sa mga opsyon sa paglilipat ng Google
Ang pagpili ng opsyon sa paglipat ay depende sa iyong kaso ng paggamit, gaya ng ipinapakita ng sumusunod na talahanayan

|
|Kung saan ka naglilipat ng data mula sa |
|Scenario |
|Mga iminungkahing produkto
|Isa pang cloud provider (halimbawa, Amazon Web Services o Microsoft Azure) sa Google CloudStorage Transfer Service|
|Cloud Storage hanggang Cloud Storage (dalawang magkaibang bucketStorage Transfer Service|
|Ang iyong pribadong data center sa Google Cloud||Sapat na bandwidth upang matugunan ang deadline ng iyong proyekto
|
para sa mas mababa sa 1 TB ng data
|
|
|Ang iyong pribadong data center sa Google Cloud||Sapat na bandwidth upang matugunan ang deadline ng iyong proyekto
|
para sa higit sa 1 TB ng data
|Serbisyo ng Paglilipat ng Imbakan para sa nasa nasasakupan na data|
|Ang iyong pribadong data center sa Google Cloud||Hindi sapat na bandwidth upang matugunan ang deadline ng iyong proyekto||Transfer Appliance|
gsutil para sa mas maliliit na paglilipat ng on-premises na data
Ang
gsutil tool
ay ang karaniwang tool para sa maliit hanggang katamtamang laki ng mga paglilipat (mas mababa sa
1 TB) sa isang tipikal na enterprise-scale network, mula sa isang pribadong data center
sa Google Cloud. Inirerekomenda namin na isama mo
gsutil sa iyong default na landas
kapag ginamit mo
Cloud Shell

Available din ito bilang default kapag na-install mo ang
Google Cloud CLI

Ito ay isang maaasahang tool na nagbibigay ng lahat ng mga pangunahing tampok na kailangan mong pamahalaan
iyong
Cloud Storage
mga pagkakataon, kabilang ang pagkopya ng iyong data papunta at mula sa lokal na file system at
Cloud Storage. Maaari rin itong ilipat at palitan ang pangalan ng mga bagay at gumanap
mga real-time na incremental na pag-sync, tulad ng
rsync, sa isang Cloud Storage bucket

Ang gsutil ay lalong kapaki-pakinabang sa mga sumusunod na sitwasyon:
- Ang iyong mga paglilipat ay kailangang isagawa ayon sa kinakailangang batayan, o sa panahon ng mga command-line session ng iyong mga user

- Naglilipat ka lang ng ilang file o napakalaking file, o pareho

- Kinukonsumo mo ang output ng isang program (pag-stream ng output sa Cloud Storage)

- Kailangan mong manood ng isang direktoryo na may katamtamang bilang ng mga file at i-sync ang anumang mga update na may napakababang latency

Ang mga pangunahing kaalaman sa pagsisimula sa
gsutil ay upang
gumawa ng Cloud Storage bucket
at
kopyahin ang data
sa balde na iyon. Para sa paglilipat ng mas malalaking dataset, may dalawang bagay na dapat gawin
isaalang-alang:
Para sa mga multi-threaded na paglilipat, gamitin
gsutil -m

Ang ilang mga file ay pinoproseso nang magkatulad, na nagpapataas ng iyong bilis ng paglilipat

Para sa isang malaking file, gamitin ang mga Composite transfer

Hinahati ng pamamaraang ito ang malalaking file sa mas maliliit na tipak para mapabilis ang paglipat. Ang mga chunk ay inililipat at pinapatunayan nang magkatulad, na nagpapadala ng lahat ng data sa Google. Sa sandaling dumating ang mga tipak sa Google, pinagsama ang mga ito (tinukoy bilang
pagbubuo) upang makabuo ng isang bagay

Ang mga pinagsama-samang paglilipat na may gsutil ay may ilang mga disbentaha, kabilang ang bawat piraso (hindi ang buong bagay) ay indibidwal na naka-checksum, at ang komposisyon ng mga klase sa cold storage ay nagreresulta sa mga parusa sa maagang pagtanggal.

 Storage Transfer Service para sa malalaking paglilipat ng on-premises na data
Katulad
gsutil,
Storage Transfer Service para sa nasa nasasakupang data
nagbibigay-daan sa paglilipat mula sa network file system (NFS) storage sa
Cloud Storage. Bagaman
Maaaring suportahan ng gsutil ang maliliit na laki ng paglipat (up
hanggang 1 TB), ang Storage Transfer Service para sa on-premises na data ay idinisenyo para sa
malakihang paglilipat (hanggang petabytes ng data, bilyun-bilyong file). Sinusuportahan nito
buong kopya o incremental na mga kopya, at gumagana ito sa lahat ng nakalistang opsyon sa paglilipat
mas maaga sa
Pagpapasya sa mga opsyon sa paglilipat ng Google. Ito
mayroon ding simple, pinamamahalaang graphical na user interface; kahit di-technically savvy
magagamit ito ng mga user (pagkatapos ng setup) para maglipat ng data

Ang Storage Transfer Service para sa nasa nasasakupan na data ay lalong kapaki-pakinabang sa mga sumusunod na sitwasyon:
- Mayroon kang sapat na magagamit na bandwidth upang ilipat ang mga dami ng data (tingnan ang Google Cloud Data Transfer Calculator)  - Sinusuportahan mo ang isang malaking base ng mga panloob na user na maaaring makakita ng command-line tulad ng tool gsutilchallenging gamitin  - Kailangan mo ng matatag na pag-uulat ng error at isang talaan ng lahat ng mga file at bagay na inilipat  - Kailangan mong limitahan ang epekto ng mga paglilipat sa iba pang mga workload sa iyong data center (maaaring manatili ang produktong ito sa ilalim ng limitasyon ng bandwidth na tinukoy ng user)  - Gusto mong magpatakbo ng mga umuulit na paglilipat sa isang iskedyul  Ise-set up mo ang Storage Transfer Service para sa nasa nasasakupan na data sa pamamagitan ng pag-install sa- premises software [kilala bilang *mga ahente*] sa mga computer sa iyong data center. Ang mga ito ang mga ahente ay nasa mga lalagyan ng Docker, na nagpapadali sa pagpapatakbo ng marami sa kanila o i-orchestrate sila sa pamamagitan ng Kubernetes  Pagkatapos ng pag-set up, maaaring simulan ng mga user ang mga paglilipat sa Google Cloud console sa pamamagitan ng pagbibigay ng source directory, destination bucket, at oras o iskedyul  Ang Storage Transfer Service ay paulit-ulit na nagko-crawl ng mga subdirectory at file sa direktoryo ng pinagmulan at lumilikha ng mga bagay na may kaukulang pangalan sa Cloud Storage [ang object /dir/foo/file.txt ay nagiging object sa destination bucket na pinangalanang /dir/foo/file.txt]. Serbisyo sa Paglipat ng Imbakan awtomatikong muling sumusubok sa paglipat kapag nakatagpo ito ng anumang lumilipas na mga error  Habang tumatakbo ang mga paglilipat, maaari mong subaybayan kung gaano karaming mga file ang inilipat at ang pangkalahatang bilis ng paglipat, at maaari mong tingnan ang mga sample ng error  Kapag natapos na ang paglipat, bubuo ang tab-delimited file (TSV) na may buong talaan ng lahat ng file na hinawakan at anumang natanggap na mensahe ng error. Fault tolerant ang mga ahente, kaya kung bumaba ang isang ahente, magpapatuloy ang paglipat kasama ang mga natitirang ahente. Ang mga ahente ay nag-a-update din sa sarili at nagpapagaling sa sarili, kaya hindi mo kailangang mag-alala tungkol sa pag-patch ng mga pinakabagong bersyon o pag-restart ng proseso kung bumaba ito dahil sa isang hindi inaasahang isyu  Mga bagay na dapat isaalang-alang kapag gumagamit ng Storage Transfer Service: Gumamit ng magkaparehong setup ng ahente sa bawat makina. Dapat makita ng lahat ng ahente ang parehong pag-mount ng Network File System (NFS) sa parehong paraan (parehong mga kamag-anak na landas). Ang setup na ito ay isang kinakailangan para gumana ang produkto. Ang mas maraming ahente ay nagreresulta sa mas mabilis. Dahil ang mga paglilipat ay awtomatikong parallelize sa lahat ng mga ahente, inirerekomenda namin na mag-deploy ka ng maraming ahente upang magamit mo ang iyong magagamit na bandwidth. Maaaring protektahan ng mga cap ng bandwidth ang iyong mga workload. Maaaring ginagamit ng iba mo pang workload ang bandwidth ng data center mo, kaya magtakda ng bandwidth cap para maiwasan ang mga paglilipat na makaapekto sa iyong mga SLA. Magplano ng oras para sa pagsusuri ng mga error. Ang malalaking paglilipat ay kadalasang maaaring magresulta sa mga error na nangangailangan ng pagsusuri. Nagbibigay-daan sa iyo ang Storage Transfer Service na makakita ng sample ng mga error na direktang naranasan sa Google Cloud console. Kung kinakailangan, maaari mong i-load ang buong tala ng lahat ng mga error sa paglilipat sa BigQuery upang tingnan ang mga file o suriin ang mga error na nanatili kahit na pagkatapos ng muling pagsubok. Ang mga error na ito ay maaaring sanhi ng pagpapatakbo ng mga app na sumusulat sa pinagmulan habang naganap ang paglilipat, o ang mga error ay maaaring magbunyag ng isang isyu na nangangailangan ng pag-troubleshoot (halimbawa, error sa mga pahintulot). I-set up ang Cloud Monitoring para sa mga matagal nang paglilipat. Ang Storage Transfer Service ay nagbibigay-daan sa Monitoring na subaybayan ang kalusugan at throughput ng ahente, para makapagtakda ka ng mga alerto na nag-aabiso sa iyo kapag ang mga ahente ay down o nangangailangan ng pansin. Ang pag-aksyon sa mga pagkabigo ng ahente ay mahalaga para sa mga paglilipat na tumatagal ng ilang araw o linggo, upang maiwasan mo ang mga makabuluhang pagbagal o pagkaantala na maaaring maantala ang iyong timeline ng proyekto   Transfer Appliance para sa mas malalaking paglilipat Para sa malalaking paglipat (lalo na ang mga paglilipat na may limitadong bandwidth ng network), ang Transfer Appliance ay isang mahusay na opsyon, lalo na kapag hindi available ang isang mabilis na koneksyon sa network at masyadong magastos para makakuha ng mas maraming bandwidth  Ang Transfer Appliance ay lalong kapaki-pakinabang sa mga sumusunod na sitwasyon: - Ang iyong data center ay nasa malayong lokasyon na may limitado o walang access sa bandwidth- Available ang bandwidth, ngunit hindi makukuha sa oras upang matugunan ang iyong deadline  - Mayroon kang access sa mga mapagkukunang logistik upang makatanggap at makakonekta ng mga appliances sa iyong network  Sa pagpipiliang ito, isaalang-alang ang sumusunod: - Kinakailangan ng Transfer Appliance na maaari mong matanggap at maipadala pabalik ang hardware na pag-aari ng Google  - Depende sa iyong koneksyon sa internet, ang latency para sa paglilipat ng data sa Google Cloud ay karaniwang mas mataas sa Transfer Appliance kaysa online  - Ang Transfer Appliance ay available lamang sa ilang partikular na bansa  Ang dalawang pangunahing pamantayan na dapat isaalang-alang sa Transfer Appliance ay ang gastos at bilis. Sa makatwirang koneksyon sa network (halimbawa, 1 Gbps), ang paglilipat ng 100 TB ng data online ay tumatagal ng higit sa 10 araw upang makumpleto. Kung katanggap-tanggap ang rate na ito, malamang na isang magandang solusyon ang online na paglipat para sa iyong mga pangangailangan. Kung mayroon ka lamang 100 Mbps na koneksyon (o mas masahol pa mula sa isang malayong lokasyon), ang parehong paglipat ay tumatagal ng higit sa 100 araw. Sa puntong ito, sulit na isaalang-alang ang isang opsyon sa offline na paglilipat gaya ng Transfer Appliance  Ang pagkuha ng Transfer Appliance ay diretso. Sa Google Cloud console, humiling ka ng Transfer Appliance, isaad kung gaano karaming data ang mayroon ka, at pagkatapos ay ipapadala ng Google ang isa o higit pang appliances sa iyong hiniling na lokasyon. Bibigyan ka ng ilang araw para ilipat ang iyong data sa appliance ("data capture") at ipadala ito pabalik sa Google  Ang inaasahang oras ng turnaround para sa isang network appliance na maipadala, ma-load ng iyong data, maipadala pabalik, at ma-rehydrate sa Google Cloud ay 20 araw. Kung ang iyong timeframe ng online na paglipat ay kinakalkula na higit pa sa timeframe na ito, isaalang-alang ang Transfer Appliance. Ang kabuuang halaga para sa proseso ng 300 TB device ay mas mababa sa $2,500   Storage Transfer Service para sa cloud-to-cloud transfers Ang Storage Transfer Service ay isang ganap na pinamamahalaan, lubos na nasusukat na serbisyo upang i-automate ang mga paglilipat mula sa iba pang pampubliko sa Cloud Storage. Sinusuportahan nito ang mga paglilipat sa Cloud Storage mula sa Amazon S3 at HTTP  Para sa Amazon S3, maaari kang magbigay ng access key at isang S3 bucket na may opsyonal mga filter para sa mga bagay na S3 na pipiliin, at pagkatapos ay kopyahin mo ang mga bagay na S3 sa alinman
Bucket ng Cloud Storage. Sinusuportahan din ng serbisyo ang pang-araw-araw na mga kopya ng anuman
binagong mga bagay. Kasalukuyang hindi sinusuportahan ng serbisyo ang mga paglilipat ng data
*sa*
Amazon S3

Para sa HTTP, maaari mong bigyan ang Storage Transfer Service ng listahan ng mga pampublikong URL sa
isang tinukoy na format

Ang diskarte na ito ay nangangailangan na magsulat ka ng isang script na nagbibigay ng laki ng bawat isa
file sa bytes, kasama ng Base64-encoded MD5 hash ng mga nilalaman ng file

Minsan ang laki ng file at hash ay available mula sa pinagmulang website. Kung
hindi, kailangan mo ng lokal na access sa mga file, kung saan, maaaring mas madali itong gawin
gamitin
gsutil, tulad ng inilarawan kanina

Kung mayroon kang paglipat, ang Storage Transfer Service ay isang mahusay na paraan upang makakuha ng data at panatilihin ito, lalo na kapag naglilipat mula sa isa pang pampublikong ulap

 Seguridad
Para sa maraming user ng Google Cloud, seguridad ang kanilang pangunahing pokus, at mayroong iba't ibang antas ng seguridad na available. Ang ilang aspeto ng seguridad na dapat isaalang-alang ay kinabibilangan ng pagprotekta sa data sa pahinga (awtorisasyon at pag-access sa source at destination storage system), pagprotekta sa data habang nasa transit, at pagprotekta sa access sa transfer product. Binabalangkas ng sumusunod na talahanayan ang mga aspetong ito ng seguridad ayon sa produkto

|
|Produkto |
|Data sa pahinga |
|Data sa transit |
|Access para ilipat ang produkto
|Transfer Appliance||Lahat ng data ay naka-encrypt sa restAng data ay protektado ng mga key na pinamamahalaan ng customer Kahit sino ay maaaring mag-order ng appliance, ngunit para magamit ito kailangan nila ng access sa data source.|
|
||Kinakailangan ang mga access key para ma-access ang Cloud Storage, na naka-encrypt sa restData ay ipinapadala sa HTTPS at naka-encrypt sa transit Kahit sino ay maaaring mag-download at tumakbo
|
|Serbisyo ng Paglilipat ng Imbakan para sa nasa nasasakupan na data||Kinakailangan ang mga access key upang ma-access ang Cloud Storage, na naka-encrypt sa pahinga. Maaaring ma-access ng proseso ng ahente ang mga lokal na file habang pinahihintulutan ng mga pahintulot ng OS angData ay ipinadala sa HTTPS at naka-encrypt sa transitDapat ay mayroon kang mga pahintulot sa editor ng object upang ma-access ang mga Cloud Storage bucket.|
|Serbisyo ng Paglilipat ng Imbakan||Kinakailangan ang mga access key para sa mga mapagkukunang hindi Google Cloud (halimbawa, Amazon S3). Kinakailangan ang mga access key upang ma-access ang Cloud Storage, na naka-encrypt sa restData ay ipinapadala sa HTTPS at naka-encrypt sa transitDapat ay mayroon kang mga pahintulot sa IAM para sa account ng serbisyo upang ma-access ang mga pahintulot ng source at object editor para sa anumang Cloud Storage bucket.|
Upang makamit ang mga pagpapahusay sa seguridad sa baseline, online na paglilipat sa
Google Cloud gamit
gsutil
ay nagagawa sa pamamagitan ng HTTPS, ang data ay naka-encrypt sa transit, at lahat ng data ay nasa
Ang Cloud Storage ay, bilang default, naka-encrypt sa pahinga. Para sa impormasyon sa
mas sopistikadong mga scheme na nauugnay sa seguridad, tingnan
Mga pagsasaalang-alang sa seguridad at privacy

Kung gagamitin mo
Transfer Appliance,
makakatulong ang mga security key na kinokontrol mo na protektahan ang iyong data. Sa pangkalahatan, kami
Inirerekomenda mo na makipag-ugnayan ka sa iyong security team upang matiyak na ang iyong plano sa paglipat
nakakatugon sa iyong kumpanya at mga kinakailangan sa regulasyon

 Mga produkto ng paglilipat ng third-party
Para sa advanced na network-level optimization o patuloy na mga daloy ng trabaho sa paglilipat ng data, maaaring gusto mong gumamit ng mas advanced na mga tool. Para sa impormasyon tungkol sa mas advanced na mga tool, bisitahin ang mga kasosyo ng Google

Itinatampok ng mga sumusunod na link ang ilan sa maraming opsyon (nakalista dito sa pagkakasunud-sunod ng alpabeto):
- Ang Aspera On Cloud ay batay sa patented na protocol ng Aspera at angkop para sa malakihang daloy ng trabaho. Available ito on demand bilang isang modelo ng lisensya ng subscription

- Maaaring gamitin ang Cloud FastPath ng Tervela upang bumuo ng pinamamahalaang stream ng data papasok at palabas ng Google Cloud. Para sa mga detalye, tingnan ang Paggamit ng Cloud FastPath upang gumawa ng mga stream ng data

- Nag-aalok ang Signiant ng Media Shuttle bilang isang software-as-a-service (SaaS) na solusyon upang ilipat ang anumang file papunta o mula saanman. Nag-aalok din ang Signiant ng Flight bilang isang autoscaling utility batay sa isang lubos na na-optimize na protocol, at ang Signiant Flight Deck bilang isang automation tool para sa malakihang paglilipat sa mga heograpikal na dispersed na lokasyon

## Hakbang 4: Paghahanda para sa iyong paglipat
Para sa isang malaking paglipat, o isang paglilipat na may makabuluhang dependency, mahalagang maunawaan kung paano patakbuhin ang iyong produkto sa paglilipat. Karaniwang dumadaan ang mga customer sa mga sumusunod na hakbang:
Pagpepresyo at pagtatantya ng ROI. Nagbibigay ang hakbang na ito ng maraming opsyon para tumulong sa paggawa ng desisyon. Functional testing. Sa hakbang na ito, kinukumpirma mo na ang produkto ay maaaring matagumpay na mai-set up at gumagana ang network connectivity (kung saan naaangkop). Sinusubukan mo rin na maaari mong ilipat ang isang kinatawan na sample ng iyong data (kabilang ang kasamang mga hindi paglilipat na hakbang, tulad ng paglipat ng isang VM instance) sa destinasyon

Karaniwan mong magagawa ang hakbang na ito bago ilaan ang lahat ng mapagkukunan tulad ng mga transfer machine o bandwidth. Kasama sa mga layunin ng hakbang na ito ang sumusunod:
- Kumpirmahin na maaari mong i-install at patakbuhin ang paglilipat

- Palabasin ang mga potensyal na isyu sa paghinto ng proyekto na humaharang sa paggalaw ng data (halimbawa, mga ruta ng network) o sa iyong mga operasyon (halimbawa, pagsasanay na kailangan sa isang hindi paglipat na hakbang)

Pagsubok sa pagganap. Sa hakbang na ito, nagpapatakbo ka ng paglipat sa isang malaking sample ng iyong data (karaniwang 3âÃÂÃÂ5%) pagkatapos ilaan ang mga mapagkukunan ng produksyon upang gawin ang sumusunod:
- Kumpirmahin na maaari mong ubusin ang lahat ng inilalaan na mapagkukunan at maaari mong makuha ang bilis na iyong inaasahan

- Ibabaw at ayusin ang mga bottleneck (halimbawa, mabagal na source storage system)

## Hakbang 5: Tinitiyak ang integridad ng iyong paglipat
Upang makatulong na matiyak ang integridad ng iyong data sa panahon ng paglilipat, inirerekomenda naming gawin ang mga sumusunod na pag-iingat:
- Paganahin ang bersyon at pag-backup sa iyong patutunguhan upang limitahan ang pinsala ng hindi sinasadyang pagtanggal

- I-validate ang iyong data bago alisin ang source data

Para sa malakihang paglilipat ng data (na may mga petabyte ng data at bilyun-bilyong file), ang baseline latent na rate ng error ng pinagbabatayan na source storage system na kasingbaba ng 0.0001% ay nagreresulta pa rin sa pagkawala ng data ng libu-libong file at gigabytes. Kadalasan, ang mga application na tumatakbo sa pinagmulan ay mapagparaya na sa mga error na ito, kung saan, hindi na kailangan ng karagdagang pagpapatunay. Sa ilang pambihirang senaryo (halimbawa, pangmatagalang archive), kailangan ang higit pang pagpapatunay bago ito maituring na ligtas na tanggalin ang data mula sa pinagmulan.

Depende sa mga kinakailangan ng iyong aplikasyon, inirerekumenda namin na magpatakbo ka ng ilang mga pagsubok sa integridad ng data pagkatapos makumpleto ang paglilipat upang matiyak na ang application ay patuloy na gagana ayon sa nilalayon. Maraming mga produkto ng paglilipat ang may built-in na mga pagsusuri sa integridad ng data. Gayunpaman, depende sa iyong profile sa peligro, maaaring gusto mong gumawa ng karagdagang hanay ng mga pagsusuri sa data at sa mga app na nagbabasa ng data na iyon bago mo tanggalin ang data mula sa pinagmulan. Halimbawa, maaari mong kumpirmahin kung ang isang checksum na iyong naitala at nakalkula nang nakapag-iisa ay tumutugma sa data na nakasulat sa patutunguhan, o kumpirmahin na ang isang dataset na ginamit ng application ay matagumpay na nailipat.

## Paghahanap ng tulong
Nag-aalok ang Google Cloud ng iba't ibang mga opsyon at mapagkukunan para mahanap mo ang kinakailangang tulong at suporta para sa pinakamahusay na paggamit ng mga serbisyo ng Google Cloud:
Mga mapagkukunang pansariling serbisyo. Kung hindi mo kailangan ng nakalaang suporta, mayroon kang iba't ibang opsyon na magagamit mo sa sarili mong bilis. Mga kasosyo sa teknolohiya.Nakipagsosyo ang Google Cloud sa maraming kumpanya upang tulungan kang gamitin ang aming mga produkto at serbisyo. Mga propesyonal na serbisyo ng Google Cloud. Matutulungan ka ng aming mga propesyonal na serbisyo na masulit ang iyong pamumuhunan sa Google Cloud

Mayroong higit pang mga mapagkukunan upang makatulong na mag-migrate ng mga workload sa Google Cloud sa Google Cloud Migration Center

Para sa higit pang impormasyon tungkol sa mga mapagkukunang ito, tingnan ang seksyon ng tulong sa paghahanap ng Migration sa Google Cloud: Pagsisimula

## Anong susunod
- Kung mayroon kang mga tanong tungkol sa pagbuo ng plano sa paglipat o tungkol sa isang partikular na kaso ng paggamit, maaari kang makipag-ugnayan sa Google Cloud Support, o direktang makipag-ugnayan sa iyong Google Account team

- Upang makapagsimula sa iyong paglipat, ibinibigay namin ang mga sumusunod na gabay:
- Para sa mga pangkalahatang diskarte sa paglilipat ng data: Paglipat ng monolitikong aplikasyon sa mga microservice sa Google Kubernetes Engine
- Para sa isang offline na paglipat: Transfer Appliance
- Para sa isang online na paglipat mula sa isang pampublikong cloud: Storage Transfer Service
- Galugarin ang mga reference na arkitektura, diagram, tutorial, at pinakamahusay na kagawian tungkol sa Google Cloud. Tingnan ang aming Cloud Architecture Center.