Migrarea la Google Cloud: Transferarea seturilor dvs. mari de date

Pentru mulți clienți, primul pas în adoptarea unui produs Google Cloud este introducerea datelor lor în Google Cloud. Acest document explorează acest proces, de la planificarea unui transfer de date până la utilizarea celor mai bune practici în implementarea unui plan

Transferul de seturi mari de date implică construirea echipei potrivite, planificarea din timp și testarea planului de transfer înainte de a-l implementa într-un mediu de producție. Deși acești pași pot dura la fel de mult ca și transferul în sine, astfel de pregătiri pot ajuta la minimizarea întreruperii operațiunilor dvs. de afaceri în timpul transferului.

Acest document face parte dintr-o serie de mai multe părți despre migrarea la Google Cloud. Dacă sunteți interesat de o prezentare generală a seriei, consultați Migrarea la Google Cloud: Alegerea căii de migrare

Acest articol face parte dintr-o serie:
- Migrarea la Google Cloud: Noțiuni introductive
- Migrarea la Google Cloud: evaluarea și descoperirea sarcinilor dvs. de lucru
- Migrarea la Google Cloud: construiește-ți fundația
- Migrare la Google Cloud: transferul seturilor dvs. mari de date (acest document)
- Migrarea la Google Cloud: implementarea sarcinilor dvs. de lucru
- Migrare la Google Cloud: Migrarea de la implementări manuale la implementări automate, containerizate
- Migrarea la Google Cloud: optimizarea mediului
- Migrarea la Google Cloud: Cele mai bune practici pentru validarea unui plan de migrare
Următoarea diagramă ilustrează calea călătoriei dvs. de migrare

Faza de implementare este a treia fază din migrarea dvs. la Google Cloud, în care proiectați un proces de implementare pentru sarcinile dvs. de lucru

Acest document este util dacă planificați o migrare dintr-un mediu local, dintr-un mediu de găzduire privat, de la un alt furnizor de cloud la Google Cloud sau dacă evaluați oportunitatea de a migra și doriți să explorați cum ar putea arăta. ca

## Ce este transferul de date?
În sensul acestui document, transferul de date este procesul de mutare a datelor fără a le transforma, de exemplu, mutarea fișierelor așa cum sunt ele în obiecte

 Transferul de date nu este atât de simplu pe cât pare
Este tentant să vă gândiți la transferul de date ca la o sesiune FTP uriașă, în care vă puneți fișierele într-o parte și așteptați ca acestea să iasă pe cealaltă parte. Cu toate acestea, în majoritatea mediilor de întreprindere, procesul de transfer implică mulți factori, cum ar fi următorii:
- Elaborarea unui plan de transfer care să țină cont de timpul administrativ, inclusiv timpul necesar pentru a decide asupra unei opțiuni de transfer, a obține aprobări și a rezolva problemele neprevăzute


- Coordonarea oamenilor din organizația dvs., cum ar fi echipa care execută transferul, personalul care aprobă instrumentele și arhitectura și părțile interesate de afaceri care sunt preocupați de valoarea și perturbările pe care le poate aduce mutarea datelor

- Alegerea instrumentului de transfer potrivit pe baza resurselor, costurilor, timpului și altor considerente ale proiectului

- Depășirea provocărilor legate de transferul de date, inclusiv problemele de „viteza luminii” (lățime de bandă insuficientă), mutarea seturilor de date care sunt în uz activ, protejarea și monitorizarea datelor în timpul zborului și asigurarea transferului de date cu succes

Acest document își propune să vă ajute să începeți o inițiativă de transfer de succes

 Alte proiecte legate de transferul de date
Următoarea listă include resurse pentru alte tipuri de proiecte de transfer de date care nu sunt acoperite în acest document:
- Dacă trebuie să vă transformați datele (cum ar fi combinarea rândurilor, unirea seturilor de date sau filtrarea informațiilor personale de identificare), ar trebui să luați în considerare o soluție de extragere, transformare și încărcare (ETL) care poate depozita date într-un depozit de date Google Cloud. Pentru un exemplu al acestei arhitecturi, consultați acest tutorial Dataflow

- Dacă trebuie să migrați o bază de date și aplicații asociate (de exemplu, pentru a ridica și a muta o aplicație de bază de date), puteți consulta documentația pentru Cloud Spanner, soluțiile pentru PostgreSQL și alte documente despre tipul dvs. de bază de date

- Dacă doriți să migrați datele dvs. de la HBase către un serviciu de baze de date NoSQL complet gestionat, care este compatibil cu API-ul HBase și poate gestiona sarcini de lucru mai mari, aruncați o privire la Cloud Bigtable

- Dacă trebuie să mutați o instanță de mașină virtuală (VM), luați în considerare utilizarea produsului de migrare a VM de la Google, Migrare to Virtual Machines

## Pasul 1: Adunarea echipei
Planificarea unui transfer necesită de obicei personal cu următoarele roluri și responsabilități:
Activarea resurselor necesare pentru un transfer: administratori de stocare, IT și de rețea, un sponsor executiv și alți consilieri (de exemplu, o echipă de Cont Google sau parteneri de integrare) Aprobarea deciziei de transfer: proprietarii sau guvernanții de date (pentru politicile interne privind cine este este permis să transfere ce date), consilieri juridici (pentru reglementările legate de date) și un administrator de securitate (pentru politicile interne privind modul în care este protejat accesul la date) Executarea transferului: Un lider de echipă, un manager de proiect (pentru executarea și urmărirea proiectului ), o echipă de inginerie și recepție și expediere la fața locului (pentru a primi hardware-ul aparatului)
Este esențial să identificați cine deține responsabilitățile anterioare pentru proiectul dvs. de transfer și să le includeți în ședințele de planificare și decizie, atunci când este cazul. Planificarea organizațională slabă este adesea cauza inițiativelor de transfer eșuate
Colectarea cerințelor proiectului și a contribuțiilor de la aceste părți interesate poate fi o provocare, dar realizarea unui plan și stabilirea unor roluri și responsabilități clare dă roade. Nu vă puteți aștepta să cunoașteți toate detaliile datelor dvs. Formarea unei echipe vă oferă o mai bună perspectivă asupra nevoilor afacerii. Este cea mai bună practică să identifici problemele potențiale înainte de a investi timp, bani și resurse pentru a finaliza transferurile

## Pasul 2: Colectarea cerințelor și a resurselor disponibile
Când proiectați un plan de transfer, vă recomandăm să colectați mai întâi cerințele pentru transferul de date și apoi să decideți asupra unei opțiuni de transfer. Pentru a colecta cerințe, puteți utiliza următorul proces:
- Identificați ce seturi de date trebuie să mutați

- Selectați instrumente precum Data Catalog pentru a vă organiza datele în grupări logice care sunt mutate și utilizate împreună

- Lucrați cu echipele din cadrul organizației dvs. pentru a valida sau actualiza aceste grupări

- Identificați ce seturi de date vă
poate misca

- Luați în considerare dacă factorii de reglementare, de securitate sau alți factori interzic transferul unor seturi de date

- Dacă trebuie să transformați unele dintre date înainte de a le muta (de exemplu, pentru a elimina datele sensibile sau pentru a vă reorganiza datele), luați în considerare utilizarea unui produs de integrare a datelor precum Dataflow sau Cloud Data Fusion sau a unui produs de orchestrare a fluxului de lucru precum Cloud Composer

- Pentru seturile de date care sunt mobile, determinați unde să transferați fiecare set de date

- Înregistrați opțiunea de stocare pe care o selectați pentru a vă stoca datele. De obicei, sistemul de stocare țintă de pe Google Cloud este Cloud Storage. Chiar dacă aveți nevoie de soluții mai complexe după ce aplicațiile sunt puse în funcțiune, Cloud Storage este o opțiune de stocare scalabilă și durabilă

- Înțelegeți ce politici de acces la date trebuie menținute după migrare

- Stabiliți dacă trebuie să stocați aceste date în anumite regiuni

- Planificați cum să structurați aceste date la destinație. De exemplu, va fi același cu sursa sau diferit?
- Stabiliți dacă aveți nevoie să transferați date în mod continuu

- Pentru seturile de date care sunt mobile, determinați ce resurse sunt disponibile
pentru a le muta

- Ora: Când trebuie finalizat transferul?
- Cost: Care este bugetul disponibil pentru echipa și costurile de transfer?
- Oameni: Cine este disponibil să execute transferul?
- Lățimea de bandă (pentru transferuri online): cât de mult din lățimea de bandă disponibilă în prezent pentru Google Cloud poate fi alocată pentru un transfer și pentru ce perioadă de timp?
Înainte de a evalua și selecta opțiunile de transfer în următoarea fază de planificare, vă recomandăm să evaluați dacă orice parte a modelului dvs. IT poate fi îmbunătățită, cum ar fi guvernanța datelor, organizarea și securitatea.

 Modelul dvs. de securitate
Este posibil ca mulți membri ai echipei de transfer să li se acorde noi roluri în organizația dvs. Google Cloud ca parte a proiectului dvs. de transfer de date. Planificarea transferului de date este un moment excelent pentru a vă revizui permisiunile de gestionare a identității și accesului (IAM) și cele mai bune practici pentru utilizarea în siguranță a IAM. Aceste probleme pot afecta modul în care acordați acces la spațiul de stocare. De exemplu, este posibil să stabiliți limite stricte pentru accesul la scriere la datele care au fost arhivate din motive de reglementare, dar ați putea permite multor utilizatori și aplicații să scrie date în mediul dvs. de testare   Organizația dvs. Google Cloud Modul în care vă structurați datele pe Google Cloud depinde de modul în care intenționați să utilizați Google Cloud. Stocarea datelor în același proiect Cloud în care rulați aplicația este o abordare simplă, dar s-ar putea să nu fie optimă din perspectiva managementului. Este posibil ca unii dintre dezvoltatorii dvs. să nu aibă privilegiul de a vedea datele de producție. În acest caz, un dezvoltator ar putea dezvolta cod pe date eșantion, în timp ce un cont de serviciu privilegiat ar putea accesa datele de producție. Astfel, este posibil să doriți să păstrați întregul set de date de producție într-un proiect Cloud separat și apoi să utilizați un cont de serviciu pentru a permite accesul la datele din fiecare proiect de aplicație  Google Cloud este organizat în jurul proiectelor. Proiectele pot fi grupate în dosare, iar folderele pot fi grupate în organizația dvs. Rolurile sunt stabilite la nivel de proiect, iar permisiunile de acces sunt adăugate acestor roluri la nivelurile compartimentului Cloud Storage. Această structură se aliniază cu structura de permisiuni a altor furnizori de depozit de obiecte  Pentru cele mai bune practici de structurare a unei organizații Google Cloud, consultați Decideți o ierarhie de resurse pentru zona dvs. de destinație Google Cloud  ## Pasul 3: Evaluarea opțiunilor de transfer Pentru a vă evalua opțiunile de transfer de date, echipa de transfer trebuie să ia în considerare mai mulți factori, inclusiv următorii: - Cost - Timpul - Opțiuni de transfer offline versus online - Transfer de instrumente și tehnologii - Securitate  Cost Majoritatea costurilor asociate cu transferul de date includ următoarele: - Costuri de rețea - Intrarea în Cloud Storage este gratuită. Cu toate acestea, dacă vă găzduiți datele pe un furnizor de cloud public, vă puteți aștepta să plătiți o taxă de ieșire și eventual costuri de stocare (de exemplu, operațiuni de citire) pentru transferul datelor dvs. Această taxă se aplică pentru datele care provin de la Google sau de la alt furnizor de cloud  - Dacă datele dvs. sunt găzduite într-un centru de date privat pe care îl utilizați, este posibil să suportați și costuri suplimentare pentru configurarea unei lățimi de bandă mai mari în Google Cloud  - Costurile de stocare și operare pentru Cloud Storage în timpul și după transferul datelor - Costurile produsului (de exemplu, un dispozitiv de transfer) - Cheltuieli de personal pentru asamblarea echipei și obținerea suportului logistic  Timp Puține lucruri în calcul evidențiază limitările hardware ale rețelelor ca transferul de cantități mari de date. În mod ideal, puteți transfera 1 GB în opt secunde printr-o rețea de 1 Gbps. Dacă scalați până la un set de date uriaș (de exemplu, 100 TB), timpul de transfer este de 12 zile. Transferul de seturi de date uriașe poate testa limitele infrastructurii tale și poate cauza probleme afacerii tale  Puteți folosi următorul calculator pentru a înțelege cât timp poate dura un transfer, având în vedere dimensiunea setului de date pe care îl mutați și lățimea de bandă disponibilă pentru transfer. Un anumit procent din timpul de gestionare este luat în considerare în calcule. În plus, este inclusă o eficiență eficientă a lățimii de bandă, astfel încât numerele rezultate sunt mai realiste și nu vor fi obținute numere ideale  Este posibil să nu doriți să transferați seturi mari de date din rețeaua companiei dvs. în timpul orelor de lucru de vârf. Dacă transferul supraîncărcă rețeaua, nimeni altcineva nu va putea finaliza lucrările necesare sau esențiale. Din acest motiv, echipa de transfer trebuie să ia în considerare factorul timpDupă ce datele sunt transferate în Cloud Storage, puteți utiliza o serie de tehnologii pentru a procesa noile fișiere pe măsură ce sosesc, cum ar fi Dataflow   Creșterea lățimii de bandă a rețelei Modul în care creșteți lățimea de bandă a rețelei depinde de modul în care vă conectați la Google Cloud  Într-un transfer de la cloud la cloud între Google Cloud și alți furnizori de cloud, Google asigură conexiunea între centrele de date ale furnizorilor de cloud, fără a necesita configurare din partea dvs.  Dacă transferați date între centrul dvs. de date privat și Google Cloud, există trei abordări principale: - O conexiune publică la internet prin utilizarea unui API public - Peering direct prin utilizarea unui API public - Cloud Interconnect prin utilizarea unui API privat Când evaluați aceste abordări, este util să luați în considerare nevoile dvs. de conectivitate pe termen lung. Ați putea concluziona că este prohibitiv să achiziționați lățime de bandă doar în scopuri de transfer, dar dacă luați în considerare utilizarea pe termen lung a Google Cloud și nevoile de rețea în cadrul organizației dvs., investiția ar putea fi utilă.   Conectarea cu o conexiune publică la internet Când utilizați o conexiune publică la internet, debitul rețelei este mai puțin previzibil, deoarece sunteți limitat de capacitatea și rutarea furnizorului dvs. de servicii de internet (ISP). ISP-ul poate oferi, de asemenea, un Acord de Nivel de Servicii (SLA) limitat sau deloc. Cu toate acestea, aceste conexiuni oferă costuri relativ scăzute și, cu aranjamentele extinse de peering ale Google, ISP-ul dvs. vă poate direcționa către rețeaua globală Google în câteva hopuri de rețea.  Vă recomandăm să verificați cu administratorul de securitate dacă politica companiei dvs. interzice mutarea unor seturi de date pe internetul public. De asemenea, verificați dacă conexiunea publică la internet este utilizată pentru traficul dvs. de producție. Transferurile de date pe scară largă ar putea avea un impact negativ asupra rețelei de producție   Conectarea cu Direct Peering
Pentru a accesa rețeaua Google cu mai puține salturi de rețea decât cu o conexiune publică la internet, puteți utiliza Direct Peering. Utilizând Direct Peering, puteți face schimb de trafic de internet între rețeaua dvs. și punctele de prezență Edge (PoPs) Google, ceea ce înseamnă că datele dvs. nu folosesc internetul public. Procedând astfel, reduceți și numărul de hopuri între rețeaua dvs. și rețeaua Google. Conectarea cu rețeaua Google necesită să configurați un număr de sistem autonom (AS) înregistrat, să vă conectați la Google folosind un schimb de internet și să furnizați un contact non-stop cu centrul dvs. de operațiuni de rețea.

 Conectarea cu Cloud Interconnect
Cloud Interconnect oferă o conexiune directă la Google Cloud prin Google sau unul dintre furnizorii de servicii Cloud Interconnect. Acest serviciu vă ajută să împiedicați accesul datelor dvs. pe internetul public și poate oferi un debit mai consistent pentru transferuri mari de date. De obicei, Cloud Interconnect oferă SLA-uri pentru disponibilitatea rețelei și performanța rețelei lor. Contactați direct un furnizor de servicii pentru a afla mai multe. Cloud Interconnect acceptă, de asemenea, adresarea privată, RFC 1918, astfel încât cloud-ul să devină efectiv o extensie a centrului dvs. de date privat fără a fi nevoie de adrese IP publice sau NAT

 Transfer online versus transfer offline
O decizie critică este dacă să utilizați un proces offline sau online pentru transferul de date. Adică, trebuie să alegeți între transferul printr-o rețea, fie că este o interconectare dedicată sau internetul public, sau transferul prin utilizarea hardware-ului de stocare

Pentru a vă ajuta cu această decizie, vă oferim un calculator de transfer pentru a vă ajuta să estimați diferențele de timp și cost dintre aceste două opțiuni. Următorul grafic arată, de asemenea, unele viteze de transfer pentru diferite dimensiuni și lățimi de bandă de seturi de date. În aceste calcule este inclusă o anumită cantitate de cheltuieli de gestionare

După cum sa menționat mai devreme, ar putea fi necesar să luați în considerare dacă costul pentru obținerea unor latențe mai mici pentru transferul de date (cum ar fi achiziționarea lățimii de bandă a rețelei) este compensat de valoarea investiției respective pentru organizația dvs.

 Opțiuni disponibile de la Google
Google oferă mai multe instrumente și tehnologii pentru a vă ajuta să efectuați un transfer de date

 Decizia dintre opțiunile de transfer ale Google
Alegerea unei opțiuni de transfer depinde de cazul dvs. de utilizare, după cum arată următorul tabel

|
|Unde mutați datele din |
|Scenariu |
|Produse sugerate
|Un alt furnizor de cloud (de exemplu, Amazon Web Services sau Microsoft Azure) către serviciul de transfer Google CloudStorage|
|Cloud Storage to Cloud Storage (două găleți diferite Serviciu de transfer de stocare|
|Centrul dvs. de date privat către Google Cloud||Suficientă lățime de bandă pentru a respecta termenul limită al proiectului
|
pentru mai puțin de 1 TB de date
|
|
|Centrul dvs. de date privat către Google Cloud||Suficientă lățime de bandă pentru a respecta termenul limită al proiectului
|
pentru mai mult de 1 TB de date
|Serviciul de transfer de stocare pentru date on-premise|
|Centrul dvs. de date privat către Google Cloud||Lățime de bandă insuficientă pentru a respecta termenul limită al proiectului||Transfer Appliance|
gsutil pentru transferuri mai mici de date locale
The
instrument gsutil
este instrumentul standard pentru transferurile de dimensiuni mici și mijlocii (mai puțin de
1 TB) într-o rețea tipică la scară de întreprindere, de la un centru de date privat
la Google Cloud. Vă recomandăm să includeți
gsutil în calea implicită
cand folosesti
Cloud Shell

De asemenea, este disponibil în mod implicit atunci când instalați
Google Cloud CLI

Este un instrument de încredere care oferă toate caracteristicile de bază pe care trebuie să le gestionați
ta
Stocare in cloud
cazuri, inclusiv copierea datelor dvs. în și din sistemul de fișiere local și
Stocare in cloud. De asemenea, poate muta și redenumi obiecte și poate performa
sincronizări incrementale în timp real, cum ar fi
rsync, într-un compartiment de stocare în cloud

gsutil este util în special în următoarele scenarii:
- Transferurile dvs. trebuie să fie executate în funcție de necesitate sau în timpul sesiunilor de linie de comandă de către utilizatorii dvs.

- Transferați doar câteva fișiere sau fișiere foarte mari sau ambele

- Consumați rezultatul unui program (ieșire în flux în Cloud Storage)

- Trebuie să urmăriți un director cu un număr moderat de fișiere și să sincronizați toate actualizările cu latențe foarte mici

Elementele de bază pentru a începe
gsutil sunt să
creați un compartiment de stocare în cloud
și
copiați datele
la acea găleată. Pentru transferurile de seturi de date mai mari, există două lucruri
considera:
Pentru transferuri cu mai multe fire, utilizați
gsutil -m

Mai multe fișiere sunt procesate în paralel, crescând viteza de transfer

Pentru un singur fișier mare, utilizați transferuri compuse

Această metodă împarte fișierele mari în bucăți mai mici pentru a crește viteza de transfer. Bucățile sunt transferate și validate în paralel, trimițând toate datele către Google. Odată ce bucățile ajung la Google, acestea sunt combinate (denumite ca
compunând) pentru a forma un singur obiect

Transferurile compozite cu gsutil au unele dezavantaje, inclusiv faptul că fiecare piesă (nu întregul obiect) este verificată individual, iar compoziția claselor de depozitare la rece are ca rezultat penalizări pentru ștergerea timpurie.

 Serviciu de transfer de stocare pentru transferuri mari de date on-premise
Ca
gsutil,
Serviciu de transfer de stocare pentru date locale
permite transferurile de la sistemul de fișiere în rețea (NFS) de stocare la
Stocare in cloud. Cu toate că
gsutil poate suporta dimensiuni mici de transfer (până
la 1 TB), Serviciul de transfer de stocare pentru date on-premise este conceput pentru
transferuri pe scară largă (până la petaocteți de date, miliarde de fișiere). Susține
copii complete sau copii incrementale și funcționează cu toate opțiunile de transfer enumerate
mai devreme în
Decizia dintre opțiunile de transfer ale Google. Aceasta
are, de asemenea, o interfață grafică simplă, gestionată; chiar și neștiiți din punct de vedere tehnic
utilizatorii (după configurare) îl pot folosi pentru a muta date

Serviciul de transfer de stocare pentru date locale este util în special în următoarele scenarii:
- Aveți suficientă lățime de bandă disponibilă pentru a muta volumele de date (consultați Calculatorul de transfer de date Google Cloud)  - Susțineți o bază mare de utilizatori interni care ar putea găsi o linie de comandă instrument ca gsutilprovocator de utilizat  - Aveți nevoie de raportare robustă a erorilor și de o înregistrare a tuturor fișierelor și obiectelor care sunt mutate  - Trebuie să limitați impactul transferurilor asupra altor sarcini de lucru din centrul dvs. de date (acest produs poate rămâne sub limita de lățime de bandă specificată de utilizator)  - Doriți să efectuați transferuri recurente conform unui program  Configurați serviciul de transfer de stocare pentru date locale instalând pe software-ul local [cunoscut sub numele de *agenți*] pe computerele din centrul dvs. de date. Aceste agenții sunt în containere Docker, ceea ce facilitează rularea multora dintre ele sau orchestrați-le prin Kubernetes  După finalizarea instalării, utilizatorii pot iniția transferuri în consola Google Cloud până la oferind un director sursă, un compartiment de destinație și o oră sau un program  Serviciul de transfer de stocare accesează recursiv subdirectoarele și fișierele din directorul sursă și creează obiecte cu un nume corespunzător în Cloud Storage [obiectul /dir/foo/file.txt devine un obiect din compartimentul de destinație numit /dir/foo/file.txt]. Serviciul de transfer de stocare reîncercă automat un transfer atunci când întâlnește erori tranzitorii  În timp ce transferurile rulează, puteți monitoriza câte fișiere sunt mutate și viteza totală de transfer și puteți vizualiza mostre de eroare  Când transferul este încheiat, este generat un fișier delimitat de tabulatori (TSV) cu o înregistrare completă a tuturor fișierelor atinse și a oricăror mesaje de eroare primite. Agenții sunt toleranți la greșeli, așa că, dacă un agent scade, transferul continuă cu agenții rămași. De asemenea, agenții se autoactualizează și se autovindecă, așa că nu trebuie să vă faceți griji cu privire la corectarea celor mai recente versiuni sau la repornirea procesului dacă acesta se defectează din cauza unei probleme neprevăzute  Lucruri de luat în considerare atunci când utilizați serviciul de transfer de stocare: Utilizați o configurare de agent identică pe fiecare mașină. Toți agenții ar trebui să vadă aceleași monturi de sistem de fișiere de rețea (NFS) în același mod (aceleași căi relative). Această configurare este o cerință pentru ca produsul să funcționeze. Mai mulți agenți conduc la o viteză mai mare. Deoarece transferurile sunt paralelizate automat între toți agenții, vă recomandăm să implementați mulți agenți, astfel încât să utilizați lățimea de bandă disponibilă. Limitele lățimii de bandă vă pot proteja sarcinile de lucru. Celelalte sarcini de lucru ar putea folosi lățimea de bandă a centrului de date, așa că setați un plafon pentru lățime de bandă pentru a preveni ca transferurile să vă afecteze SLA-urile. Planificați timpul pentru examinarea erorilor. Transferurile mari pot duce adesea la erori care necesită revizuire. Serviciul de transfer de stocare vă permite să vedeți o mostră a erorilor întâlnite direct în consola Google Cloud. Dacă este necesar, puteți încărca înregistrarea completă a tuturor erorilor de transfer în BigQuery pentru a verifica fișierele sau a evalua erorile care au rămas chiar și după reîncercări. Aceste erori pot fi cauzate de rularea aplicațiilor care scriau la sursă în timp ce a avut loc transferul sau erorile pot dezvălui o problemă care necesită depanare (de exemplu, eroare de permisiuni). Configurați Cloud Monitoring pentru transferuri de lungă durată. Serviciul de transfer de stocare permite monitorizării să monitorizeze starea și debitul agentului, astfel încât să puteți seta alerte care vă anunță atunci când agenții sunt opriți sau au nevoie de atenție. Acționarea în cazul eșecurilor agenților este importantă pentru transferurile care durează câteva zile sau săptămâni, astfel încât să evitați încetinirile sau întreruperile semnificative care pot întârzia calendarul proiectului.   Aparat de transfer pentru transferuri mai mari Pentru transferuri pe scară largă (în special transferuri cu lățime de bandă limitată), Transfer Appliance este o opțiune excelentă, mai ales atunci când o conexiune rapidă la rețea nu este disponibilă și este prea costisitor să achiziționați mai multă lățime de bandă  Transfer Appliance este util în special în următoarele scenarii: - Centrul dvs. de date se află într-o locație îndepărtată, cu acces limitat sau fără acces la lățimea de bandă- Lățimea de bandă este disponibilă, dar nu poate fi achiziționată la timp pentru a vă respecta termenul limită- Aveți acces la resurse logistice pentru a primi și conecta aparate la rețeaua dvs.Cu această opțiune, luați în considerare următoarele:- Transfer Appliance necesită să puteți primi și expedia înapoi hardware-ul deținut de Google- În funcție de conexiunea dvs. la internet, latența pentru transferul de date în Google Cloud este de obicei mai mare cu Transfer Appliance decât online- Transfer Appliance este disponibil numai în anumite țăriCele două criterii principale de luat în considerare cu Transfer Appliance sunt costul și viteza.Cu o conexiune rezonabilă la rețea (de exemplu, 1 Gbps), transferul online a 100 TB de date durează peste 10 zile.Dacă acest tarif este acceptabil, un transfer online este probabil o soluție bună pentru nevoile dvs.Dacă aveți doar o conexiune de 100 Mbps (sau mai rău dintr-o locație la distanță), același transfer durează peste 100 de zile.În acest moment, merită să luați în considerare o opțiune de transfer offline, cum ar fi Transfer ApplianceAchiziționarea unui Transfer Appliance este simplă.În consola Google Cloud, solicitați un Transfer Appliance, indicați câte date aveți, apoi Google trimite unul sau mai multe dispozitive la locația solicitată.Aveți la dispoziție un număr de zile pentru a vă transfera datele către dispozitiv („captură de date”) și a le expedia înapoi la GoogleTimpul de funcționare estimat pentru un dispozitiv de rețea pentru a fi expediat, încărcat cu datele dvs., expediat înapoi și rehidratat pe Google Cloud este de 20 de zile.Dacă intervalul de timp pentru transferul online este calculat a fi mult mai mare decât acest interval de timp, luați în considerare Transfer Appliance.Costul total pentru procesul de dispozitiv de 300 TB este mai mic de 2.500 USDServiciul de transfer de stocare pentru transferuri de la nor la norServiciul de transfer de stocare este un serviciu complet gestionat , serviciu extrem de scalabil pentru automatizarea transferurilor de la alt public în Cloud Storage.Acceptă transferuri în Cloud Storage de la Amazon S3 și HTTPPentru Amazon S3, puteți furniza o cheie de acces și un compartiment S3 cu filtre opționalepentru S3 obiecte de selectat și apoi copiați obiectele S3 în orice
Buchetă de stocare în cloud. Serviciul acceptă, de asemenea, copii zilnice ale oricăror
obiecte modificate. În prezent, serviciul nu acceptă transferuri de date
*la*
Amazon S3

Pentru HTTP, puteți oferi Serviciului de transfer de stocare o listă de adrese URL publice în
un format specificat

Această abordare necesită să scrieți un script care să ofere dimensiunea fiecăruia
fișier în octeți, împreună cu un hash MD5 codificat în Base64 al conținutului fișierului

Uneori, dimensiunea fișierului și hash sunt disponibile de pe site-ul sursă. Dacă
nu, aveți nevoie de acces local la fișiere, caz în care, ar putea fi mai ușor
utilizare
gsutil, așa cum este descris mai devreme

Dacă aveți un transfer, Serviciul de transfer de stocare este o modalitate excelentă de a obține date și de a le păstra, în special atunci când transferați dintr-un alt cloud public

 Securitate
Pentru mulți utilizatori Google Cloud, securitatea este obiectivul lor principal și există diferite niveluri de securitate disponibile. Câteva aspecte ale securității care trebuie luate în considerare includ protejarea datelor în repaus (autorizarea și accesul la sistemul de stocare sursă și destinație), protejarea datelor în timpul tranzitului și protejarea accesului la produsul de transfer. Următorul tabel prezintă aceste aspecte ale securității în funcție de produs

|
|Produs |
|Date în repaus |
|Date în tranzit |
|Acces la transferul produsului
|Transfer Appliance||Toate datele sunt criptate în repaus. Datele sunt protejate cu chei gestionate de client. Oricine poate comanda un aparat, dar pentru a-l utiliza are nevoie de acces la sursa de date.|
|
||Cheile de acces necesare pentru a accesa Cloud Storage, care este criptat în repaus. Datele sunt trimise prin HTTPS și criptate în tranzit. Oricine poate descărca și rula
|
|Serviciul de transfer de stocare pentru date locale||Cheile de acces necesare pentru a accesa Cloud Storage, care este criptat în repaus. Procesul agent poate accesa fișiere locale, deoarece permisiunile sistemului de operare permit. Datele sunt trimise prin HTTPS și criptate în tranzit. Trebuie să aveți permisiuni de editor de obiecte pentru a accesa compartimentele Cloud Storage.|
|Serviciul de transfer de stocare||Cheile de acces necesare pentru resurse non-Google Cloud (de exemplu, Amazon S3). Cheile de acces sunt necesare pentru a accesa Cloud Storage, care este criptat la repaus. Datele sunt trimise prin HTTPS și criptate în tranzit. Trebuie să aveți permisiuni IAM pentru ca contul de serviciu să acceseze permisiunile sursă și editor de obiecte pentru orice compartiment Cloud Storage.|
Pentru a obține îmbunătățiri de securitate de bază, transferurile online către
Utilizarea Google Cloud
gsutil
sunt realizate prin HTTPS, datele sunt criptate în tranzit și toate datele în
Cloud Storage este, în mod implicit, criptat în repaus. Pentru informatii despre
scheme mai sofisticate legate de securitate, vezi
Considerații de securitate și confidențialitate

Dacă utilizați
Aparat de transfer,
cheile de securitate pe care le controlați vă pot ajuta să vă protejați datele. În general, noi
vă recomandăm să implicați echipa de securitate pentru a vă asigura că planul dvs. de transfer
îndeplinește cerințele companiei și reglementărilor dvs

 Produse de transfer de la terți
Pentru optimizarea avansată la nivel de rețea sau fluxurile de lucru în curs de transfer de date, este posibil să doriți să utilizați instrumente mai avansate. Pentru informații despre instrumente mai avansate, vizitați partenerii Google

Următoarele link-uri evidențiază câteva dintre numeroasele opțiuni (enumerate aici în ordine alfabetică):
- Aspera On Cloud se bazează pe protocolul brevetat Aspera și este potrivit pentru fluxuri de lucru la scară largă. Este disponibil la cerere ca model de licență de abonament

- Cloud FastPath by Tervela poate fi folosit pentru a construi un flux de date gestionat în și în afara Google Cloud. Pentru detalii, consultați Utilizarea Cloud FastPath pentru a crea fluxuri de date

- Signiant oferă Media Shuttle ca soluție software-as-a-service (SaaS) pentru a transfera orice fișier către sau de la oriunde. De asemenea, Signiant oferă Flight ca un utilitar de autoscaling bazat pe un protocol extrem de optimizat și Signiant Flight Deck ca instrument de automatizare pentru transferuri la scară largă în locații dispersate geografic

## Pasul 4: Pregătirea transferului
Pentru un transfer mare sau un transfer cu dependențe semnificative, este important să înțelegeți cum să vă operați produsul de transfer. Clienții parcurg de obicei următorii pași:
Estimarea prețurilor și a rentabilității investiției. Acest pas oferă multe opțiuni pentru a ajuta la luarea deciziilor. Testare funcțională. În acest pas, confirmați că produsul poate fi configurat cu succes și că conectivitatea la rețea (unde este cazul) funcționează. De asemenea, testați că puteți muta un eșantion reprezentativ al datelor dvs. (inclusiv pașii care însoțesc non-transfer, cum ar fi mutarea unei instanțe VM) la destinație

De obicei, puteți face acest pas înainte de a aloca toate resursele, cum ar fi mașinile de transfer sau lățimea de bandă. Obiectivele acestui pas includ următoarele:
- Confirmați că puteți instala și opera transferul

- Evidențiați probleme potențiale de oprire a proiectelor care blochează mișcarea datelor (de exemplu, rutele de rețea) sau operațiunile dvs. (de exemplu, formarea necesară într-o etapă care nu este transferul)

Testarea performanței. În acest pas, executați un transfer pe un eșantion mare de date (de obicei 3¢ÃÂÃÂ5%) după ce resursele de producție sunt alocate pentru a face următoarele:
- Confirmați că puteți consuma toate resursele alocate și că puteți obține vitezele pe care le așteptați

- Suprafațați și remediați blocajele (de exemplu, sistemul de stocare cu sursă lentă)

## Pasul 5: Asigurarea integrității transferului dvs
Pentru a asigura integritatea datelor dvs. în timpul unui transfer, vă recomandăm să luați următoarele măsuri de precauție:
- Activați versiunea și copierea de rezervă pe destinația dvs. pentru a limita deteriorarea ștergerilor accidentale

- Validați-vă datele înainte de a elimina datele sursă

Pentru transferurile de date pe scară largă (cu petabytes de date și miliarde de fișiere), o rată de eroare latentă de bază a sistemului de stocare sursă subiacent de până la 0,0001% duce în continuare la o pierdere de date de mii de fișiere și gigabytes. De obicei, aplicațiile care rulează la sursă sunt deja tolerante la aceste erori, caz în care nu este necesară o validare suplimentară. În unele scenarii excepționale (de exemplu, arhiva pe termen lung), este necesară mai multă validare înainte de a se considera sigură ștergerea datelor din sursă

În funcție de cerințele aplicației dvs., vă recomandăm să efectuați câteva teste de integritate a datelor după finalizarea transferului, pentru a vă asigura că aplicația continuă să funcționeze conform intenției. Multe produse de transfer au încorporate verificări ale integrității datelor. Cu toate acestea, în funcție de profilul dvs. de risc, este posibil să doriți să efectuați un set suplimentar de verificări asupra datelor și a aplicațiilor care citesc acele date înainte de a șterge datele din sursă. De exemplu, este posibil să doriți să confirmați dacă o sumă de control pe care ați înregistrat-o și calculată independent se potrivește cu datele scrise la destinație sau să confirmați că un set de date utilizat de aplicație a fost transferat cu succes

## Găsirea ajutorului
Google Cloud oferă diverse opțiuni și resurse pentru a găsi ajutorul și asistența necesare pentru a utiliza cel mai bine serviciile Google Cloud:
Resurse de autoservire. Dacă nu aveți nevoie de asistență dedicată, aveți diverse opțiuni pe care le puteți utiliza în ritmul dvs. Parteneri tehnologici. Google Cloud a colaborat cu mai multe companii pentru a vă ajuta să utilizați produsele și serviciile noastre. Servicii profesionale Google Cloud. Serviciile noastre profesionale vă pot ajuta să profitați la maximum de investiția dvs. în Google Cloud

Există mai multe resurse pentru a ajuta la migrarea sarcinilor de lucru către Google Cloud în Centrul de migrare Google Cloud

Pentru mai multe informații despre aceste resurse, consultați secțiunea de ajutor pentru găsirea din Migrare la Google Cloud: Noțiuni introductive

## Ce urmeaza
- Dacă aveți întrebări despre elaborarea unui plan de transfer sau despre un anumit caz de utilizare, puteți contacta serviciul de asistență Google Cloud sau contactați direct echipa Contului dvs. Google

- Pentru a începe transferul, vă oferim următoarele ghiduri:
- Pentru strategii generale de migrare a datelor: migrarea unei aplicații monolitice la microservicii pe Google Kubernetes Engine
- Pentru un transfer offline: Transfer Appliance
- Pentru un transfer online dintr-un cloud public: Serviciul de transfer de stocare
- Explorați arhitecturi de referință, diagrame, tutoriale și cele mai bune practici despre Google Cloud. Aruncă o privire la Centrul nostru de arhitectură în cloud.