Per molti clienti, il primo passo nell'adozione di un prodotto Google Cloud è l'inserimento dei propri dati in Google Cloud. Questo documento esplora tale processo, dalla pianificazione di un trasferimento di dati all'utilizzo delle migliori pratiche nell'implementazione di un piano
Il trasferimento di set di dati di grandi dimensioni implica la creazione del team giusto, la pianificazione anticipata e il test del piano di trasferimento prima di implementarlo in un ambiente di produzione. Sebbene questi passaggi possano richiedere tanto tempo quanto il trasferimento stesso, tali preparativi possono aiutare a ridurre al minimo l'interruzione delle operazioni aziendali durante il trasferimento
Questo documento fa parte di una serie in più parti sulla migrazione a Google Cloud. Se sei interessato a una panoramica della serie, consulta Migrazione a Google Cloud: scelta del percorso di migrazione
Questo articolo fa parte di una serie:
- Migrazione a Google Cloud: come iniziare
- Migrazione a Google Cloud: valutazione e scoperta dei tuoi carichi di lavoro
- Migrazione a Google Cloud: costruisci le tue fondamenta
- Migrazione a Google Cloud: trasferimento di set di dati di grandi dimensioni (questo documento)
- Migrazione a Google Cloud: distribuzione dei tuoi carichi di lavoro
- Migrazione a Google Cloud: migrazione da implementazioni manuali a implementazioni automatizzate e containerizzate
- Migrazione a Google Cloud: ottimizzazione del tuo ambiente
- Migrazione a Google Cloud: best practice per la convalida di un piano di migrazione
Il diagramma seguente illustra il percorso del viaggio di migrazione
La fase di implementazione è la terza fase della migrazione a Google Cloud, in cui progetti un processo di implementazione per i tuoi carichi di lavoro
Questo documento è utile se stai pianificando una migrazione da un ambiente on-premise, da un ambiente di hosting privato, da un altro fornitore di servizi cloud a Google Cloud o se stai valutando l'opportunità di eseguire la migrazione e vuoi esplorare come potrebbe essere come
## Che cos'è il trasferimento dei dati?
Ai fini del presente documento, il trasferimento dei dati è il processo di spostamento dei dati senza trasformarli, ad esempio spostando i file così come sono in oggetti
Il trasferimento dei dati non è così semplice come sembra
È allettante pensare al trasferimento dei dati come a una gigantesca sessione FTP, in cui metti i tuoi file da una parte e aspetti che escano dall'altra. Tuttavia, nella maggior parte degli ambienti aziendali, il processo di trasferimento coinvolge molti fattori come i seguenti:
- Ideazione di un piano di trasferimento che tenga conto del tempo amministrativo, incluso il tempo per decidere un'opzione di trasferimento, ottenere approvazioni e affrontare problemi imprevisti
- Coordinamento delle persone all'interno dell'organizzazione, come il team che esegue il trasferimento, il personale che approva gli strumenti e l'architettura e le parti interessate aziendali interessate al valore e alle interruzioni che lo spostamento dei dati può portare
- Scegliere lo strumento di trasferimento giusto in base alle risorse, ai costi, ai tempi e ad altre considerazioni sul progetto
- Superare le sfide del trasferimento dei dati, inclusi i problemi di "velocità della luce"(larghezza di banda insufficiente), spostare i set di dati che sono in uso attivo, proteggere e monitorare i dati mentre sono in volo e garantire che i dati vengano trasferiti correttamente
Questo documento ha lo scopo di aiutarti a iniziare un'iniziativa di trasferimento di successo
Altri progetti relativi al trasferimento dei dati
Il seguente elenco include risorse per altri tipi di progetti di trasferimento dati non trattati in questo documento:
- Se devi trasformare i tuoi dati (come combinare righe, unire set di dati o filtrare informazioni personali identificabili), dovresti prendere in considerazione una soluzione di estrazione, trasformazione e caricamento (ETL) in grado di depositare i dati in un data warehouse di Google Cloud. Per un esempio di questa architettura, vedere questo tutorial di Dataflow
- Se è necessario eseguire la migrazione di un database e delle app correlate (ad esempio, per sollevare e spostare un'app di database), è possibile consultare la documentazione per Cloud Spanner, le soluzioni per PostgreSQL e altra documentazione sul tipo di database
- Se desideri migrare i tuoi dati da HBase a un servizio di database NoSQL completamente gestito, compatibile con l'API HBase e in grado di gestire carichi di lavoro più grandi, dai un'occhiata a Cloud Bigtable
- Se devi spostare un'istanza di una macchina virtuale (VM), prendi in considerazione l'utilizzo del prodotto di migrazione delle VM di Google, Migrate to Virtual Machines
## Step 1: Assemblare la tua squadra
La pianificazione di un trasferimento in genere richiede personale con i seguenti ruoli e responsabilità:
Abilitazione delle risorse necessarie per un trasferimento: amministratori di storage, IT e rete, uno sponsor esecutivo e altri consulenti (ad esempio, un team di account Google o partner di integrazione) Approvazione della decisione di trasferimento: proprietari o governatori dei dati (per le norme interne su chi è autorizzato a trasferire quali dati), consulenti legali (per le normative relative ai dati) e un amministratore della sicurezza (per le politiche interne su come è protetto l'accesso ai dati) Esecuzione del trasferimento: un responsabile del team, un project manager (per l'esecuzione e il monitoraggio del progetto ), un team di ingegneri e ricezione e spedizione in loco (per ricevere l'hardware dell'appliance)
È fondamentale identificare chi detiene le responsabilità precedenti per il progetto di trasferimento e includerli nelle riunioni di pianificazione e decisione quando appropriato. Una scarsa pianificazione organizzativa è spesso la causa di iniziative di trasferimento fallite
Raccogliere i requisiti del progetto e il contributo di queste parti interessate può essere impegnativo, ma fare un piano e stabilire ruoli e responsabilità chiari ripaga. Non ci si può aspettare che tu conosca tutti i dettagli dei tuoi dati. Assemblare un team ti offre una visione più ampia delle esigenze dell'azienda. È consigliabile identificare potenziali problemi prima di investire tempo, denaro e risorse per completare i trasferimenti
## Passaggio 2: raccolta dei requisiti e delle risorse disponibili
Quando si progetta un piano di trasferimento, si consiglia di raccogliere prima i requisiti per il trasferimento dei dati e quindi decidere un'opzione di trasferimento. Per raccogliere i requisiti, puoi utilizzare il seguente processo:
- Identifica quali set di dati devi spostare
- Selezionare strumenti come Data Catalog per organizzare i dati in raggruppamenti logici che vengono spostati e utilizzati insieme
- Collabora con i team all'interno della tua organizzazione per convalidare o aggiornare questi raggruppamenti
- Identifica quali set di dati hai
può muoversi
- Considerare se i fattori normativi, di sicurezza o di altro tipo vietano il trasferimento di alcuni set di dati
- Se devi trasformare alcuni dei tuoi dati prima di spostarli (ad esempio, per rimuovere dati sensibili o riorganizzare i tuoi dati), prendi in considerazione l'utilizzo di un prodotto di integrazione dei dati come Dataflow o Cloud Data Fusion o un prodotto di orchestrazione del flusso di lavoro come Cloud Composer
- Per i set di dati mobili, determinare dove trasferire ogni set di dati
- Registra quale opzione di archiviazione selezioni per archiviare i tuoi dati. In genere, il sistema di archiviazione di destinazione su Google Cloud è Cloud Storage. Anche se hai bisogno di soluzioni più complesse dopo che le tue applicazioni sono attive e in esecuzione, Cloud Storage è un'opzione di archiviazione scalabile e duratura
- Comprendere quali criteri di accesso ai dati devono essere mantenuti dopo la migrazione
- Determinare se è necessario archiviare questi dati in regioni specifiche
- Pianificare come strutturare questi dati a destinazione. Ad esempio, sarà uguale alla fonte o diversa?
- Determinare se è necessario trasferire i dati su base continuativa
- Per i set di dati mobili, determinare quali risorse sono disponibili
per spostarli
- Tempo: quando deve essere completato il trasferimento?
- Costo: qual è il budget disponibile per la squadra e i costi di trasferimento?
- Persone: chi è disponibile per eseguire il trasferimento?
- Larghezza di banda (per i trasferimenti online): quanta larghezza di banda attualmente disponibile per Google Cloud può essere assegnata per un trasferimento e per quale periodo di tempo?
Prima di valutare e selezionare le opzioni di trasferimento nella fase successiva della pianificazione, ti consigliamo di valutare se qualsiasi parte del tuo modello IT può essere migliorata, come la governance dei dati, l'organizzazione e la sicurezza
Il tuo modello di sicurezza
A molti membri del team di trasferimento potrebbero essere concessi nuovi ruoli nella tua organizzazione Google Cloud nell'ambito del tuo progetto di trasferimento dei dati.La pianificazione del trasferimento dei dati è un ottimo momento per rivedere le autorizzazioni IAM (Identity and Access Management) e le best practice per l'utilizzo sicuro di IAM.Questi problemi possono influenzare il modo in cui concedi l'accesso al tuo spazio di archiviazione.Ad esempio, potresti imporre limiti rigorosi all'accesso in scrittura ai dati che sono stati archiviati per motivi normativi, ma potresti consentire a molti utenti e applicazioni di scrivere dati nel tuo ambiente di testLa tua organizzazione Google CloudIl modo in cui strutturi i tuoi dati su Google Cloud dipende da come prevedi di utilizzare Google Cloud.L'archiviazione dei dati nello stesso progetto Cloud in cui esegui l'applicazione è un approccio semplice, ma potrebbe non essere ottimale dal punto di vista gestionale.Alcuni dei tuoi sviluppatori potrebbero non avere il privilegio di visualizzare i dati di produzione.In tal caso, uno sviluppatore potrebbe sviluppare codice su dati di esempio, mentre un account di servizio con privilegi potrebbe accedere ai dati di produzione.Pertanto, potresti voler conservare l'intero set di dati di produzione in un progetto Cloud separato e quindi utilizzare un account di servizio per consentire l'accesso ai dati da ogni progetto applicativoGoogle Cloud è organizzato intorno ai progetti.I progetti possono essere raggruppati in cartelle e le cartelle possono essere raggruppate sotto la tua organizzazione.I ruoli vengono stabiliti a livello di progetto e le autorizzazioni di accesso vengono aggiunte a questi ruoli a livello di bucket Cloud Storage.Questa struttura è in linea con la struttura delle autorizzazioni di altri fornitori di archivi di oggettiPer le best practice per strutturare un'organizzazione Google Cloud, consulta Decidere una gerarchia di risorse per la tua zona di destinazione Google Cloud## Passaggio 3: valutazione delle opzioni di trasferimentoPer valutare le opzioni di trasferimento dei dati, il team di trasferimento deve considerare diversi fattori, inclusi i seguenti:- Costo- Tempo- Opzioni di trasferimento offline o online- Strumenti e tecnologie di trasferimento- SicurezzaCostoLa maggior parte dei costi associati con il trasferimento dei dati includono quanto segue:- Costi di rete- L'accesso a Cloud Storage è gratuito.Tuttavia, se stai ospitando i tuoi dati su un provider di cloud pubblico, puoi aspettarti di pagare un addebito in uscita e potenzialmente i costi di archiviazione (ad esempio, le operazioni di lettura) per il trasferimento dei tuoi dati.Questo addebito si applica ai dati provenienti da Google o da un altro fornitore di servizi cloud- Se i tuoi dati sono ospitati in un data center privato che gestisci, potresti anche dover sostenere costi aggiuntivi per l'impostazione aumenta la larghezza di banda per Google Cloud- Costi operativi e di archiviazione per Cloud Storage durante e dopo il trasferimento dei dati- Costi del prodotto (ad esempio, un dispositivo di trasferimento)- Costi del personale per l'assemblaggio del team e l'acquisizione del supporto logisticoTempoPoche cose nell'informatica evidenziano i limiti hardware delle reti come il trasferimento di grandi quantità di dati.Idealmente, puoi trasferire 1 GB in otto secondi su una rete da 1 Gbps.Se lo ridimensioni fino a un enorme set di dati (ad esempio, 100 TB), il tempo di trasferimento è di 12 giorni.Il trasferimento di enormi set di dati può mettere alla prova i limiti della tua infrastruttura e potenzialmente causare problemi alla tua aziendaPuoi utilizzare il seguente calcolatore per capire quanto tempo potrebbe richiedere un trasferimento, dato il dimensione del set di dati che stai spostando e la larghezza di banda disponibile per il trasferimento.Nei calcoli viene presa in considerazione una certa percentuale del tempo di gestione.Inoltre, è inclusa un'efficace efficienza della larghezza di banda, quindi i numeri risultanti sono più realistici e non si otterranno numeri idealiPotresti non voler trasferire grandi set di dati fuori dalla tua azienda rete durante le ore lavorative di punta.Se il trasferimento sovraccarica la rete, nessun altro sarà in grado di portare a termine il lavoro necessario o mission-critical.Per questo motivo, il team di trasferimento deve considerare il fattore tempoDopo che i dati sono stati trasferiti in Cloud Storage, puoi utilizzare una serie di tecnologie per elaborare i nuovi file non appena arrivano, ad esempio DataflowAumento della larghezza di banda della reteCome aumentare la larghezza di banda della rete la larghezza di banda dipende da come ti connetti a Google CloudIn un trasferimento cloud-to-cloud tra Google Cloud e altri fornitori di servizi cloud, Google esegue il provisioning della connessione tra i data center dei fornitori di servizi cloud, senza richiedere alcuna configurazione da parte tuaSe stai trasferendo dati tra il tuo data center privato e Google Cloud, ci sono tre approcci principali:- Una connessione Internet pubblica utilizzando un'API pubblica- Peering diretto utilizzando un'API pubblica- Cloud Interconnect utilizzando un'API privataQuando si valutano questi approcci, è utile considerare le esigenze di connettività a lungo termine.Si potrebbe concludere che sia proibitivo acquistare la larghezza di banda esclusivamente a scopo di trasferimento, ma se si tiene conto dell'utilizzo a lungo termine di Google Cloud e delle esigenze di rete all'interno dell'organizzazione, l'investimento potrebbe valere la penaConnessione con una connessione Internet pubblicaQuando utilizzi una connessione Internet pubblica, il throughput di rete è meno prevedibile perché sei limitato dalla capacità e dall'instradamento del tuo provider di servizi Internet (ISP).L'ISP potrebbe anche offrire un Service Level Agreement (SLA) limitato o del tutto assente.Tuttavia, queste connessioni offrono costi relativamente bassi e, con gli ampi accordi di peering di Google, il tuo ISP potrebbe indirizzarti sulla rete globale di Google in pochi salti di reteTi consigliamo di controllare con il tuo amministratore della sicurezza per sapere se la tua politica aziendale vieta lo spostamento di alcuni set di dati su Internet pubblico.Controlla anche se la connessione Internet pubblica è utilizzata per il tuo traffico di produzione.I trasferimenti di dati su larga scala potrebbero avere un impatto negativo sulla rete di produzioneConnessione con il peering diretto
Per accedere alla rete Google con meno salti di rete rispetto a una connessione Internet pubblica, puoi utilizzare il peering diretto. Utilizzando il peering diretto, puoi scambiare il traffico Internet tra la tua rete e gli Edge Point of Presence (PoP) di Google, il che significa che i tuoi dati non utilizzano la rete Internet pubblica. In questo modo si riduce anche il numero di salti tra la tua rete e la rete di Google. Il peering con la rete di Google richiede l'impostazione di un numero AS (Autonomous System) registrato, la connessione a Google tramite uno scambio Internet e la fornitura di un contatto 24 ore su 24 con il centro operativo della rete
Connessione con Cloud Interconnect
Cloud Interconnect offre una connessione diretta a Google Cloud tramite Google o uno dei provider di servizi Cloud Interconnect. Questo servizio aiuta a impedire che i tuoi dati vadano su Internet pubblico e può fornire un throughput più coerente per trasferimenti di dati di grandi dimensioni. In genere, Cloud Interconnect fornisce SLA per la disponibilità e le prestazioni della rete. Contatta direttamente un fornitore di servizi per saperne di più. Cloud Interconnect supporta anche l'indirizzamento privato, RFC 1918, in modo che il cloud diventi effettivamente un'estensione del tuo data center privato senza la necessità di indirizzi IP pubblici o NAT
Trasferimento online contro trasferimento offline
Una decisione critica è se utilizzare un processo offline o online per il trasferimento dei dati. Vale a dire, devi scegliere tra il trasferimento su una rete, che si tratti di un'interconnessione dedicata o di Internet pubblico, o il trasferimento utilizzando l'hardware di archiviazione
Per aiutarti in questa decisione, forniamo un calcolatore di trasferimento per aiutarti a stimare le differenze di tempo e di costo tra queste due opzioni. Il grafico seguente mostra anche alcune velocità di trasferimento per varie dimensioni di set di dati e larghezze di banda. Una certa quantità di sovraccarico di gestione è incorporata in questi calcoli
Come notato in precedenza, potrebbe essere necessario considerare se il costo per ottenere latenze inferiori per il trasferimento dei dati (come l'acquisizione della larghezza di banda di rete) è compensato dal valore di tale investimento per l'organizzazione
Opzioni disponibili da Google
Google offre diversi strumenti e tecnologie per aiutarti a eseguire un trasferimento di dati
Decidere tra le opzioni di trasferimento di Google
La scelta di un'opzione di trasferimento dipende dal caso d'uso, come mostra la tabella seguente
|
|Da dove stai spostando i dati |
|Scenario |
|Prodotti suggeriti
|Un altro provider cloud (ad esempio, Amazon Web Services o Microsoft Azure) a Google CloudStorage Transfer Service|
|Da Cloud Storage a Cloud Storage (due diversi bucketStorage Transfer Service|
|Il tuo data center privato su Google Cloud||La larghezza di banda sufficiente per rispettare la scadenza del progetto
|
per meno di 1 TB di dati
|
|
|Il tuo data center privato su Google Cloud||La larghezza di banda sufficiente per rispettare la scadenza del progetto
|
per più di 1 TB di dati
|Storage Transfer Service per dati locali|
|Il tuo data center privato su Google Cloud||Larghezza di banda insufficiente per rispettare la scadenza del progetto||Trasferisci l'appliance|
gsutil per piccoli trasferimenti di dati locali
Il
strumento gsutil
è lo strumento standard per i trasferimenti di piccole e medie dimensioni (meno di
1 TB) su una tipica rete di livello aziendale, da un data center privato
a Google Cloud. Ti consigliamo di includere
gsutil nel percorso predefinito
quando usi
Guscio Nuvoloso
È disponibile anche per impostazione predefinita quando si installa il file
interfaccia a riga di comando di Google Cloud
È uno strumento affidabile che fornisce tutte le funzionalità di base necessarie per la gestione
il tuo
Archiviazione cloud
istanze, inclusa la copia dei dati da e verso il file system locale e
Archiviazione cloud. Può anche spostare e rinominare oggetti ed eseguire
sincronizzazioni incrementali in tempo reale, come
rsync, a un bucket Cloud Storage
gsutil è particolarmente utile nei seguenti scenari:
- I tuoi trasferimenti devono essere eseguiti in base alle necessità o durante le sessioni della riga di comando da parte dei tuoi utenti
- Stai trasferendo solo pochi file o file molto grandi o entrambi
- Stai consumando l'output di un programma (streaming dell'output su Cloud Storage)
- Devi controllare una directory con un numero moderato di file e sincronizzare eventuali aggiornamenti con latenze molto basse
Le basi per iniziare
gsutil devono
creare un bucket Cloud Storage
e
copiare i dati
a quel secchio. Per i trasferimenti di set di dati più grandi, ci sono due cose da fare
tener conto di:
Per i trasferimenti multi-thread, utilizzare
gsutil -m
Diversi file vengono elaborati in parallelo, aumentando la velocità di trasferimento
Per un singolo file di grandi dimensioni, utilizza i trasferimenti compositi
Questo metodo suddivide i file di grandi dimensioni in blocchi più piccoli per aumentare la velocità di trasferimento. I blocchi vengono trasferiti e convalidati in parallelo, inviando tutti i dati a Google. Una volta che i blocchi arrivano a Google, vengono combinati (indicati come
comporre) per formare un unico oggetto
I trasferimenti compositi con gsutil presentano alcuni inconvenienti, incluso il fatto che ogni pezzo (non l'intero oggetto) viene sommato individualmente al checksum e la composizione delle classi di celle frigorifere comporta sanzioni per l'eliminazione anticipata
Storage Transfer Service per trasferimenti di grandi dimensioni di dati locali
Piace
gsutil,
Servizio di trasferimento archiviazione per dati locali
abilita i trasferimenti dall'archiviazione NFS (Network File System) a
Archiviazione cloud. Sebbene
gsutil può supportare piccole dimensioni di trasferimento (up
a 1 TB), Storage Transfer Service per i dati locali è progettato per
trasferimenti su larga scala (fino a petabyte di dati, miliardi di file). Supporta
copie complete o copie incrementali e funziona su tutte le opzioni di trasferimento elencate
prima dentro
Decidere tra le opzioni di trasferimento di Google. Esso
ha anche un'interfaccia utente grafica semplice e gestita; anche non tecnicamente esperto
gli utenti (dopo l'installazione) possono utilizzarlo per spostare i dati
Storage Transfer Service per i dati locali è particolarmente utile nei seguenti scenari:
- Hai una larghezza di banda disponibile sufficiente per spostare i volumi di dati (vedi il calcolatore di trasferimento dei dati di Google Cloud)- Supporti un'ampia base di utenti interni che potrebbero trovare una riga di comandostrumento comegsutil impegnativo da usare- Hai bisogno di una solida segnalazione degli errori e di una registrazione di tutti i file e gli oggetti che vengono spostati- Devi limitare l'impatto dei trasferimenti su altri carichi di lavoro nel tuo data center (questo prodotto può rimanere al di sotto di un limite di larghezza di banda specificato dall'utente)- Vuoi eseguire trasferimenti ricorrenti secondo una pianificazioneConfigura Storage Transfer Service per i dati locali installando software locale[noto come *agenti*] sui computer nel tuo data center.Questiagenti si trovano nei container Docker, il che semplifica l'esecuzione di molti di essi ol'orchestrazione tramite KubernetesAl termine dell'installazione , gli utenti possono avviare i trasferimenti nella console di Google Cloudfornendo una directory di origine, un bucket di destinazione e l'ora o la pianificazioneStorage Transfer Service esegue la scansione ricorsiva delle sottodirectory e dei file nelladirectory di origine e crea oggetti con un nome corrispondente inCloud Storage [l'oggetto /dir/foo/file.txt diventa un oggetto nel bucket di destinazione denominato /dir/foo/file.txt].Storage Transfer Serviceriprova automaticamente un trasferimento quando incontra eventuali errori temporaneiDurante l'esecuzione dei trasferimenti, puoi monitorare quanti file vengono spostati ela velocità di trasferimento complessiva e puoi visualizzare esempi di erroreAl termine del trasferimento, viene generato un file delimitato da tabulazioni (TSV) con un record completo di tutti i file toccati ed eventuali messaggi di errore ricevuti.Gli agent sono tolleranti ai guasti, quindi se un agent si interrompe, il trasferimento continua con gli agent rimanenti.Gli agenti si aggiornano e riparano automaticamente, quindi non devi preoccuparti di applicare le patch alle versioni più recenti o di riavviare il processo se si interrompe a causa di un problema imprevistoAspetti da considerare quando si utilizza Storage Transfer Service:Utilizzare una configurazione agente identica su ogni macchina. Tutti gli agenti dovrebbero visualizzare gli stessi montaggi NFS (Network File System) allo stesso modo (stessi percorsi relativi).Questa configurazione è un requisito per il funzionamento del prodotto.Più agenti si traducono in una maggiore velocità.Poiché i trasferimenti vengono parallelizzati automaticamente tra tutti gli agenti, ti consigliamo di distribuire molti agenti in modo da utilizzare la larghezza di banda disponibile.I limiti di larghezza di banda possono proteggere i tuoi carichi di lavoro. Gli altri carichi di lavoro potrebbero utilizzare la larghezza di banda del tuo data center, quindi imposta un limite di larghezza di banda per evitare che i trasferimenti influiscano sui tuoi SLA.Pianifica il tempo per la revisione degli errori. I trasferimenti di grandi dimensioni possono spesso portare a errori che richiedono la revisione.Storage Transfer Service ti consente di visualizzare un esempio degli errori riscontrati direttamente nella console di Google Cloud.Se necessario, puoi caricare il record completo di tutti gli errori di trasferimento in BigQuery per controllare i file o valutare gli errori rimasti anche dopo i tentativi.Questi errori potrebbero essere causati dall'esecuzione di app che stavano scrivendo sull'origine mentre si verificava il trasferimento oppure gli errori potrebbero rivelare un problema che richiede la risoluzione dei problemi (ad esempio, errore di autorizzazione).Configura Cloud Monitoring per i trasferimenti a esecuzione prolungata.Storage Transfer Service consente a Monitoring di monitorare l'integrità e la velocità effettiva degli agenti, in modo da poter impostare avvisi che ti avvisano quando gli agenti sono inattivi o richiedono attenzione.Agire sui guasti degli agenti è importante per i trasferimenti che richiedono diversi giorni o settimane, in modo da evitare rallentamenti o interruzioni significativi che possono ritardare la tempistica del progettoTransfer Appliance per trasferimenti più grandiPer i trasferimenti su larga scala (in particolare i trasferimenti con larghezza di banda di rete limitata), Transfer Appliance è un'opzione eccellente, soprattutto quando non è disponibile una connessione di rete veloce ed è troppo costoso acquisire più larghezza di bandaTransfer Appliance è particolarmente utile nei seguenti scenari:- Il tuo data center si trova in una posizione remota con accesso limitato o assente alla larghezza di banda- La larghezza di banda è disponibile, ma non può essere acquisita in tempo per rispettare la scadenza- Hai accesso alle risorse logistiche per ricevere e connettere gli apparecchi alla tua reteCon questa opzione, considera quanto segue:- Transfer Appliance richiede che tu sia in grado di ricevere e rispedire l'hardware di proprietà di Google- A seconda della tua connessione Internet, il la latenza per il trasferimento dei dati in Google Cloud è in genere maggiore con Transfer Appliance che online- Transfer Appliance è disponibile solo in alcuni paesiI due criteri principali da considerare con Transfer Appliance sono costi e velocità.Con una connettività di rete ragionevole (ad esempio, 1 Gbps), il trasferimento di 100 TB di dati online richiede oltre 10 giorni per essere completato.Se questa tariffa è accettabile, un trasferimento online è probabilmente una buona soluzione per le tue esigenze.Se hai solo una connessione a 100 Mbps (o peggio da una postazione remota), lo stesso trasferimento richiede più di 100 giorni.A questo punto, vale la pena considerare un'opzione di trasferimento offline come Transfer ApplianceL'acquisizione di un Transfer Appliance è semplice.Nella console di Google Cloud, richiedi un'appliance di trasferimento, indichi la quantità di dati di cui disponi, quindi Google spedisce una o più appliance nella posizione richiesta.Hai a disposizione un numero di giorni per trasferire i tuoi dati all'appliance ("acquisizione dati") e rispedirli a GoogleIl tempo di consegna previsto per un'appliance di rete per essere spedito, caricato con i tuoi dati, rispedito e reidratato su Google Cloud è di 20 giorni.Se si calcola che il periodo di tempo per il trasferimento online sia sostanzialmente superiore a questo periodo di tempo, prendere in considerazione Transfer Appliance.Il costo totale per il processo del dispositivo da 300 TB è inferiore a $ 2.500Storage Transfer Service per trasferimenti da cloud a cloudStorage Transfer Service è un servizio completamente gestito , servizio altamente scalabile per automatizzare i trasferimenti da altri pubblici a Cloud Storage.Supporta i trasferimenti in Cloud Storage da Amazon S3 e HTTPPer Amazon S3, puoi fornire una chiave di accesso e un bucket S3 confiltri opzionali per S3 oggetti da selezionare, quindi copi gli oggetti S3 in qualsiasi
Secchio di archiviazione cloud. Il servizio supporta anche copie giornaliere di qualsiasi
oggetti modificati. Il servizio attualmente non supporta i trasferimenti di dati
*a*
Amazon S3
Per HTTP, puoi fornire a Storage Transfer Service un elenco di URL pubblici in
un formato specificato
Questo approccio richiede di scrivere uno script che fornisca la dimensione di ciascuno
file in byte, insieme a un hash MD5 con codifica Base64 del contenuto del file
A volte la dimensione del file e l'hash sono disponibili dal sito Web di origine. Se
no, è necessario l'accesso locale ai file, nel qual caso potrebbe essere più semplice
uso
gsutil, come descritto in precedenza
Se hai un trasferimento in atto, Storage Transfer Service è un ottimo modo per ottenere dati e conservarli, in particolare durante il trasferimento da un altro cloud pubblico
Sicurezza
Per molti utenti di Google Cloud, la sicurezza è l'obiettivo principale e sono disponibili diversi livelli di sicurezza. Alcuni aspetti della sicurezza da considerare includono la protezione dei dati inattivi (autorizzazione e accesso al sistema di archiviazione di origine e di destinazione), la protezione dei dati durante il transito e la protezione dell'accesso al prodotto di trasferimento. La tabella seguente delinea questi aspetti della sicurezza per prodotto
|
|Prodotto |
|Dati a riposo |
|Dati in transito |
|Accesso per trasferire il prodotto
|Transfer Appliance||Tutti i dati sono crittografati a riposoI dati sono protetti con chiavi gestite dal clienteChiunque può ordinare un'appliance, ma per utilizzarla deve accedere all'origine dati.|
|
||Chiavi di accesso necessarie per accedere a Cloud Storage, che viene crittografato a riposoI dati vengono inviati tramite HTTPS e crittografati in transitoChiunque può scaricare ed eseguire
|
|Storage Transfer Service per dati on-premise||Chiavi di accesso necessarie per accedere a Cloud Storage, che è crittografato quando è inattivo. Il processo dell'agente può accedere ai file locali come consentito dalle autorizzazioni del sistema operativoI dati vengono inviati tramite HTTPS e crittografati durante il transitoPer accedere ai bucket di Cloud Storage, devi disporre delle autorizzazioni dell'editor di oggetti.|
|Storage Transfer Service||Chiavi di accesso necessarie per risorse non Google Cloud (ad esempio, Amazon S3). Le chiavi di accesso sono necessarie per accedere a Cloud Storage, che viene crittografato a riposoI dati vengono inviati tramite HTTPS e crittografati durante il transitoDevi disporre delle autorizzazioni IAM affinché l'account di servizio possa accedere all'origine e delle autorizzazioni dell'editor di oggetti per qualsiasi bucket Cloud Storage.|
Per ottenere miglioramenti della sicurezza di base, i trasferimenti online a
Utilizzo di Google Cloud
gsutil
vengono eseguiti su HTTPS, i dati vengono crittografati in transito e tutti i dati in
Cloud Storage è, per impostazione predefinita, crittografato a riposo. Per informazioni su
schemi più sofisticati relativi alla sicurezza, vedere
Considerazioni sulla sicurezza e sulla privacy
Se usi
Apparecchio di trasferimento,
le chiavi di sicurezza che controlli possono aiutarti a proteggere i tuoi dati. In genere, noi
ti consigliamo di coinvolgere il tuo team di sicurezza per garantire che il tuo piano di trasferimento
soddisfa i requisiti aziendali e normativi
Prodotti di trasferimento di terze parti
Per l'ottimizzazione avanzata a livello di rete o flussi di lavoro di trasferimento dati in corso, potresti voler utilizzare strumenti più avanzati. Per informazioni su strumenti più avanzati, visitare i partner di Google
I seguenti collegamenti evidenziano alcune delle numerose opzioni (elencate qui in ordine alfabetico):
- Aspera On Cloud si basa sul protocollo brevettato di Aspera ed è adatto a flussi di lavoro su larga scala. È disponibile su richiesta come modello di licenza in abbonamento
- Cloud FastPath di Tervela può essere utilizzato per creare un flusso di dati gestito da e verso Google Cloud. Per i dettagli, consulta Utilizzo di Cloud FastPath per creare flussi di dati
- Signiant offre Media Shuttle come soluzione software-as-a-service (SaaS) per trasferire qualsiasi file da o verso qualsiasi luogo. Signiant offre anche Flight come utility di scalabilità automatica basata su un protocollo altamente ottimizzato e Signiant Flight Deck come strumento di automazione per trasferimenti su larga scala in località geograficamente disperse
## Passaggio 4: preparazione del trasferimento
Per un trasferimento di grandi dimensioni o un trasferimento con dipendenze significative, è importante capire come utilizzare il prodotto di trasferimento. I clienti in genere eseguono i seguenti passaggi:
Stima dei prezzi e del ROI. Questo passaggio fornisce molte opzioni per facilitare il processo decisionale. Test funzionale.In questa fase, confermi che il prodotto può essere configurato correttamente e che la connettività di rete (se applicabile) funziona. Testi anche che puoi spostare un campione rappresentativo dei tuoi dati (compresi i passaggi di accompagnamento non di trasferimento, come lo spostamento di un'istanza VM) alla destinazione
Di solito puoi eseguire questo passaggio prima di allocare tutte le risorse come macchine di trasferimento o larghezza di banda. Gli obiettivi di questa fase includono quanto segue:
- Confermare che è possibile installare e gestire il trasferimento
- Fai emergere potenziali problemi di arresto del progetto che bloccano il movimento dei dati (ad esempio, percorsi di rete) o le tue operazioni (ad esempio, la formazione necessaria in una fase di non trasferimento)
Test delle prestazioni.In questa fase, esegui un trasferimento su un ampio campione di dati (in genere 3âÃÂÃÂ5%) dopo che le risorse di produzione sono state allocate per eseguire le seguenti operazioni:
- Conferma che puoi consumare tutte le risorse assegnate e raggiungere le velocità che ti aspetti
- Risolvere e correggere i colli di bottiglia (ad esempio, sistema di archiviazione di origine lento)
## Step 5: Garantire l'integrità del tuo trasferimento
Per contribuire a garantire l'integrità dei tuoi dati durante un trasferimento, ti consigliamo di prendere le seguenti precauzioni:
- Abilita il versioning e il backup sulla tua destinazione per limitare i danni di cancellazioni accidentali
- Convalidare i dati prima di rimuovere i dati di origine
Per i trasferimenti di dati su larga scala (con petabyte di dati e miliardi di file), un tasso di errore latente di base del sistema di archiviazione di origine sottostante pari allo 0,0001% comporta comunque una perdita di dati di migliaia di file e gigabyte. In genere, le applicazioni in esecuzione all'origine tollerano già questi errori, nel qual caso non è necessaria un'ulteriore convalida. In alcuni scenari eccezionali (ad esempio, archiviazione a lungo termine), è necessaria una maggiore convalida prima che sia considerato sicuro eliminare i dati dall'origine
A seconda dei requisiti della tua applicazione, ti consigliamo di eseguire alcuni test di integrità dei dati dopo il completamento del trasferimento per assicurarti che l'applicazione continui a funzionare come previsto. Molti prodotti di trasferimento dispongono di controlli di integrità dei dati integrati. Tuttavia, a seconda del tuo profilo di rischio, potresti voler eseguire una serie aggiuntiva di controlli sui dati e sulle app che leggono tali dati prima di eliminare i dati dalla fonte. Ad esempio, potresti voler confermare se un checksum che hai registrato e calcolato in modo indipendente corrisponde ai dati scritti nella destinazione o confermare che un set di dati utilizzato dall'applicazione è stato trasferito correttamente
## Trovare aiuto
Google Cloud offre varie opzioni e risorse affinché tu possa trovare l'aiuto e il supporto necessari per utilizzare al meglio i servizi Google Cloud:
Risorse self-service. Se non hai bisogno di un supporto dedicato, hai a disposizione varie opzioni che puoi utilizzare al tuo ritmo. Partner tecnologici.Google Cloud ha collaborato con diverse aziende per aiutarti a utilizzare i nostri prodotti e servizi. Servizi professionali di Google Cloud.I nostri servizi professionali possono aiutarti a ottenere il massimo dal tuo investimento in Google Cloud
Sono disponibili più risorse per aiutare a eseguire la migrazione dei carichi di lavoro a Google Cloud nel Google Cloud Migration Center
Per ulteriori informazioni su queste risorse, consulta la sezione della guida alla ricerca di Migrazione a Google Cloud: come iniziare
## Qual è il prossimo
- Se hai domande sull'ideazione di un piano di trasferimento o su un caso d'uso specifico, puoi contattare l'assistenza Google Cloud o contattare direttamente il team del tuo account Google
- Per iniziare il trasferimento, forniamo le seguenti guide:
- Per le strategie generali di migrazione dei dati: migrazione di un'applicazione monolitica ai microservizi su Google Kubernetes Engine
- Per un trasferimento offline: Transfer Appliance
- Per un trasferimento online da un cloud pubblico: Storage Transfer Service
- Esplora architetture di riferimento, diagrammi, tutorial e best practice su Google Cloud. Dai un'occhiata al nostro Cloud Architecture Center.
Google Cloud
HOSTING WEB CONDIVISO#60
