Migratie naar Google Cloud: overdracht van uw grote datasets

Voor veel klanten is de eerste stap bij het adopteren van een Google Cloud-product het ophalen van hun gegevens in Google Cloud. Dit document onderzoekt dat proces, van het plannen van een gegevensoverdracht tot het toepassen van best practices bij het implementeren van een plan Bij het overdragen van grote datasets moet u het juiste team samenstellen, vroeg plannen en uw overdrachtsplan testen voordat u het in een productieomgeving implementeert. Hoewel deze stappen evenveel tijd in beslag kunnen nemen als de overdracht zelf, kunnen dergelijke voorbereidingen helpen om de verstoring van uw bedrijfsvoering tijdens de overdracht tot een minimum te beperken Dit document maakt deel uit van een meerdelige serie over migreren naar Google Cloud. Als u geïnteresseerd bent in een overzicht van de serie, raadpleegt u Migratie naar Google Cloud: uw migratiepad kiezen Dit artikel maakt deel uit van een serie: - Migratie naar Google Cloud: Aan de slag - Migratie naar Google Cloud: uw workloads beoordelen en ontdekken - Migratie naar Google Cloud: bouwen aan uw fundament - Migratie naar Google Cloud: uw grote datasets overzetten (dit document) - Migratie naar Google Cloud: uw workloads implementeren - Migratie naar Google Cloud: migratie van handmatige implementaties naar geautomatiseerde implementaties in containers - Migratie naar Google Cloud: Optimalisatie van uw omgeving - Migratie naar Google Cloud: best practices voor het valideren van een migratieplan Het volgende diagram illustreert het pad van uw migratietraject De implementatiefase is de derde fase in uw migratie naar Google Cloud, waarin u een implementatieproces ontwerpt voor uw productietaken Dit document is handig als u een migratie plant van een on-premises omgeving, van een private hostingomgeving, van een andere cloudprovider naar Google Cloud, of als u de mogelijkheid om te migreren evalueert en wilt onderzoeken hoe dit eruit zou kunnen zien Leuk vinden ## Wat is gegevensoverdracht? Voor de doeleinden van dit document is gegevensoverdracht het proces van het verplaatsen van gegevens zonder deze te transformeren, bijvoorbeeld het verplaatsen van bestanden zoals ze zijn naar objecten Gegevensoverdracht is niet zo eenvoudig als het klinkt Het is verleidelijk om gegevensoverdracht te beschouwen als één gigantische FTP-sessie, waarbij u uw bestanden aan de ene kant plaatst en wacht tot ze er aan de andere kant uitkomen. In de meeste bedrijfsomgevingen omvat het overdrachtsproces echter vele factoren, zoals de volgende: - Opstellen van een overdrachtsplan dat rekening houdt met administratieve tijd, inclusief tijd om te beslissen over een overdrachtsoptie, goedkeuringen te krijgen en onverwachte problemen op te lossen - Coördineren van mensen in uw organisatie, zoals het team dat de overdracht uitvoert, personeel dat de tools en architectuur goedkeurt, en zakelijke belanghebbenden die zich zorgen maken over de waarde en verstoringen die het verplaatsen van gegevens kan opleveren - De juiste overdrachtstool kiezen op basis van uw middelen, kosten, tijd en andere projectoverwegingen - Het overwinnen van uitdagingen op het gebied van gegevensoverdracht, waaronder "snelheid van het licht"-problemen (onvoldoende bandbreedte), het verplaatsen van gegevenssets die actief worden gebruikt, het beschermen en bewaken van de gegevens tijdens de vlucht, en ervoor zorgen dat de gegevens met succes worden overgedragen Dit document is bedoeld om u op weg te helpen met een succesvol overdrachtsinitiatief Andere projecten met betrekking tot gegevensoverdracht De volgende lijst bevat bronnen voor andere soorten projecten voor gegevensoverdracht die niet in dit document worden behandeld: - Als u uw gegevens moet transformeren (zoals het combineren van rijen, het samenvoegen van datasets of het uitfilteren van persoonlijk identificeerbare informatie), moet u een ETL-oplossing (extraheren, transformeren en laden) overwegen die gegevens kan deponeren in een Google Cloud-datawarehouse. Zie deze Dataflow-zelfstudie voor een voorbeeld van deze architectuur - Als u een database en gerelateerde apps moet migreren (bijvoorbeeld om een database-app op te tillen en te verschuiven), kunt u de documentatie voor Cloud Spanner, oplossingen voor PostgreSQL en andere documentatie over uw databasetype bekijken - Als u uw gegevens wilt migreren van HBase naar een volledig beheerde NoSQL-databaseservice die compatibel is met de HBase API en grotere werklasten aankan, kijk dan eens naar Cloud Bigtable - Als u een instantie van een virtuele machine (VM) moet verplaatsen, overweeg dan om het VM-migratieproduct van Google, Migrate to Virtual Machines, te gebruiken ## Stap 1: stel je team samen Het plannen van een overplaatsing vereist doorgaans personeel met de volgende rollen en verantwoordelijkheden: Resources inschakelen die nodig zijn voor een overdracht: Opslag-, IT- en netwerkbeheerders, een uitvoerende sponsor en andere adviseurs (bijvoorbeeld een Google-accountteam of integratiepartners) Het overdrachtsbesluit goedkeuren: gegevenseigenaren of beheerders (voor intern beleid over wie toegestaan om welke gegevens over te dragen), juridische adviseurs (voor gegevensgerelateerde regelgeving) en een beveiligingsbeheerder (voor intern beleid over hoe gegevenstoegang wordt beschermd) Uitvoeren van de overdracht: Een teamleider, een projectmanager (voor het uitvoeren en volgen van het project ), een technisch team en on-site ontvangst en verzending (om apparaathardware te ontvangen) Het is van cruciaal belang om vast te stellen wie de voorgaande verantwoordelijkheden voor uw overdrachtsproject bezit en om deze waar nodig op te nemen in plannings- en besluitvormingsvergaderingen. Slechte organisatieplanning is vaak de oorzaak van mislukte overdrachtsinitiatieven Het verzamelen van projectvereisten en input van deze belanghebbenden kan een uitdaging zijn, maar het maken van een plan en het vaststellen van duidelijke rollen en verantwoordelijkheden loont. U kunt niet verwachten dat u alle details van uw gegevens kent. Door een team samen te stellen, krijgt u meer inzicht in de behoeften van het bedrijf. Het is een best practice om potentiële problemen te identificeren voordat u tijd, geld en middelen investeert om de overdrachten te voltooien ## Stap 2: vereisten en beschikbare middelen verzamelen Wanneer u een overdrachtsplan ontwerpt, raden we u aan eerst de vereisten voor uw gegevensoverdracht te verzamelen en vervolgens een overdrachtsoptie te kiezen. Om vereisten te verzamelen, kunt u het volgende proces gebruiken: - Identificeer welke datasets u moet verplaatsen - Selecteer tools zoals Data Catalog om uw gegevens te ordenen in logische groepen die worden verplaatst en samen worden gebruikt - Werk samen met teams binnen uw organisatie om deze groeperingen te valideren of bij te werken - Identificeer welke datasets u kan bewegen - Overweeg of regelgeving, beveiliging of andere factoren de overdracht van bepaalde datasets verhinderen - Als u sommige van uw gegevens moet transformeren voordat u deze verplaatst (bijvoorbeeld om gevoelige gegevens te verwijderen of uw gegevens te reorganiseren), overweeg dan om een product voor gegevensintegratie te gebruiken, zoals Dataflow of Cloud Data Fusion, of een product voor workfloworkestratie, zoals Cloud Composer - Voor datasets die verplaatsbaar zijn, bepaalt u waar elke dataset naartoe moet worden overgebracht - Noteer welke opslagoptie u selecteert om uw gegevens op te slaan. Meestal is het doelopslagsysteem op Google Cloud Cloud Storage. Zelfs als u complexere oplossingen nodig heeft nadat uw applicaties actief zijn, is Cloud Storage een schaalbare en duurzame opslagoptie - Begrijp welk beleid voor gegevenstoegang moet worden gehandhaafd na de migratie - Bepaal of u deze gegevens in specifieke regio's moet opslaan - Plan hoe deze gegevens op de bestemming te structureren. Zal het bijvoorbeeld hetzelfde zijn als de bron of anders? - Bepaal of u doorlopend gegevens moet overdragen - Voor datasets die verplaatsbaar zijn, bepaal welke resources beschikbaar zijn om ze te verplaatsen - Tijd: wanneer moet de overdracht voltooid zijn? - Kosten: Wat is het beschikbare budget voor het team en de transferkosten? - Mensen: wie is beschikbaar om de overdracht uit te voeren? - Bandbreedte (voor online overdrachten): Hoeveel van uw momenteel beschikbare bandbreedte voor Google Cloud kan worden toegewezen voor een overdracht, en voor welke periode? Voordat u in de volgende fase van de planning overdrachtsopties evalueert en selecteert, raden we u aan te beoordelen of enig onderdeel van uw IT-model kan worden verbeterd, zoals gegevensbeheer, organisatie en beveiliging Uw beveiligingsmodel Veel leden van het overdrachtsteam krijgen mogelijk nieuwe rollen in uw Google Cloud-organisatie als onderdeel van uw project voor gegevensoverdracht.Het plannen van gegevensoverdracht is een goed moment om uw machtigingen voor identiteits- en toegangsbeheer (IAM) en best practices voor veilig gebruik van IAM te herzien.Deze problemen kunnen van invloed zijn op hoe u toegang verleent tot uw opslag.U kunt bijvoorbeeld strikte limieten stellen aan schrijftoegang tot gegevens die om wettelijke redenen zijn gearchiveerd, maar u kunt toestaan dat veel gebruikers en toepassingen gegevens naar uw testomgeving schrijvenUw Google Cloud-organisatieHoe u uw gegevens op Google Cloud structureert, hangt af van hoe u Google Cloud wilt gebruiken.Het opslaan van uw gegevens in hetzelfde Cloud-project waar u uw applicatie uitvoert, is een eenvoudige benadering, maar het is mogelijk niet optimaal vanuit beheerperspectief.Sommige van uw ontwikkelaars hebben mogelijk niet het recht om de productiegegevens te bekijken.In dat geval zou een ontwikkelaar code kunnen ontwikkelen op basis van voorbeeldgegevens, terwijl een geprivilegieerd serviceaccount toegang zou hebben tot productiegegevens.Het kan dus zijn dat u uw volledige productiedataset in een apart Cloud-project wilt houden en vervolgens een serviceaccount wilt gebruiken om toegang te krijgen tot de gegevens van elk applicatieprojectGoogle Cloud is georganiseerd rond projecten.Projecten kunnen worden gegroepeerd in mappen en mappen kunnen worden gegroepeerd onder uw organisatie.Rollen worden vastgesteld op projectniveau en de toegangsrechten worden aan deze rollen toegevoegd op de Cloud Storage-bucketniveaus.Deze structuur komt overeen met de rechtenstructuur van andere aanbieders van objectarchievenZie Een resourcehiërarchie bepalen voor uw Google Cloud-landingszone #| voor praktische tips om een Google Cloud-organisatie te structureren.## Stap 3: uw overdrachtsopties evaluerenOm uw gegevensoverdrachtsopties te evalueren, moet het overdrachtsteam rekening houden met verschillende factoren, waaronder de volgende:- Kosten- Tijd- Offline versus online overdrachtsopties- Overdracht van tools en technologieën- BeveiligingKostenDe meeste van de bijbehorende kosten bij het overdragen van gegevens zijn onder meer de volgende:- Netwerkkosten- Toegang tot Cloud Storage is gratis.Als u uw gegevens echter op een openbare cloudprovider host, kunt u verwachten dat u uitgaande kosten en mogelijk opslagkosten (bijvoorbeeld leesbewerkingen) moet betalen voor het overzetten van uw gegevens.Deze kosten zijn van toepassing op gegevens die afkomstig zijn van Google of een andere cloudprovider- Als uw gegevens worden gehost in een privédatacenter dat u beheert, kunnen er ook extra kosten in rekening worden gebracht voor het instellen meer bandbreedte naar Google Cloud- Opslag- en werkingskosten voor Cloud Storage tijdens en na de gegevensoverdracht- Productkosten (bijvoorbeeld een Transfer Appliance)- Personeelskosten voor het samenstellen van uw team en het verwerven van logistieke ondersteuningTijdEr zijn maar weinig dingen in de informatica die de hardwarebeperkingen van netwerken benadrukken, zoals het overbrengen van grote hoeveelheden gegevens.Idealiter kunt u 1 GB in acht seconden overdragen via een netwerk van 1 Gbps.Als je dat opschaalt naar een enorme dataset (bijvoorbeeld 100 TB), is de overdrachtstijd 12 dagen.Het overdragen van enorme datasets kan de grenzen van uw infrastructuur op de proef stellen en mogelijk problemen voor uw bedrijf veroorzakenU kunt de volgende rekenmachine gebruiken om te begrijpen hoeveel tijd een overdracht kan duren, gegeven de grootte van de dataset die u verplaatst en de bandbreedte die beschikbaar is voor de overdracht.Bij de berekeningen wordt een bepaald percentage van de managementtijd in rekening gebracht.Bovendien is een effectieve bandbreedte-efficiëntie inbegrepen, zodat de resulterende getallen realistischer zijn en er geen ideale getallen worden verkregenMisschien wilt u geen grote datasets van uw bedrijf overdragen netwerk tijdens piekuren.Als de overdracht het netwerk overbelast, kan niemand anders noodzakelijk of missiekritisch werk voltooien.Om deze reden moet het transferteam rekening houden met de factor tijdNadat de gegevens zijn overgebracht naar Cloud Storage, kunt u een aantal technologieën gebruiken om de nieuwe bestanden te verwerken zodra ze binnenkomen, zoals DataflowNetwerkbandbreedte vergrotenHoe u het netwerk vergroot bandbreedte is afhankelijk van hoe u verbinding maakt met Google CloudBij een cloud-naar-cloud-overdracht tussen Google Cloud en andere cloudproviders zorgt Google voor de verbinding tussen datacenters van cloudleveranciers, zonder dat u iets hoeft in te stellenAls u gegevens overdraagt tussen uw privédatacenter en Google Cloud, zijn er drie hoofdbenaderingen:- Een openbare internetverbinding met behulp van een openbare API- Directe peering door een openbare API te gebruiken- Cloud Interconnect door een privé-API te gebruikenBij het evalueren van deze benaderingen is het nuttig om rekening te houden met uw connectiviteitsbehoeften op de lange termijn.U zou kunnen concluderen dat het onbetaalbaar is om bandbreedte aan te schaffen uitsluitend voor overdrachtsdoeleinden, maar als rekening wordt gehouden met langdurig gebruik van Google Cloud en de netwerkbehoeften in uw hele organisatie, kan de investering de moeite waard zijnVerbinding maken met een openbare internetverbindingWanneer u een openbare internetverbinding gebruikt, is de netwerkdoorvoer minder voorspelbaar omdat u wordt beperkt door de capaciteit en routering van uw internetprovider (ISP).De ISP kan ook een beperkte of helemaal geen Service Level Agreement (SLA) aanbieden.Deze verbindingen bieden echter relatief lage kosten, en met de uitgebreide peeringregelingen van Google kan uw ISP u binnen enkele netwerkhops naar het wereldwijde netwerk van Google leidenWe raden u aan dit te controleren met uw beveiligingsbeheerder of uw bedrijfsbeleid het verplaatsen van sommige datasets over het openbare internet verbiedt.Controleer ook of de openbare internetverbinding wordt gebruikt voor uw productieverkeer.Grootschalige gegevensoverdrachten kunnen een negatieve invloed hebben op het productienetwerkVerbinden met directe peering Om toegang te krijgen tot het Google-netwerk met minder netwerkhops dan met een openbare internetverbinding, kunt u Direct Peering gebruiken. Door gebruik te maken van Direct Peering kunt u internetverkeer uitwisselen tussen uw netwerk en de Edge Points of Presence (PoP's) van Google, waardoor uw gegevens geen gebruik maken van het openbare internet. Hierdoor wordt ook het aantal hops tussen uw netwerk en het netwerk van Google verminderd. Peering met het netwerk van Google vereist dat u een geregistreerd Autonomous System (AS)-nummer instelt, verbinding maakt met Google via een internetuitwisseling en 24 uur per dag contact biedt met uw netwerkbeheercentrum Verbinding maken met Cloud Interconnect Cloud Interconnect biedt een directe verbinding met Google Cloud via Google of een van de Cloud Interconnect-serviceproviders. Deze service helpt voorkomen dat uw gegevens op het openbare internet terechtkomen en kan een consistentere doorvoer bieden voor grote gegevensoverdrachten. Doorgaans biedt Cloud Interconnect SLA's voor netwerkbeschikbaarheid en prestaties van hun netwerk. Neem rechtstreeks contact op met een serviceprovider voor meer informatie. Cloud Interconnect ondersteunt ook privé-adressering, RFC 1918, zodat de cloud effectief een verlengstuk van uw privé-datacenter wordt zonder dat openbare IP-adressen of NAT's nodig zijn Online versus offline overdracht Een cruciale beslissing is of u een offline of online proces wilt gebruiken voor uw gegevensoverdracht. Dat wil zeggen, u moet kiezen tussen overdracht via een netwerk, of het nu gaat om een speciale verbinding of het openbare internet, of overdracht met behulp van opslaghardware Om u te helpen bij deze beslissing, bieden we een transfercalculator om u te helpen de tijd- en kostenverschillen tussen deze twee opties in te schatten. De volgende grafiek toont ook enkele overdrachtssnelheden voor verschillende datasetgroottes en bandbreedtes. In deze berekeningen is een bepaalde hoeveelheid managementoverhead ingebouwd Zoals eerder opgemerkt, moet u misschien overwegen of de kosten om lagere latenties voor uw gegevensoverdracht te bereiken (zoals het verkrijgen van netwerkbandbreedte) worden gecompenseerd door de waarde van die investering voor uw organisatie Opties verkrijgbaar bij Google Google biedt verschillende tools en technologieën om u te helpen bij het uitvoeren van een gegevensoverdracht Beslissen tussen de overdrachtsopties van Google Het kiezen van een overdrachtsoptie hangt af van uw use case, zoals de volgende tabel laat zien | |Waar u gegevens naartoe verplaatst | |Scenario| |Voorgestelde producten |Een andere cloudprovider (bijvoorbeeld Amazon Web Services of Microsoft Azure) naar Google CloudStorage Transfer Service| |Cloud Storage naar Cloud Storage (twee verschillende bucketsStorage Transfer Service| |Uw privédatacenter naar Google Cloud||Genoeg bandbreedte om de deadline van uw project te halen | voor minder dan 1 TB aan data | | |Uw privédatacenter naar Google Cloud||Genoeg bandbreedte om de deadline van uw project te halen | voor meer dan 1 TB aan data |Storage Transfer Service voor lokale gegevens| |Uw privédatacenter naar Google Cloud||Niet genoeg bandbreedte om uw projectdeadline te halen||Appliance overzetten| gsutil voor kleinere overdrachten van lokale gegevens De gsutil-tool is de standaardtool voor kleine tot middelgrote overschrijvingen (minder dan 1 TB) via een typisch bedrijfsnetwerk, vanuit een privédatacenter naar Google Cloud. We raden u aan om op te nemen gsutil in uw standaardpad wanneer je gebruikt Wolk Shell Het is ook standaard beschikbaar wanneer u het Google Cloud CLI Het is een betrouwbare tool die alle basisfuncties biedt die u nodig hebt om te beheren uw Cloud opslag instanties, inclusief het kopiëren van uw gegevens van en naar het lokale bestandssysteem en Cloud opslag. Het kan ook objecten verplaatsen en hernoemen en uitvoeren real-time incrementele synchronisaties, zoals rsync, naar een Cloud Storage-bucket gsutil is vooral handig in de volgende scenario's: - Uw overdrachten moeten naar behoefte worden uitgevoerd, of tijdens opdrachtregelsessies door uw gebruikers - U draagt slechts een paar bestanden of zeer grote bestanden over, of beide - U verbruikt de uitvoer van een programma (uitvoer streamen naar Cloud Storage) - U moet een map met een matig aantal bestanden in de gaten houden en eventuele updates synchroniseren met zeer lage latenties De basis om mee aan de slag te gaan gsutil zijn een Cloud Storage-bucket maken en gegevens kopiëren naar die emmer. Voor overdrachten van grotere datasets zijn er twee dingen beschouwen: Gebruik voor overdrachten met meerdere threads gsutil -m Meerdere bestanden worden parallel verwerkt, waardoor uw overdrachtssnelheden toenemen Gebruik Samengestelde overdrachten voor één groot bestand Deze methode verdeelt grote bestanden in kleinere stukken om de overdrachtssnelheid te verhogen. Chunks worden parallel overgedragen en gevalideerd, waarbij alle gegevens naar Google worden verzonden. Zodra de brokken bij Google aankomen, worden ze gecombineerd (ook wel samenstellen) om een enkel object te vormen Samengestelde overdrachten met gsutil hebben een aantal nadelen, waaronder dat elk stuk (niet het hele object) afzonderlijk wordt gecontroleerd, en de samenstelling van klassen voor koude opslag resulteert in boetes voor vroegtijdige verwijdering Storage Transfer Service voor grote overdrachten van lokale gegevens Net zoals gsutil, Storage Transfer Service voor on-premises gegevens maakt overdrachten van netwerkbestandssysteem (NFS)-opslag naar Cloud opslag. Hoewel gsutil ondersteunt kleine overdrachtsformaten (tot tot 1 TB), is Storage Transfer Service voor on-premises data ontworpen grootschalige overdrachten (tot petabytes aan gegevens, miljarden bestanden). Het ondersteunt volledige kopieën of incrementele kopieën, en het werkt op alle vermelde overdrachtsopties vroeger binnen Beslissen tussen de overdrachtsopties van Google. Het heeft ook een eenvoudige, beheerde grafische gebruikersinterface; zelfs niet technisch onderlegd gebruikers (na installatie) kunnen het gebruiken om gegevens te verplaatsen Storage Transfer Service voor on-premises gegevens is vooral handig in de volgende scenario's: - Je hebt voldoende beschikbare bandbreedte om de datavolumes te verplaatsen (zie de Google Cloud Data Transfer Calculator)- Je ondersteunt een groot aantal interne gebruikers die misschien een opdrachtregel vindentool zoalsgsutiluitdagend om te gebruiken- Je hebt robuuste foutenrapportage nodig en een overzicht van alle bestanden en objecten die zijn verplaatst- U moet de impact van overdrachten op andere workloads in uw datacenter beperken (dit product kan onder een door de gebruiker opgegeven bandbreedtelimiet blijven)- U wilt terugkerende overdrachten volgens een schema uitvoerenU stelt Storage Transfer Service in voor on-premises gegevens door on-lokale software [bekend als *agents*] te installeren op computers in uw datacenter.Dezeagenten bevinden zich in Docker-containers, waardoor het gemakkelijker wordt om er veel uit te voeren ofze te orkestreren via KubernetesNadat de installatie is voltooid , kunnen gebruikers overdrachten starten in de Google Cloud-console dooreen brondirectory, bestemmingsbucket en tijd of schema op te gevenStorage Transfer Service crawlt recursief submappen en bestanden in debronmap en maakt objecten met een overeenkomstige naam inCloud Storage [het object /dir/foo/file.txt wordt een object in de bestemmingsbucket met de naam /dir/foo/file.txt].Storage Transfer Serviceprobeert automatisch een overdracht opnieuw uit te voeren wanneer tijdelijke fouten worden aangetroffenTerwijl de overdrachten bezig zijn, kunt u controleren hoeveel bestanden worden verplaatst ende algehele overdrachtssnelheid en u kunt foutvoorbeelden bekijkenWanneer de overdracht is voltooid, wordt een door tabs gescheiden bestand (TSV) gegenereerd met een volledig overzicht van alle aangeraakte bestanden en eventuele ontvangen foutmeldingen.Agenten zijn fouttolerant, dus als een agent uitvalt, gaat de overdracht door met de resterende agenten.Agents updaten en herstellen zichzelf, dus u hoeft zich geen zorgen te maken over het patchen van de nieuwste versies of het herstarten van het proces als het uitvalt vanwege een onverwacht probleemWaar u rekening mee moet houden bij het gebruik van Storage Transfer Service:Gebruik een identieke agentconfiguratie op elke computer. Alle agents zouden dezelfde NFS-koppelingen (Network File System) op dezelfde manier moeten zien (dezelfde relatieve paden).Deze instelling is een vereiste voor het functioneren van het product.Meer agents resulteert in meer snelheid. Omdat overdrachten automatisch worden geparalleliseerd tussen alle agents, raden we u aan om veel agents in te zetten, zodat u uw beschikbare bandbreedte gebruikt.Bandbreedtelimieten kunnen uw workloads beschermen. Uw andere workloads gebruiken mogelijk de bandbreedte van uw datacenter, dus stel een bandbreedtelimiet in om te voorkomen dat overdrachten uw SLA's beïnvloeden.Plan tijd in voor het beoordelen van fouten. Grote overdrachten kunnen vaak leiden tot fouten die moeten worden beoordeeld.Storage Transfer Service laat u een voorbeeld zien van de fouten die rechtstreeks in de Google Cloud-console zijn aangetroffen.Indien nodig kunt u het volledige record van alle overdrachtsfouten naar BigQuery laden om bestanden te controleren of fouten te evalueren die zelfs na nieuwe pogingen zijn blijven bestaan.Deze fouten kunnen worden veroorzaakt door het uitvoeren van apps die naar de bron aan het schrijven waren terwijl de overdracht plaatsvond, of de fouten kunnen een probleem aan het licht brengen dat moet worden opgelost (bijvoorbeeld machtigingsfout).Stel Cloud Monitoring in voor langlopende overdrachten. Met Storage Transfer Service kan Monitoring de gezondheid en doorvoer van agenten bewaken, zodat u waarschuwingen kunt instellen die u waarschuwen wanneer agenten niet beschikbaar zijn of aandacht nodig hebben.Het is belangrijk om te reageren op agentstoringen bij overdrachten die enkele dagen of weken duren, zodat u aanzienlijke vertragingen of onderbrekingen vermijdt die uw projecttijdlijn kunnen vertragenTransfer Appliance voor grotere overdrachtenVoor grootschalige overdrachten (vooral overdrachten met beperkte netwerkbandbreedte) is Transfer Appliance een uitstekende optie, vooral wanneer er geen snelle netwerkverbinding beschikbaar is en het te duur is om meer bandbreedte aan te schaffenTransfer Appliance is vooral handig in de volgende scenario's:- Uw datacenter bevindt zich op een externe locatie met beperkte of geen toegang tot bandbreedte- Er is bandbreedte beschikbaar, maar deze kan niet op tijd worden aangeschaft om uw deadline te halen- U hebt toegang tot logistieke middelen om apparaten te ontvangen en op uw netwerk aan te sluitenHoud bij deze optie rekening met het volgende:- Transfer Appliance vereist dat u de hardware van Google kunt ontvangen en terugsturen.- Afhankelijk van uw internetverbinding kan de latentie voor het overbrengen van gegevens naar Google Cloud is doorgaans hoger met Transfer Appliance dan online- Transfer Appliance is alleen beschikbaar in bepaalde landenDe twee belangrijkste criteria waarmee u rekening moet houden bij Transfer Appliance zijn kosten en snelheid.Met een redelijke netwerkverbinding (bijvoorbeeld 1 Gbps) duurt het online overzetten van 100 TB aan gegevens meer dan 10 dagen.Als dit tarief acceptabel is, is een online overschrijving waarschijnlijk een goede oplossing voor uw behoeften.Als je alleen een verbinding van 100 Mbps hebt (of erger vanaf een externe locatie), duurt dezelfde overdracht meer dan 100 dagen.Op dit moment is het de moeite waard om een offline-overdrachtsoptie te overwegen, zoals Transfer ApplianceHet aanschaffen van een Transfer Appliance is eenvoudig.In de Google Cloud-console vraagt u een Transfer Appliance aan, geeft u aan hoeveel data u heeft en vervolgens verzendt Google een of meer apparaten naar de door u aangevraagde locatie.U krijgt een aantal dagen de tijd om uw gegevens over te dragen naar het apparaat ("data capture") en terug te sturen naar GoogleDe verwachte doorlooptijd voor een netwerkapparaat om te worden verzonden, geladen met uw gegevens, teruggestuurd en opnieuw gehydrateerd op Google Cloud is 20 dagen.Als wordt berekend dat uw online overdrachtstijd aanzienlijk langer is dan deze tijdsperiode, overweeg dan Transfer Appliance.De totale kosten voor het 300 TB apparaatproces zijn minder dan $2.500Storage Transfer Service voor cloud-to-cloud transfersStorage Transfer Service is een volledig beheerde , zeer schaalbare service om overdrachten van andere openbare naar Cloud Storage te automatiseren.Het ondersteunt overdrachten naar Cloud Storage van Amazon S3 en HTTPVoor Amazon S3 kunt u een toegangssleutel en een S3-bucket leveren met optionelefilters voor S3 objecten om te selecteren en vervolgens kopieert u de S3-objecten naar een willekeurige Cloud Storage-emmer. De service ondersteunt ook dagelijkse kopieën van elk gemodificeerde objecten. De service ondersteunt momenteel geen gegevensoverdracht *tot* Amazon S3 Voor HTTP kunt u Storage Transfer Service een lijst met openbare URL's geven een bepaald formaat Deze aanpak vereist dat u een script schrijft met de grootte van elk bestand in bytes, samen met een Base64-gecodeerde MD5-hash van de bestandsinhoud Soms zijn de bestandsgrootte en hash beschikbaar op de bronwebsite. Als niet, u hebt lokale toegang tot de bestanden nodig, in welk geval het gemakkelijker kan zijn gebruiken gsutil, zoals eerder beschreven Als u een overdracht heeft, is Storage Transfer Service een geweldige manier om gegevens op te halen en te bewaren, vooral wanneer u overstapt vanuit een andere openbare cloud Veiligheid Voor veel Google Cloud-gebruikers is beveiliging hun primaire focus en zijn er verschillende beveiligingsniveaus beschikbaar. Enkele beveiligingsaspecten waarmee u rekening moet houden, zijn onder meer het beschermen van data in rust (autorisatie en toegang tot het bron- en bestemmingsopslagsysteem), het beschermen van gegevens tijdens het transport en het beschermen van de toegang tot het overdrachtsproduct. De volgende tabel geeft een overzicht van deze aspecten van beveiliging per product | |Product | |Gegevens in rust | |Gegevens onderweg | |Toegang om product over te dragen |Transfer Appliance||Alle gegevens zijn versleuteld in rustData wordt beschermd met sleutels die worden beheerd door de klantIedereen kan een apparaat bestellen, maar om het te gebruiken heeft hij toegang tot de gegevensbron nodig.| | ||Toegangssleutels vereist voor toegang tot Cloud Storage, die in rust is versleuteldGegevens worden via HTTPS verzonden en onderweg versleuteldIedereen kan downloaden en uitvoeren | |Storage Transfer Service voor on-premises gegevens||Toegangssleutels vereist voor toegang tot Cloud Storage, die in rust versleuteld is. Het agentproces heeft toegang tot lokale bestanden als de machtigingen van het besturingssysteem dit toestaan. Gegevens worden verzonden via HTTPS en versleuteld tijdens de overdracht. U moet beschikken over machtigingen voor objecteditor om toegang te krijgen tot Cloud Storage-buckets.| |Storage Transfer Service||Toegangssleutels vereist voor niet-Google Cloud-resources (bijvoorbeeld Amazon S3). Er zijn toegangssleutels vereist om toegang te krijgen tot Cloud Storage, die in rust wordt versleuteld. Gegevens worden verzonden via HTTPS en versleuteld tijdens de overdracht. U moet IAM-machtigingen hebben voor het serviceaccount om toegang te krijgen tot de bron- en objecteditorrechten voor alle Cloud Storage-buckets.| Om basislijnbeveiligingsverbeteringen te bereiken, worden online overdrachten naar Google Cloud gebruiken gsutil worden uitgevoerd via HTTPS, gegevens worden versleuteld tijdens de overdracht en alle gegevens worden verzonden Cloud Storage is in rust standaard versleuteld. Voor informatie over meer geavanceerde beveiligingsgerelateerde schema's, zie Beveiligings- en privacyoverwegingen Als je gebruikt Overdracht apparaat, beveiligingssleutels die u beheert, kunnen helpen uw gegevens te beschermen. Over het algemeen, wij raden u aan uw beveiligingsteam in te schakelen om ervoor te zorgen dat uw overdrachtsplan voldoet aan uw bedrijfs- en wettelijke vereisten Transferproducten van derden Voor geavanceerde optimalisatie op netwerkniveau of doorlopende workflows voor gegevensoverdracht wilt u misschien meer geavanceerde tools gebruiken. Ga voor informatie over meer geavanceerde tools naar Google-partners De volgende links belichten enkele van de vele opties (hier in alfabetische volgorde weergegeven): - Aspera On Cloud is gebaseerd op het gepatenteerde protocol van Aspera en geschikt voor grootschalige workflows. Het is op aanvraag beschikbaar als abonnementslicentiemodel - Cloud FastPath van Tervela kan worden gebruikt om een beheerde gegevensstroom in en uit Google Cloud te bouwen. Zie Cloud FastPath gebruiken om gegevensstromen te maken voor meer informatie - Signiant biedt Media Shuttle aan als een software-as-a-service (SaaS)-oplossing om elk bestand van of naar elke locatie over te dragen. Signiant biedt Flight ook aan als een hulpprogramma voor automatisch schalen op basis van een sterk geoptimaliseerd protocol, en Signiant Flight Deck als automatiseringstool voor grootschalige overdrachten over geografisch verspreide locaties ## Stap 4: voorbereiding van uw overdracht Voor een grote overdracht, of een overdracht met aanzienlijke afhankelijkheden, is het belangrijk om te begrijpen hoe u uw overdrachtsproduct moet bedienen. Klanten doorlopen meestal de volgende stappen: Prijzen en ROI-schatting. Deze stap biedt veel opties om te helpen bij het nemen van beslissingen. Functioneel testen. In deze stap bevestigt u dat het product met succes kan worden ingesteld en dat de netwerkverbinding (indien van toepassing) werkt. U test ook of u een representatieve steekproef van uw gegevens (inclusief bijbehorende niet-overdrachtsstappen, zoals het verplaatsen van een VM-instantie) naar de bestemming kunt verplaatsen U kunt deze stap meestal uitvoeren voordat u alle bronnen, zoals overdrachtsmachines of bandbreedte, toewijst. De doelen van deze stap zijn onder andere: - Bevestig dat u de overdracht kunt installeren en uitvoeren - Potentiële projectonderbrekingen aan het licht brengen die het verplaatsen van gegevens (bijvoorbeeld netwerkroutes) of uw activiteiten blokkeren (bijvoorbeeld training die nodig is bij een niet-overdrachtsstap) Prestatietesten. In deze stap voert u een overdracht uit op een grote steekproef van uw gegevens (meestal 3ÃÂ¢ÃÂÃÂ5%) nadat productieresources zijn toegewezen om het volgende te doen: - Bevestig dat u alle toegewezen bronnen kunt gebruiken en de snelheden kunt behalen die u verwacht - Opsporen en oplossen van knelpunten (bijvoorbeeld traag bronopslagsysteem) ## Stap 5: zorgen voor de integriteit van uw overdracht Om de integriteit van uw gegevens tijdens een overdracht te helpen waarborgen, raden we u aan de volgende voorzorgsmaatregelen te nemen: - Schakel versiebeheer en back-up op uw bestemming in om de schade van onbedoelde verwijderingen te beperken - Valideer uw gegevens voordat u de brongegevens verwijdert Voor grootschalige gegevensoverdrachten (met petabytes aan gegevens en miljarden bestanden) resulteert een basislijn latente foutenpercentage van het onderliggende bronopslagsysteem van slechts 0,0001% nog steeds in een gegevensverlies van duizenden bestanden en gigabytes. Doorgaans zijn applicaties die bij de bron worden uitgevoerd al tolerant ten opzichte van deze fouten, in welk geval extra validatie niet nodig is. In sommige uitzonderlijke scenario's (bijvoorbeeld langdurige archivering) is meer validatie nodig voordat het veilig wordt geacht om gegevens uit de bron te verwijderen Afhankelijk van de vereisten van uw toepassing, raden we u aan enkele gegevensintegriteitstests uit te voeren nadat de overdracht is voltooid om ervoor te zorgen dat de toepassing blijft werken zoals bedoeld. Veel overdrachtsproducten hebben ingebouwde gegevensintegriteitscontroles. Afhankelijk van uw risicoprofiel wilt u misschien een extra reeks controles uitvoeren op de gegevens en de apps die die gegevens lezen voordat u gegevens uit de bron verwijdert. U wilt bijvoorbeeld controleren of een controlesom die u onafhankelijk hebt geregistreerd en berekend, overeenkomt met de gegevens die op de bestemming zijn geschreven, of bevestigen dat een gegevensset die door de toepassing is gebruikt, met succes is overgedragen ## Hulp zoeken Google Cloud biedt verschillende opties en bronnen waarmee u de nodige hulp en ondersteuning kunt vinden om de Google Cloud-services optimaal te gebruiken: Zelfbedieningsbronnen. Als u geen speciale ondersteuning nodig heeft, heeft u verschillende opties die u in uw eigen tempo kunt gebruiken. Technologiepartners. Google Cloud werkt samen met meerdere bedrijven om u te helpen onze producten en services te gebruiken. Professionele Google Cloud-services.Onze professionele services kunnen u helpen het meeste uit uw investering in Google Cloud te halen Er zijn meer bronnen om te helpen bij het migreren van productietaken naar Google Cloud in het Google Cloud Migration Center Zie voor meer informatie over deze bronnen het gedeelte Hulp zoeken van Migratie naar Google Cloud: Aan de slag ## Wat is het volgende - Als u vragen heeft over het opstellen van een overdrachtsplan of over een specifieke use case, kunt u contact opnemen met Google Cloud Support of rechtstreeks contact opnemen met uw Google Account-team - Om aan de slag te gaan met uw overdracht, bieden we de volgende handleidingen: - Voor algemene strategieën voor gegevensmigratie: het migreren van een monolithische applicatie naar microservices op Google Kubernetes Engine - Voor een offline overdracht: Appliance overzetten - Voor een online verhuizing vanuit een public cloud: Storage Transfer Service - Ontdek referentie-architecturen, diagrammen, tutorials en best practices over Google Cloud. Neem een kijkje in ons Cloud Architecture Center.