Migrering till Google Cloud: Överför dina stora datamängder

För många kunder är det första steget för att anta en Google Cloud-produkt att få sina data till Google Cloud. Det här dokumentet utforskar den processen, från att planera en dataöverföring till att använda bästa praxis för att implementera en plan

Att överföra stora datamängder innebär att bygga rätt team, planera tidigt och testa din överföringsplan innan du implementerar den i en produktionsmiljö. Även om dessa steg kan ta lika lång tid som själva överföringen, kan sådana förberedelser hjälpa till att minimera störningar i din affärsverksamhet under överföringen

Det här dokumentet är en del av en serie med flera delar om migrering till Google Cloud. Om du är intresserad av en översikt över serien, se Migration to Google Cloud: Choosing your migration path

Den här artikeln är en del av en serie:
- Migrering till Google Cloud: Komma igång
- Migrering till Google Cloud: Bedöma och upptäcka dina arbetsbelastningar
- Migrering till Google Cloud: Bygg din grund
- Migrering till Google Cloud: Överför dina stora datamängder (det här dokumentet)
- Migrering till Google Cloud: Implementera dina arbetsbelastningar
- Migrering till Google Cloud: Migrera från manuella implementeringar till automatiserade, containeriserade implementeringar
- Migrering till Google Cloud: Optimera din miljö
- Migrering till Google Cloud: Bästa metoder för att validera en migreringsplan
Följande diagram illustrerar vägen för din migrationsresa

Implementeringsfasen är den tredje fasen i din migrering till Google Cloud, där du designar en implementeringsprocess för dina arbetsbelastningar

Det här dokumentet är användbart om du planerar en migrering från en lokal miljö, från en privat värdmiljö, från en annan molnleverantör till Google Cloud, eller om du utvärderar möjligheten att migrera och vill utforska hur det kan se ut tycka om

## Vad är dataöverföring?
I detta dokument är dataöverföring processen att flytta data utan att omvandla den, till exempel flytta filer som de är till objekt

 Dataöverföring är inte så enkelt som det låter
Det är frestande att tänka på dataöverföring som en gigantisk FTP-session, där du lägger dina filer på ena sidan och väntar på att de ska komma ut på andra sidan. Men i de flesta företagsmiljöer involverar överföringsprocessen många faktorer som följande:
- Utarbeta en överföringsplan som tar hänsyn till administrativ tid, inklusive tid för att besluta om ett överföringsalternativ, få godkännanden och hantera oförutsedda problem


- Samordna människor i din organisation, till exempel teamet som utför överföringen, personal som godkänner verktygen och arkitekturen och affärsintressenter som är oroade över värdet och de störningar som att flytta data kan ge

- Att välja rätt överföringsverktyg baserat på dina resurser, kostnad, tid och andra projektöverväganden

- Att övervinna dataöverföringsutmaningar, inklusive "ljushastighetsproblem"(otillräcklig bandbredd), flytta datauppsättningar som är i aktiv användning, skydda och övervaka data medan den är under flygning och säkerställa att data överförs framgångsrikt

Detta dokument syftar till att hjälpa dig komma igång med ett framgångsrikt överföringsinitiativ

 Andra projekt relaterade till dataöverföring
Följande lista innehåller resurser för andra typer av dataöverföringsprojekt som inte täcks av detta dokument:
– Om du behöver transformera din data (som att kombinera rader, sammanfoga datauppsättningar eller filtrera bort personlig identifierbar information), bör du överväga en extrahera, transformera och ladda (ETL)-lösning som kan deponera data i ett Google Cloud-datalager. För ett exempel på den här arkitekturen, se denna Dataflow-handledning

- Om du behöver migrera en databas och relaterade appar (till exempel för att lyfta och flytta en databasapp) kan du titta på dokumentation för Cloud Spanner, lösningar för PostgreSQL och annan dokumentation om din databastyp

- Om du vill migrera din data från HBase till en helt hanterad, NoSQL-databastjänst som är kompatibel med HBase API och kan hantera större arbetsbelastningar, ta en titt på Cloud Bigtable

- Om du behöver flytta en virtuell maskin (VM)-instans, överväg att använda Googles VM-migreringsprodukt, Migrate to Virtual Machines

## Steg 1: Sätt ihop ditt team
Att planera en överföring kräver vanligtvis personal med följande roller och ansvarsområden:
Aktivera resurser som behövs för en överföring: Lagrings-, IT- och nätverksadministratörer, en verkställande sponsor och andra rådgivare (till exempel ett Google-kontoteam eller integrationspartners) Godkänna överföringsbeslutet:Dataägare eller guvernörer (för interna policyer om vem som är får överföra vilken data), juridiska rådgivare (för datarelaterade bestämmelser) och en säkerhetsadministratör (för interna policyer om hur dataåtkomst skyddas) Utföra överföringen: En gruppledare, en projektledare (för att utföra och spåra projektet ), ett ingenjörsteam och mottagning och leverans på plats (för att ta emot apparatens hårdvara)
Det är avgörande att identifiera vem som äger de föregående ansvarsområdena för ditt överföringsprojekt och att inkludera dem i planerings- och beslutsmöten när så är lämpligt. Dålig organisationsplanering är ofta orsaken till misslyckade överföringsinitiativ
Att samla projektkrav och input från dessa intressenter kan vara utmanande, men att göra en plan och fastställa tydliga roller och ansvarsområden lönar sig. Du kan inte förväntas känna till alla detaljer om dina uppgifter. Att sätta ihop ett team ger dig större insikt i verksamhetens behov. Det är en bästa praxis att identifiera potentiella problem innan du investerar tid, pengar och resurser för att slutföra överföringarna

## Steg 2: Samla in krav och tillgängliga resurser
När du utformar en överföringsplan rekommenderar vi att du först samlar in krav på din dataöverföring och sedan bestämmer dig för ett överföringsalternativ. För att samla in krav kan du använda följande process:
- Identifiera vilka datauppsättningar du behöver flytta

- Välj verktyg som Data Catalog för att organisera dina data i logiska grupperingar som flyttas och används tillsammans

- Arbeta med team inom din organisation för att validera eller uppdatera dessa grupperingar

- Identifiera vilka datauppsättningar du
kan röra sig

- Fundera på om reglerings-, säkerhets- eller andra faktorer hindrar vissa datauppsättningar från att överföras

- Om du behöver omvandla en del av din data innan du flyttar den (till exempel för att ta bort känslig data eller omorganisera din data), överväg att använda en dataintegrationsprodukt som Dataflow eller Cloud Data Fusion, eller en arbetsflödesorkestreringsprodukt som Cloud Composer

- För datauppsättningar som är flyttbara, bestäm var varje datauppsättning ska överföras

- Registrera vilket lagringsalternativ du väljer för att lagra dina data. Vanligtvis är mållagringssystemet på Google Cloud Cloud Storage. Även om du behöver mer komplexa lösningar efter att dina applikationer är igång, är Cloud Storage ett skalbart och hållbart lagringsalternativ

- Förstå vilka dataåtkomstpolicyer som måste upprätthållas efter migrering

- Bestäm om du behöver lagra denna data i specifika regioner

- Planera hur denna data ska struktureras på destinationen. Kommer det till exempel att vara samma som källan eller annorlunda?
- Bestäm om du behöver överföra data löpande

- För datauppsättningar som är flyttbara, bestäm vilka resurser som finns tillgängliga
att flytta dem

- Tid: När måste överföringen slutföras?
- Kostnad: Vilken budget är tillgänglig för laget och överföringskostnader?
- Människor: Vem är tillgänglig för att utföra överföringen?
- Bandbredd (för onlineöverföringar): Hur mycket av din för närvarande tillgängliga bandbredd för Google Cloud kan allokeras för en överföring och under vilken tidsperiod?
Innan du utvärderar och väljer överföringsalternativ i nästa fas av planeringen rekommenderar vi att du bedömer om någon del av din IT-modell kan förbättras, såsom datastyrning, organisation och säkerhet

 Din säkerhetsmodell
Många medlemmar i överföringsteamet kan tilldelas nya roller i din Google Cloud-organisation som en del av ditt dataöverföringsprojekt.Dataöverföringsplanering är ett bra tillfälle att granska dina identitets- och åtkomsthanteringsbehörigheter (IAM) och bästa praxis för att använda IAM på ett säkert sätt.Dessa problem kan påverka hur du ger åtkomst till din lagring.Du kan till exempel sätta strikta begränsningar för skrivåtkomst till data som har arkiverats av regulatoriska skäl, men du kan tillåta många användare och applikationer att skriva data till din testmiljöDin Google Cloud-organisationHur du strukturerar din data på Google Cloud beror på hur du planerar att använda Google Cloud.Att lagra dina data i samma molnprojekt där du kör din applikation är ett enkelt tillvägagångssätt, men det kanske inte är optimalt ur ett förvaltningsperspektiv.Vissa av dina utvecklare kanske inte har behörighet att se produktionsdata.I så fall kan en utvecklare utveckla kod på exempeldata, medan ett privilegierat tjänstkonto kan komma åt produktionsdata.Därför kanske du vill behålla hela din produktionsdatauppsättning i ett separat molnprojekt och sedan använda ett tjänstekonto för att ge åtkomst till data från varje applikationsprojektGoogle Cloud är organiserat kring projekt.Projekt kan grupperas i mappar och mappar kan grupperas under din organisation.Roller etableras på projektnivå och åtkomstbehörigheterna läggs till dessa roller på Cloud Storage-bucket-nivåerna.Den här strukturen överensstämmer med behörighetsstrukturen för andra objektbutiksleverantörerFör bästa praxis för att strukturera en Google Cloud-organisation, se Bestäm en resurshierarki för din Google Cloud-landningszon## Steg 3: Utvärdera dina överföringsalternativFör att utvärdera dina dataöverföringsalternativ måste överföringsteamet överväga flera faktorer, inklusive följande:- Kostnad- Tid- Offline kontra onlineöverföringsalternativ- Överföringsverktyg och teknologier- SäkerhetKostnadDe flesta av kostnaderna förknippade med överföring av data inkluderar följande:- Nätverkskostnader- Ingång till Cloud Storage är gratis.Men om du är värd för din data hos en offentlig molnleverantör kan du förvänta dig att betala en utträdesavgift och eventuellt lagringskostnader (till exempel läsoperationer) för att överföra dina data.Den här avgiften gäller för data som kommer från Google eller annan molnleverantör– Om din data lagras i ett privat datacenter som du driver kan du också få extra kostnader för inställning upp mer bandbredd till Google Cloud- Lagrings- och driftskostnader för Cloud Storage under och efter överföringen av data- Produktkostnader (till exempel en Transfer Appliance)- Personalkostnader för att sammanställa ditt team och skaffa logistiskt stödTidFå saker i datoranvändning framhäver hårdvarubegränsningarna hos nätverk som att överföra stora mängder data.Helst kan du överföra 1 GB på åtta sekunder över ett 1 Gbps-nätverk.Om du skalar upp det till en enorm datauppsättning (till exempel 100 TB), är överföringstiden 12 dagar.Överföring av enorma datamängder kan testa gränserna för din infrastruktur och potentiellt orsaka problem för ditt företagDu kan använda följande kalkylator för att förstå hur lång tid en överföring kan ta, givet storleken på datamängden du flyttar och den tillgängliga bandbredden för överföringen.En viss procentandel av ledningstiden tas med i beräkningarna.Dessutom ingår en effektiv bandbreddseffektivitet, så de resulterande siffrorna är mer realistiska och ideala siffror kommer inte att erhållasDu kanske inte vill överföra stora datamängder från ditt företag nätverk under högtrafik.Om överföringen överbelastas nätverket, kommer ingen annan att kunna få nödvändigt eller verksamhetskritiskt arbete slutfört.Av denna anledning måste transferlaget ta hänsyn till tidsfaktornEfter att data har överförts till Cloud Storage kan du använda ett antal tekniker för att bearbeta de nya filerna när de kommer, till exempel DataflowÖka nätverksbandbreddenHur du ökar nätverket bandbredd beror på hur du ansluter till Google CloudI en moln-till-moln-överföring mellan Google Cloud och andra molnleverantörer tillhandahåller Google anslutningen mellan molnleverantörens datacenter, vilket inte kräver någon konfiguration från digOm du överför data mellan ditt privata datacenter och Google Cloud finns det tre huvudsakliga tillvägagångssätt:- En offentlig internetanslutning genom att använda ett offentligt API- Direkt peering genom att använda ett offentligt API- Cloud Interconnect genom att använda ett privat APINär du utvärderar dessa metoder är det bra att överväga dina långsiktiga anslutningsbehov.Du kanske drar slutsatsen att det är kostsamt att skaffa bandbredd enbart för överföringsändamål, men när man tar hänsyn till långvarig användning av Google Cloud och nätverksbehoven i hela organisationen, kan investeringen vara värd besväretAnsluta med en offentlig internetanslutningNär du använder en offentlig internetanslutning är nätverkets genomströmning mindre förutsägbar eftersom du är begränsad av din internetleverantörs (ISP) kapacitet och routing.Internetleverantören kan också erbjuda ett begränsat servicenivåavtal (SLA) eller inget alls.Dessa anslutningar erbjuder dock relativt låga kostnader, och med Googles omfattande peering-arrangemang kan din internetleverantör dirigera dig till Googles globala nätverk inom några få nätverkshoppVi rekommenderar att du kontrollerar med din säkerhetsadministratör om huruvida din företagspolicy förbjuder att flytta vissa datauppsättningar över det offentliga internet.Kontrollera även om den offentliga internetanslutningen används för din produktionstrafik.Storskaliga dataöverföringar kan påverka produktionsnätverket negativtAnsluta med direkt peering
För att komma åt Googles nätverk med färre nätverkshopp än med en offentlig internetanslutning kan du använda Direct Peering. Genom att använda Direct Peering kan du utbyta internettrafik mellan ditt nätverk och Googles Edge Points of Presence (PoPs), vilket innebär att din data inte använder det offentliga internet. Om du gör det minskar du också antalet hopp mellan ditt nätverk och Googles nätverk. Peering med Googles nätverk kräver att du ställer in ett registrerat Autonomous System (AS)-nummer, ansluter till Google via en internetväxel och ger en dygnet runt-kontakt med ditt nätverksdriftcenter

 Ansluter med Cloud Interconnect
Cloud Interconnect erbjuder en direktanslutning till Google Cloud via Google eller någon av Cloud Interconnect-tjänsteleverantörerna. Den här tjänsten hjälper till att förhindra att dina data hamnar på det offentliga internet och kan ge en mer konsekvent genomströmning för stora dataöverföringar. Vanligtvis tillhandahåller Cloud Interconnect SLA för nätverkstillgänglighet och prestanda för deras nätverk. Kontakta en tjänsteleverantör direkt om du vill veta mer. Cloud Interconnect stöder även privat adressering, RFC 1918, så att molnet effektivt blir en förlängning av ditt privata datacenter utan behov av offentliga IP-adresser eller NAT:er

 Online kontra offline överföring
Ett avgörande beslut är om du ska använda en offline- eller onlineprocess för din dataöverföring. Det vill säga, du måste välja mellan att överföra över ett nätverk, oavsett om det är en dedikerad sammankoppling eller det offentliga internet, eller att överföra genom att använda lagringshårdvara

För att hjälpa dig med detta beslut tillhandahåller vi en överföringskalkylator som hjälper dig att uppskatta tids- och kostnadsskillnaderna mellan dessa två alternativ. Följande diagram visar också vissa överföringshastigheter för olika datauppsättningsstorlekar och bandbredder. En viss mängd förvaltningskostnader är inbyggda i dessa beräkningar

Som nämnts tidigare kan du behöva överväga om kostnaden för att uppnå lägre latenser för din dataöverföring (som att skaffa nätverksbandbredd) kompenseras av värdet av den investeringen för din organisation

 Alternativ tillgängliga från Google
Google erbjuder flera verktyg och tekniker som hjälper dig att utföra en dataöverföring

 Besluta bland Googles överföringsalternativ
Att välja ett överföringsalternativ beror på ditt användningsfall, som följande tabell visar

|
|Varifrån du flyttar data |
|Scenario |
|Föreslagna produkter
|En annan molnleverantör (till exempel Amazon Web Services eller Microsoft Azure) till Google CloudStorage Transfer Service|
|Cloud Storage till Cloud Storage (två olika hinkarStorage Transfer Service|
|Ditt privata datacenter till Google Cloud||Tillräckligt med bandbredd för att hålla ditt projekts deadline
|
för mindre än 1 TB data
|
|
|Ditt privata datacenter till Google Cloud||Tillräckligt med bandbredd för att hålla ditt projekts deadline
|
för mer än 1 TB data
|Storage Transfer Service för lokal data|
|Ditt privata datacenter till Google Cloud||Inte tillräckligt med bandbredd för att hålla ditt projektdeadline||Överför enhet|
gsutil för mindre överföringar av lokal data
De
gsutil verktyg
är standardverktyget för små till medelstora överföringar (mindre än
1 TB) över ett typiskt nätverk i företagsskala, från ett privat datacenter
till Google Cloud. Vi rekommenderar att du inkluderar
gsutil i din standardsökväg
när du använder
Molnskal

Den är också tillgänglig som standard när du installerar
Google Cloud CLI

Det är ett pålitligt verktyg som ger alla grundläggande funktioner du behöver för att hantera
din
Molnlagring
instanser, inklusive kopiering av dina data till och från det lokala filsystemet och
Molnlagring. Den kan också flytta och byta namn på objekt och utföra
inkrementella synkroniseringar i realtid, som
rsync, till en Cloud Storage-bucket

gsutil är särskilt användbart i följande scenarier:
- Dina överföringar måste utföras vid behov, eller under kommandoradssessioner av dina användare

- Du överför bara ett fåtal filer eller mycket stora filer, eller båda

- Du förbrukar utdata från ett program (strömmande utdata till Cloud Storage)

- Du måste titta på en katalog med ett måttligt antal filer och synkronisera eventuella uppdateringar med mycket låga latenser

Grunderna för att komma igång med
gsutil är till
skapa en Cloud Storage-hink
och
kopiera data
till den hinken. För överföringar av större datamängder finns det två saker att göra
överväga:
För flertrådiga överföringar, använd
gsutil -m

Flera filer bearbetas parallellt, vilket ökar dina överföringshastigheter

För en enda stor fil, använd sammansatta överföringar

Denna metod delar upp stora filer i mindre bitar för att öka överföringshastigheten. Bitar överförs och valideras parallellt och skickar all data till Google. När bitarna kommer till Google kombineras de (kallas
komponera) för att bilda ett enda objekt

Sammansatta överföringar med gsutil har vissa nackdelar, inklusive att varje del (inte hela objektet) är individuellt checksummad, och sammansättningen av kyllagringsklasser resulterar i tidiga raderingspåföljder

 Storage Transfer Service för stora överföringar av lokal data
Tycka om
gsutil,
Lagringsöverföringstjänst för lokal data
möjliggör överföringar från nätverksfilsystem (NFS) lagring till
Molnlagring. Fastän
gsutil kan stödja små överföringsstorlekar (upp
till 1 TB), är Storage Transfer Service för lokal data utformad för
storskaliga överföringar (upp till petabyte data, miljarder filer). Det stödjer
hela kopior eller inkrementella kopior, och det fungerar med alla överföringsalternativ som anges
tidigare i
Besluta bland Googles överföringsalternativ. den
har också ett enkelt, hanterat grafiskt användargränssnitt; även icke-tekniskt kunniga
användare (efter installation) kan använda den för att flytta data

Storage Transfer Service för lokal data är särskilt användbar i följande scenarier:
- Du har tillräcklig tillgänglig bandbredd för att flytta datavolymerna (se Google Cloud Data Transfer Calculator)- Du stödjer en stor bas av interna användare som kan hitta en kommandoradverktyg somgsutilutmanande att använda- Du behöver robust felrapportering och en registrering av alla filer och objekt som flyttas- Du måste begränsa effekten av överföringar på andra arbetsbelastningar i ditt datacenter (den här produkten kan hållas under en användarspecificerad bandbreddsgräns)- Du vill köra återkommande överföringar enligt ett schemaDu ställer in Storage Transfer Service för lokal data genom att installera on-lokal programvara [känd som *agenter*] på datorer i ditt datacenter.Dessaagenter finns i Docker-behållare, vilket gör det enklare att köra många av dem ellerorkestrera dem genom KubernetesNär installationen är klar , kan användare initiera överföringar i Google Cloud-konsolen genom atttillhandahålla en källkatalog, destinationsbucket och tid eller schemaStorage Transfer Service genomsöker rekursivt underkataloger och filer ikällkatalog och skapar objekt med ett motsvarande namn iCloud Storage [objektet /dir/foo/file.txt blir ett objekt i destinationsbucket som heter /dir/foo/file.txt].Storage Transfer Serviceförsöker automatiskt en överföring igen när den stöter på övergående felMedan överföringarna körs kan du övervaka hur många filer som flyttas ochden totala överföringshastigheten, och du kan se felexempelNär överföringen är klar genereras en tabbavgränsad fil (TSV) med en fullständig förteckning över alla filer som berörs och eventuella mottagna felmeddelanden.Agenter är feltoleranta, så om en agent går ner fortsätter överföringen med de återstående agenterna.Agenter är också självuppdaterande och självläkande, så du behöver inte oroa dig för att korrigera de senaste versionerna eller starta om processen om den försvinner på grund av ett oväntat problemSaker att tänka på när du använder Storage Transfer Service:Använd en identisk agentinställning på alla datorer. Alla agenter bör se samma nätverksfilsystem (NFS) monterade på samma sätt (samma relativa sökvägar).Denna inställning är ett krav för att produkten ska fungera.Fler agenter ger högre hastighet. Eftersom överföringar automatiskt parallelliseras mellan alla agenter rekommenderar vi att du distribuerar många agenter så att du använder din tillgängliga bandbredd.Bandbreddstak kan skydda dina arbetsbelastningar. Dina andra arbetsbelastningar kan använda ditt datacenters bandbredd, så ställ in ett bandbreddstak för att förhindra att överföringar påverkar dina SLA:er.Planera tid för granskning av fel. Stora överföringar kan ofta resultera i fel som kräver granskning.Storage Transfer Service låter dig se ett exempel på de fel som påträffats direkt i Google Cloud-konsolen.Om det behövs kan du ladda hela posten över alla överföringsfel till BigQuery för att kontrollera filer eller utvärdera fel som finns kvar även efter återförsök.Dessa fel kan orsakas av att appar körde som skrev till källan medan överföringen skedde, eller så kan felen avslöja ett problem som kräver felsökning (till exempel behörighetsfel).Ställ in Cloud Monitoring för långvariga överföringar. Storage Transfer Service låter Monitoring övervaka agenternas hälsa och genomströmning, så att du kan ställa in varningar som meddelar dig när agenter är nere eller behöver åtgärdas.Att agera på agentfel är viktigt för överföringar som tar flera dagar eller veckor, så att du undviker betydande nedgångar eller avbrott som kan försena ditt projekts tidslinjeTransfer Appliance för större överföringarFör storskaliga överföringar (särskilt överföringar med begränsad nätverksbandbredd) är Transfer Appliance ett utmärkt alternativ, särskilt när en snabb nätverksanslutning inte är tillgänglig och det är för dyrt att skaffa mer bandbreddTransfer Appliance är särskilt användbar i följande scenarier:- Ditt datacenter är på en avlägsen plats med begränsad eller ingen tillgång till bandbredd- Bandbredd är tillgänglig, men kan inte erhållas i tid för att nå din deadline- Du har tillgång till logistiska resurser för att ta emot och ansluta apparater till ditt nätverkMed det här alternativet, överväg följande:- Transfer Appliance kräver att du kan ta emot och skicka tillbaka den Google-ägda maskinvaran- Beroende på din internetanslutning, latensen för överföring av data till Google Cloud är vanligtvis högre med Transfer Appliance än online- Transfer Appliance är endast tillgänglig i vissa länderDe två huvudkriterierna att överväga med Transfer Appliance är kostnad och hastighet.Med rimlig nätverksanslutning (till exempel 1 Gbps) tar det över 10 dagar att överföra 100 TB data online.Om denna kurs är acceptabel är en onlineöverföring troligen en bra lösning för dina behov.Om du bara har en 100 Mbps-anslutning (eller värre från en fjärrplats) tar samma överföring över 100 dagar.Vid det här laget är det värt att överväga ett alternativ för offlineöverföring som Transfer ApplianceAtt skaffa en Transfer Appliance är enkelt.I Google Cloud-konsolen begär du en överföringsenhet, anger hur mycket data du har och sedan skickar Google en eller flera enheter till din önskade plats.Du får ett antal dagar på dig att överföra dina data till enheten ("datainsamling") och skicka tillbaka dem till GoogleDen förväntade handläggningstiden för en nätverksenhet att skickas, laddas med din data, skickas tillbaka och återfuktas på Google Cloud är det 20 dagar.Om tidsramen för din onlineöverföring beräknas vara betydligt längre än denna tidsram, överväg Transfer Appliance.Den totala kostnaden för 300 TB-enhetsprocessen är mindre än $2 500Lagringsöverföringstjänst för moln-till-moln-överföringarLagringsöverföringstjänsten är en fullt hanterad , mycket skalbar tjänst för att automatisera överföringar från andra publik till molnlagring.Det stöder överföringar till Cloud Storage från Amazon S3 och HTTPFör Amazon S3 kan du tillhandahålla en åtkomstnyckel och en S3-hink med valfria-filter för S3 objekt att välja, och sedan kopierar du S3-objekten till valfritt
Cloud Storage hink. Tjänsten stöder även dagliga kopior av ev
modifierade objekt. Tjänsten stöder för närvarande inte dataöverföringar
*till*
Amazon S3

För HTTP kan du ge Storage Transfer Service en lista över offentliga webbadresser i
ett specificerat format

Detta tillvägagångssätt kräver att du skriver ett skript som anger storleken på varje
fil i byte, tillsammans med en Base64-kodad MD5-hash av filinnehållet

Ibland är filstorleken och hashen tillgängliga från källwebbplatsen. Om
inte, du behöver lokal åtkomst till filerna, i så fall kan det vara lättare att
använda sig av
gsutil, som beskrivits tidigare

Om du har en överföring på plats är Storage Transfer Service ett utmärkt sätt att få data och behålla den, särskilt när du överför från ett annat offentligt moln

 säkerhet
För många Google Cloud-användare är säkerhet deras primära fokus, och det finns olika säkerhetsnivåer tillgängliga. Några säkerhetsaspekter att överväga inkluderar skydd av data i vila (auktorisering och åtkomst till käll- och destinationslagringssystemet), skydd av data under överföring och skydd av åtkomst till överföringsprodukten. Följande tabell beskriver dessa aspekter av säkerhet per produkt

|
|Produkt |
|Data i vila |
|Data under transport |
|Tillgång till överföring av produkt
|Transfer Appliance||All data krypteras vid restData skyddas med nycklar som hanteras av kunden. Vem som helst kan beställa en apparat, men för att använda den behöver de tillgång till datakällan.|
|
||Åtkomstnycklar som krävs för att få åtkomst till Cloud Storage, som krypteras vid restData skickas över HTTPS och krypteras under transport. Vem som helst kan ladda ner och köra
|
|Storage Transfer Service för lokal data||Åtkomstnycklar som krävs för att få åtkomst till Cloud Storage, som är krypterad i vila. Agentprocessen kan komma åt lokala filer som OS-behörigheter tillåter.Data skickas över HTTPS och krypteras under överföring. Du måste ha behörighet för objektredigerare för att komma åt Cloud Storage-buckets.|
|Storage Transfer Service||Åtkomstnycklar krävs för icke-Google Cloud-resurser (till exempel Amazon S3). Åtkomstnycklar krävs för att komma åt Cloud Storage, som krypteras vid restData skickas över HTTPS och krypteras under överföring. Du måste ha IAM-behörigheter för att tjänstkontot ska få åtkomst till käll- och objektredigeringsbehörigheterna för alla Cloud Storage-buckets.|
För att uppnå grundläggande säkerhetsförbättringar, överföringar online till
Google Cloud använder
gsutil
sker över HTTPS, data krypteras under överföring och all data in
Cloud Storage är som standard krypterad i vila. För information om
mer sofistikerade säkerhetsrelaterade system, se
Säkerhets- och integritetshänsyn

Om du använder
Överför apparaten,
säkerhetsnycklar som du kontrollerar kan hjälpa till att skydda dina data. I allmänhet, vi
rekommenderar att du anlitar ditt säkerhetsteam för att säkerställa att din överföringsplan
uppfyller ditt företags och myndighetskrav

 Överföringsprodukter från tredje part
För avancerad optimering på nätverksnivå eller pågående arbetsflöden för dataöverföring, kanske du vill använda mer avancerade verktyg. Besök Googles partners för information om mer avancerade verktyg

Följande länkar belyser några av de många alternativen (listade här i alfabetisk ordning):
– Aspera On Cloud bygger på Asperas patenterade protokoll och lämpar sig för storskaliga arbetsflöden. Den är tillgänglig på begäran som en prenumerationslicensmodell

- Cloud FastPath av Tervela kan användas för att bygga en hanterad dataström in i och ut ur Google Cloud. Mer information finns i Använda Cloud FastPath för att skapa dataströmmar

- Signiant erbjuder Media Shuttle som en SaaS-lösning (software-as-a-service) för att överföra vilken fil som helst till eller från var som helst. Signiant erbjuder också Flight som ett automatiskt skalningsverktyg baserat på ett mycket optimerat protokoll, och Signiant Flight Deck som ett automationsverktyg för storskaliga överföringar över geografiskt spridda platser

## Steg 4: Förbereder för din överföring
För en stor överföring, eller en överföring med betydande beroenden, är det viktigt att förstå hur du använder din överföringsprodukt. Kunder går vanligtvis igenom följande steg:
Prissättning och uppskattning av ROI. Det här steget ger många alternativ för att underlätta beslutsfattande. Funktionstestning. I det här steget bekräftar du att produkten kan ställas in och att nätverksanslutningen (i tillämpliga fall) fungerar. Du testar också att du kan flytta ett representativt urval av dina data (inklusive medföljande steg utan överföring, som att flytta en VM-instans) till destinationen

Du kan vanligtvis göra det här steget innan du allokerar alla resurser som överföringsmaskiner eller bandbredd. Målen för detta steg inkluderar följande:
- Bekräfta att du kan installera och använda överföringen

- Upptäck potentiella projektstoppande problem som blockerar datarörelse (till exempel nätverksrutter) eller din verksamhet (till exempel utbildning som behövs för ett steg som inte överförs)

Prestandatestning.I det här steget kör du en överföring på ett stort urval av dina data (vanligtvis 3âÃÂÃÂ5%) efter att produktionsresurser har allokerats för att göra följande:
- Bekräfta att du kan konsumera alla tilldelade resurser och kan uppnå de hastigheter du förväntar dig

- Utforska och fixa flaskhalsar (till exempel lagringssystem för långsam källa)

## Steg 5: Säkerställa integriteten för din överföring
För att säkerställa integriteten hos dina data under en överföring rekommenderar vi att du vidtar följande försiktighetsåtgärder:
- Aktivera versionshantering och säkerhetskopiering på din destination för att begränsa skadan av oavsiktliga raderingar

- Validera dina data innan du tar bort källdata

För storskaliga dataöverföringar (med petabyte data och miljarder filer) resulterar en latent felfrekvens för det underliggande källlagringssystemet så låg som 0,0001 % fortfarande i en dataförlust på tusentals filer och gigabyte. Vanligtvis är applikationer som körs vid källan redan toleranta mot dessa fel, i så fall är extra validering inte nödvändig. I vissa exceptionella scenarier (till exempel långtidsarkiv) krävs mer validering innan det anses säkert att radera data från källan

Beroende på kraven för din applikation rekommenderar vi att du kör några dataintegritetstester efter att överföringen är klar för att säkerställa att applikationen fortsätter att fungera som avsett. Många överföringsprodukter har inbyggda dataintegritetskontroller. Men beroende på din riskprofil kanske du vill göra en extra uppsättning kontroller av data och appar som läser dessa data innan du raderar data från källan. Du kanske till exempel vill bekräfta om en kontrollsumma som du registrerat och beräknat oberoende matchar data som skrivits på destinationen, eller bekräfta att en datauppsättning som används av applikationen överfördes framgångsrikt

## Hitta hjälp
Google Cloud erbjuder olika alternativ och resurser för dig att hitta nödvändig hjälp och support för att på bästa sätt använda Google Cloud-tjänster:
Självbetjäningsresurser. Om du inte behöver dedikerad support har du olika alternativ som du kan använda i din egen takt. Teknikpartner. Google Cloud har samarbetat med flera företag för att hjälpa dig använda våra produkter och tjänster. Google Cloud professionella tjänster. Våra professionella tjänster kan hjälpa dig att få ut det mesta av din investering i Google Cloud

Det finns fler resurser för att hjälpa migrera arbetsbelastningar till Google Cloud i Google Cloud Migration Center

Mer information om dessa resurser finns i avsnittet för att hitta hjälp i Migration to Google Cloud: Getting started

## Vad kommer härnäst
- Om du har frågor om att utforma en överföringsplan eller om ett specifikt användningsfall kan du kontakta Google Cloud Support eller kontakta ditt Google-kontoteam direkt

- För att komma igång med din överföring tillhandahåller vi följande guider:
- För allmänna datamigreringsstrategier: Migrera en monolitisk applikation till mikrotjänster på Google Kubernetes Engine
- För en offlineöverföring: Transfer Appliance
- För en onlineöverföring från ett offentligt moln: Storage Transfer Service
- Utforska referensarkitekturer, diagram, handledningar och bästa praxis om Google Cloud. Ta en titt på vårt Cloud Architecture Center.