Migration zu Google Cloud: Übertragung Ihrer großen Datensätze

Für viele Kunden besteht der erste Schritt bei der Einführung eines Google Cloud-Produkts darin, ihre Daten in Google Cloud zu übertragen. Dieses Dokument untersucht diesen Prozess, von der Planung einer Datenübertragung bis hin zur Anwendung bewährter Verfahren bei der Umsetzung eines Plans

Die Übertragung großer Datensätze erfordert den Aufbau des richtigen Teams, eine frühzeitige Planung und das Testen Ihres Übertragungsplans, bevor Sie ihn in einer Produktionsumgebung implementieren. Obwohl diese Schritte genauso viel Zeit in Anspruch nehmen können wie die Übertragung selbst, können solche Vorbereitungen dazu beitragen, die Unterbrechung Ihres Geschäftsbetriebs während der Übertragung zu minimieren

Dieses Dokument ist Teil einer mehrteiligen Serie über die Migration zu Google Cloud. Wenn Sie an einer Übersicht über die Reihe interessiert sind, lesen Sie Migration zu Google Cloud: Auswahl Ihres Migrationspfads

Dieser Artikel ist Teil einer Serie:
- Migration zu Google Cloud: Erste Schritte
- Migration zu Google Cloud: Bewertung und Erkennung Ihrer Workloads
- Migration zu Google Cloud: Aufbau Ihrer Grundlage
- Migration zu Google Cloud: Übertragung Ihrer großen Datasets (dieses Dokument)
- Migration zu Google Cloud: Bereitstellen Ihrer Workloads
- Migration zu Google Cloud: Migration von manuellen Bereitstellungen zu automatisierten, containerisierten Bereitstellungen
- Migration zu Google Cloud: Optimierung Ihrer Umgebung
- Migration zu Google Cloud: Best Practices für die Validierung eines Migrationsplans
Das folgende Diagramm veranschaulicht den Weg Ihrer Migrationsreise

Die Bereitstellungsphase ist die dritte Phase Ihrer Migration zu Google Cloud, in der Sie einen Bereitstellungsprozess für Ihre Arbeitslasten entwerfen

Dieses Dokument ist hilfreich, wenn Sie eine Migration von einer lokalen Umgebung, von einer privaten Hosting-Umgebung, von einem anderen Cloud-Anbieter zu Google Cloud planen oder wenn Sie die Möglichkeit einer Migration prüfen und erkunden möchten, wie sie aussehen könnte mögen

## Was ist Datenübertragung?
Für die Zwecke dieses Dokuments ist Datenübertragung der Vorgang des Verschiebens von Daten, ohne sie umzuwandeln, z. B. das Verschieben von Dateien, wie sie sind, in Objekte

 Die Datenübertragung ist nicht so einfach, wie es sich anhört
Es ist verlockend, sich die Datenübertragung als eine riesige FTP-Sitzung vorzustellen, bei der Sie Ihre Dateien auf der einen Seite ablegen und darauf warten, dass sie auf der anderen Seite wieder herauskommen. In den meisten Unternehmensumgebungen umfasst der Übertragungsprozess jedoch viele Faktoren wie die folgenden:
- Ausarbeitung eines Transferplans, der die Verwaltungszeit berücksichtigt, einschließlich der Zeit, um sich für eine Transferoption zu entscheiden, Genehmigungen einzuholen und unvorhergesehene Probleme zu lösen
- Koordinieren von Personen in Ihrer Organisation, wie z. B. dem Team, das die Übertragung durchführt, Personal, das die Tools und die Architektur genehmigt, und Geschäftsbeteiligte, die sich mit dem Wert und den Störungen befassen, die das Verschieben von Daten mit sich bringen kann

- Auswahl des richtigen Übertragungstools basierend auf Ihren Ressourcen, Kosten, Zeit und anderen Projektüberlegungen

- Überwindung von Herausforderungen bei der Datenübertragung, einschließlich Problemen mit der "Lichtgeschwindigkeit"(unzureichende Bandbreite), Verschieben von Datensätzen, die aktiv verwendet werden, Schutz und Überwachung der Daten während der Übertragung und Sicherstellung der erfolgreichen Datenübertragung

Dieses Dokument soll Ihnen den Einstieg in eine erfolgreiche Transferinitiative erleichtern

 Andere Projekte im Zusammenhang mit der Datenübertragung
Die folgende Liste enthält Ressourcen für andere Arten von Datenübertragungsprojekten, die in diesem Dokument nicht behandelt werden:
- Wenn Sie Ihre Daten transformieren müssen (z. B. Zeilen kombinieren, Datasets zusammenführen oder personenbezogene Daten herausfiltern), sollten Sie eine Lösung zum Extrahieren, Transformieren und Laden (ETL) in Betracht ziehen, mit der Daten in einem Google Cloud Data Warehouse abgelegt werden können. Ein Beispiel für diese Architektur finden Sie in dieser Dataflow-Anleitung

- Wenn Sie eine Datenbank und verwandte Apps migrieren müssen (z. B. um eine Datenbank-App zu heben und zu verschieben), können Sie sich die Dokumentation für Cloud Spanner, Lösungen für PostgreSQL und andere Dokumentationen zu Ihrem Datenbanktyp ansehen

- Wenn Sie Ihre Daten von HBase zu einem vollständig verwalteten NoSQL-Datenbankdienst migrieren möchten, der mit der HBase-API kompatibel ist und größere Arbeitslasten bewältigen kann, werfen Sie einen Blick auf Cloud Bigtable

- Wenn Sie eine Instanz einer virtuellen Maschine (VM) verschieben müssen, sollten Sie das VM-Migrationsprodukt von Google, Migrate to Virtual Machines, verwenden

## Schritt 1: Stellen Sie Ihr Team zusammen
Die Planung eines Transfers erfordert in der Regel Personal mit den folgenden Rollen und Verantwortlichkeiten:
Aktivieren der für eine Übertragung erforderlichen Ressourcen: Speicher-, IT- und Netzwerkadministratoren, ein leitender Sponsor und andere Berater (z. B. ein Google-Kontoteam oder Integrationspartner) Genehmigen der Übertragungsentscheidung: Dateneigentümer oder -verantwortliche (für interne Richtlinien, wer ist welche Daten übertragen dürfen), Rechtsberater (für datenbezogene Vorschriften) und einen Sicherheitsadministrator (für interne Richtlinien zum Schutz des Datenzugriffs) Durchführung der Übertragung: Ein Teamleiter, ein Projektmanager (für die Ausführung und Nachverfolgung des Projekts ), ein Engineering-Team und Empfang und Versand vor Ort (um Appliance-Hardware zu erhalten)
Es ist von entscheidender Bedeutung, zu ermitteln, wer die vorangehenden Verantwortlichkeiten für Ihr Transferprojekt trägt, und sie gegebenenfalls in Planungs- und Entscheidungssitzungen einzubeziehen. Schlechte organisatorische Planung ist oft die Ursache für gescheiterte Transferinitiativen
Das Sammeln von Projektanforderungen und Beiträgen dieser Stakeholder kann eine Herausforderung sein, aber es zahlt sich aus, einen Plan zu erstellen und klare Rollen und Verantwortlichkeiten festzulegen. Es kann nicht erwartet werden, dass Sie alle Details Ihrer Daten kennen. Die Zusammenstellung eines Teams gibt Ihnen einen besseren Einblick in die Bedürfnisse des Unternehmens. Es hat sich bewährt, potenzielle Probleme zu identifizieren, bevor Sie Zeit, Geld und Ressourcen investieren, um die Übertragungen abzuschließen

## Schritt 2: Anforderungen und verfügbare Ressourcen sammeln
Wenn Sie einen Übertragungsplan entwerfen, empfehlen wir Ihnen, zunächst die Anforderungen für Ihre Datenübertragung zu sammeln und sich dann für eine Übertragungsoption zu entscheiden. Um Anforderungen zu sammeln, können Sie den folgenden Prozess verwenden:
- Identifizieren Sie, welche Datensätze Sie verschieben müssen

- Wählen Sie Tools wie Data Catalog aus, um Ihre Daten in logischen Gruppierungen zu organisieren, die verschoben und gemeinsam verwendet werden

- Arbeiten Sie mit Teams in Ihrer Organisation zusammen, um diese Gruppierungen zu validieren oder zu aktualisieren

- Identifizieren Sie, welche Datensätze Sie
kann bewegen

- Überlegen Sie, ob gesetzliche, Sicherheits- oder andere Faktoren die Übertragung einiger Datensätze verbieten

- Wenn Sie einige Ihrer Daten vor dem Verschieben transformieren müssen (z. B. um vertrauliche Daten zu entfernen oder Ihre Daten neu zu organisieren), sollten Sie die Verwendung eines Datenintegrationsprodukts wie Dataflow oder Cloud Data Fusion oder eines Workflow-Orchestrierungsprodukts wie Cloud Composer in Betracht ziehen

- Bestimmen Sie bei verschiebbaren Datasets, wohin die einzelnen Datasets übertragen werden sollen

- Notieren Sie, welche Speicheroption Sie zum Speichern Ihrer Daten auswählen. Normalerweise ist das Zielspeichersystem in Google Cloud Cloud Storage. Selbst wenn Sie komplexere Lösungen benötigen, nachdem Ihre Anwendungen ausgeführt wurden, ist Cloud Storage eine skalierbare und dauerhafte Speicheroption

- Verstehen, welche Datenzugriffsrichtlinien nach der Migration beibehalten werden müssen

- Bestimmen Sie, ob Sie diese Daten in bestimmten Regionen speichern müssen

- Planen Sie, wie Sie diese Daten am Zielort strukturieren. Wird es zum Beispiel mit der Quelle identisch sein oder anders?
- Stellen Sie fest, ob Sie kontinuierlich Daten übertragen müssen

- Bestimmen Sie für verschiebbare Datasets, welche Ressourcen verfügbar sind
sie zu bewegen

- Zeit: Wann muss die Überweisung abgeschlossen sein?
- Kosten: Welches Budget steht für Team- und Transferkosten zur Verfügung?
- Personen: Wer ist verfügbar, um die Überweisung durchzuführen?
- Bandbreite (für Online-Übertragungen): Wie viel Ihrer derzeit verfügbaren Bandbreite für Google Cloud kann für eine Übertragung zugewiesen werden und für welchen Zeitraum?
Bevor Sie in der nächsten Planungsphase Übertragungsoptionen bewerten und auswählen, empfehlen wir Ihnen zu prüfen, ob Teile Ihres IT-Modells verbessert werden können, z. B. Data Governance, Organisation und Sicherheit

 Ihr Sicherheitsmodell
Vielen Mitgliedern des Übertragungsteams werden möglicherweise im Rahmen Ihres Datenübertragungsprojekts neue Rollen in Ihrer Google Cloud-Organisation zugewiesen.Die Datenübertragungsplanung ist ein guter Zeitpunkt, um Ihre Identity and Access Management (IAM)-Berechtigungen und Best Practices für die sichere Verwendung von IAM zu überprüfen.Diese Probleme können sich darauf auswirken, wie Sie Zugriff auf Ihren Speicher gewähren.Beispielsweise könnten Sie den Schreibzugriff auf Daten, die aus regulatorischen Gründen archiviert wurden, streng einschränken, aber Sie könnten vielen Benutzern und Anwendungen erlauben, Daten in Ihre Testumgebung zu schreibenIhre Google Cloud-OrganisationWie Sie Ihre Daten in Google Cloud strukturieren, hängt davon ab, wie Sie Google Cloud verwenden möchten.Das Speichern Ihrer Daten in demselben Cloud-Projekt, in dem Sie Ihre Anwendung ausführen, ist ein einfacher Ansatz, aber aus Verwaltungssicht möglicherweise nicht optimal.Einige Ihrer Entwickler haben möglicherweise keine Berechtigung zum Anzeigen der Produktionsdaten.In diesem Fall könnte ein Entwickler Code auf Beispieldaten entwickeln, während ein privilegiertes Dienstkonto auf Produktionsdaten zugreifen könnte.Daher möchten Sie möglicherweise Ihr gesamtes Produktions-Dataset in einem separaten Cloud-Projekt aufbewahren und dann ein Dienstkonto verwenden, um den Zugriff auf die Daten von jedem AnwendungsprojektGoogle Cloud zu ermöglichen ist um Projekte herum organisiert.Projekte können in Ordnern gruppiert werden, und Ordner können unter Ihrer Organisation gruppiert werden.Rollen werden auf Projektebene eingerichtet und die Zugriffsberechtigungen werden diesen Rollen auf Cloud Storage-Bucket-Ebene hinzugefügt.Diese Struktur entspricht der Berechtigungsstruktur anderer ObjektspeicheranbieterBest Practices zum Strukturieren einer Google Cloud-Organisation finden Sie unter Entscheiden Sie sich für eine Ressourcenhierarchie für Ihre Google Cloud-Zielzone## Schritt 3: Bewertung Ihrer ÜbertragungsoptionenUm Ihre Datenübertragungsoptionen zu bewerten, muss das Übertragungsteam mehrere Faktoren berücksichtigen, einschließlich der folgenden:- Kosten- Zeit- Offline- und Online-Übertragungsoptionen- Übertragungstools und -technologien- SicherheitKostenDie meisten damit verbundenen Kosten mit der Datenübertragung beinhalten Folgendes:- Netzwerkkosten- Der Zugriff auf Cloud Storage ist kostenlos.Wenn Sie Ihre Daten jedoch bei einem öffentlichen Cloud-Anbieter hosten, müssen Sie mit einer Gebühr für ausgehenden Datenverkehr und potenziellen Speicherkosten (z. B. Lesevorgänge) für die Übertragung Ihrer Daten rechnen.Diese Gebühr gilt für Daten, die von Google oder einem anderen Cloud-Anbieter stammen.- Wenn Ihre Daten in einem von Ihnen betriebenen privaten Rechenzentrum gehostet werden, können Ihnen auch zusätzliche Kosten für die Einstellung entstehen mehr Bandbreite für Google Cloud bereitstellen– Speicher- und Betriebskosten für Cloud Storage während und nach der Übertragung von Daten– Produktkosten (z. B. eine Transfer Appliance)- Personalkosten für die Zusammenstellung Ihres Teams und den Erwerb logistischer UnterstützungZeitWenige Dinge in der Computertechnik heben die Hardwarebeschränkungen von Netzwerken hervor, da große Datenmengen übertragen werden.Im Idealfall können Sie 1 GB in acht Sekunden über ein 1-Gbit/s-Netzwerk übertragen.Wenn Sie das auf einen riesigen Datensatz hochskalieren (z. B. 100 TB), beträgt die Übertragungszeit 12 Tage.Die Übertragung riesiger Datensätze kann die Grenzen Ihrer Infrastruktur testen und möglicherweise Probleme für Ihr Unternehmen verursachen.Sie können den folgenden Rechner verwenden, um zu verstehen, wie viel Zeit eine Übertragung angesichts der Größe des zu verschiebenden Datensatzes und die für die Übertragung verfügbare Bandbreite.Ein gewisser Prozentsatz der Verwaltungszeit wird in die Berechnungen einbezogen.Darüber hinaus ist eine effektive Bandbreiteneffizienz enthalten, sodass die resultierenden Zahlen realistischer sind und keine idealen Zahlen erhalten werden.Möglicherweise möchten Sie keine großen Datensätze aus Ihrem Unternehmen übertragen Netzwerk während der Hauptarbeitszeiten.Wenn die Übertragung das Netzwerk überlastet, kann niemand sonst notwendige oder geschäftskritische Arbeiten erledigen.Aus diesem Grund muss das Transferteam den Faktor Zeit berücksichtigenNachdem die Daten in Cloud Storage übertragen wurden, können Sie eine Reihe von Technologien verwenden, um die neuen Dateien bei ihrem Eintreffen zu verarbeiten, z. B. DataflowErhöhen der NetzwerkbandbreiteWie Sie das Netzwerk vergrößern Bandbreite hängt davon ab, wie Sie sich mit Google Cloud verbindenBei einer Cloud-zu-Cloud-Übertragung zwischen Google Cloud und anderen Cloud-Anbietern stellt Google die Verbindung zwischen Rechenzentren von Cloud-Anbietern bereit, ohne dass Sie eine Einrichtung vornehmen müssenWenn Sie Daten zwischen Ihrem privaten Rechenzentrum und Google Cloud übertragen, gibt es drei Hauptansätze:– Eine öffentliche Internetverbindung mithilfe einer öffentlichen API– Direktes Peering mithilfe einer öffentlichen API– Cloud Interconnect mithilfe einer privaten APIBei der Bewertung dieser Ansätze ist es hilfreich, Ihre langfristigen Konnektivitätsanforderungen zu berücksichtigen.Sie könnten zu dem Schluss kommen, dass es unerschwinglich ist, Bandbreite nur für Übertragungszwecke zu erwerben, aber wenn Sie die langfristige Nutzung von Google Cloud und die Netzwerkanforderungen in Ihrem Unternehmen berücksichtigen, könnte sich die Investition lohnenHerstellen einer Verbindung über eine öffentliche InternetverbindungWenn Sie eine öffentliche Internetverbindung verwenden, ist der Netzwerkdurchsatz weniger vorhersehbar, da Sie durch die Kapazität und das Routing Ihres Internetdienstanbieters (ISP) eingeschränkt sind.Der ISP bietet möglicherweise auch ein eingeschränktes Service Level Agreement (SLA) oder gar keins an.Diese Verbindungen sind jedoch relativ kostengünstig, und mit den umfassenden Peering-Vorkehrungen von Google leitet Sie Ihr ISP möglicherweise innerhalb weniger Netzwerk-Hops an das globale Google-Netzwerk weiter.Wir empfehlen Ihnen, dies zu überprüfen Fragen Sie Ihren Sicherheitsadministrator, ob Ihre Unternehmensrichtlinie das Verschieben einiger Datensätze über das öffentliche Internet verbietet.Überprüfen Sie auch, ob die öffentliche Internetverbindung für Ihren Produktionsdatenverkehr verwendet wird.Umfangreiche Datenübertragungen können sich negativ auf das Produktionsnetzwerk auswirkenVerbindung mit Direct Peering
Um mit weniger Netzwerk-Hops als bei einer öffentlichen Internetverbindung auf das Google-Netzwerk zuzugreifen, können Sie Direct Peering verwenden. Durch die Verwendung von Direct Peering können Sie Internetdatenverkehr zwischen Ihrem Netzwerk und den Edge Points of Presence (PoPs) von Google austauschen, was bedeutet, dass Ihre Daten nicht das öffentliche Internet verwenden. Dadurch wird auch die Anzahl der Hops zwischen Ihrem Netzwerk und dem Google-Netzwerk reduziert. Für das Peering mit dem Google-Netzwerk müssen Sie eine registrierte Autonomous System (AS)-Nummer einrichten, sich über einen Internetknoten mit Google verbinden und rund um die Uhr Kontakt mit Ihrem Netzwerkbetriebszentrum herstellen

 Verbinden mit Cloud Interconnect
Cloud Interconnect bietet eine direkte Verbindung zu Google Cloud über Google oder einen der Cloud Interconnect-Dienstanbieter. Dieser Dienst verhindert, dass Ihre Daten in das öffentliche Internet gehen, und kann einen konsistenteren Durchsatz für große Datenübertragungen bieten. In der Regel bietet Cloud Interconnect SLAs für die Netzwerkverfügbarkeit und Leistung ihres Netzwerks. Wenden Sie sich direkt an einen Dienstanbieter, um mehr zu erfahren. Cloud Interconnect unterstützt auch die private Adressierung, RFC 1918, sodass die Cloud effektiv zu einer Erweiterung Ihres privaten Rechenzentrums wird, ohne dass öffentliche IP-Adressen oder NATs erforderlich sind

 Online- versus Offline-Übertragung
Eine wichtige Entscheidung ist, ob Sie für Ihre Datenübertragung ein Offline- oder Online-Verfahren verwenden. Das heißt, Sie müssen sich zwischen der Übertragung über ein Netzwerk, sei es eine dedizierte Verbindung oder das öffentliche Internet, oder der Übertragung mithilfe von Speicherhardware entscheiden

Um Ihnen bei dieser Entscheidung zu helfen, stellen wir Ihnen einen Überweisungsrechner zur Verfügung, mit dem Sie die Zeit- und Kostenunterschiede zwischen diesen beiden Optionen abschätzen können. Das folgende Diagramm zeigt auch einige Übertragungsgeschwindigkeiten für verschiedene Datensatzgrößen und Bandbreiten. In diese Berechnungen ist ein gewisser Verwaltungsaufwand eingebaut

Wie bereits erwähnt, müssen Sie möglicherweise überlegen, ob die Kosten für niedrigere Latenzen für Ihre Datenübertragung (z. B. der Erwerb von Netzwerkbandbreite) durch den Wert dieser Investition für Ihr Unternehmen ausgeglichen werden

 Optionen von Google verfügbar
Google bietet verschiedene Tools und Technologien an, die Sie bei der Durchführung einer Datenübertragung unterstützen

 Entscheiden Sie sich zwischen den Übertragungsoptionen von Google
Die Wahl einer Übertragungsoption hängt von Ihrem Anwendungsfall ab, wie die folgende Tabelle zeigt

|
|Von wo Sie Daten verschieben |
|Szenario |
|Empfohlene Produkte
|Ein anderer Cloud-Anbieter (z. B. Amazon Web Services oder Microsoft Azure) an Google CloudStorage Transfer Service|
|Cloud Storage zu Cloud Storage (zwei verschiedene BucketsStorage Transfer Service|
|Ihr privates Rechenzentrum zu Google Cloud||Genügend Bandbreite, um Ihre Projektfrist einzuhalten
|
für weniger als 1 TB Daten
|
|
|Ihr privates Rechenzentrum zu Google Cloud||Genügend Bandbreite, um Ihre Projektfrist einzuhalten
|
für mehr als 1 TB Daten
|Storage Transfer Service für lokale Daten|
|Ihr privates Rechenzentrum zu Google Cloud||Nicht genug Bandbreite, um Ihre Projektfrist einzuhalten||Transfer Appliance|
gsutil für kleinere Übertragungen von lokalen Daten
Die
gsutil-Tool
ist das Standardwerkzeug für kleine bis mittelgroße Transfers (weniger als
1 TB) über ein typisches Unternehmensnetzwerk von einem privaten Rechenzentrum
zu GoogleCloud. Wir empfehlen die Aufnahme
gsutil in Ihrem Standardpfad
wenn Sie verwenden
Cloud-Shell

Es ist auch standardmäßig verfügbar, wenn Sie die installieren
Google Cloud-CLI

Es ist ein zuverlässiges Tool, das alle grundlegenden Funktionen bietet, die Sie für die Verwaltung benötigen
dein
Cloud-Speicher
Instanzen, einschließlich des Kopierens Ihrer Daten in und aus dem lokalen Dateisystem und
Cloud-Speicher. Es kann auch Objekte verschieben und umbenennen und ausführen
inkrementelle Synchronisierungen in Echtzeit, wie z
rsync in einen Cloud Storage-Bucket

gsutil ist besonders nützlich in den folgenden Szenarien:
- Ihre Übertragungen müssen nach Bedarf oder während Befehlszeilensitzungen von Ihren Benutzern ausgeführt werden

- Sie übertragen nur wenige Dateien oder sehr große Dateien oder beides

- Sie verbrauchen die Ausgabe eines Programms (Streaming-Ausgabe an Cloud Storage)

- Sie müssen ein Verzeichnis mit einer moderaten Anzahl von Dateien überwachen und alle Updates mit sehr geringen Latenzen synchronisieren

Die Grundlagen für den Einstieg
gsutil sind zu
Erstellen Sie einen Cloud Storage-Bucket
und
Daten kopieren
zu diesem Eimer. Bei der Übertragung größerer Datensätze sind zwei Dinge zu beachten
Erwägen:
Verwenden Sie für Multithread-Übertragungen
gsutil-m

Mehrere Dateien werden parallel verarbeitet, was Ihre Übertragungsgeschwindigkeit erhöht

Verwenden Sie für eine einzelne große Datei zusammengesetzte Übertragungen

Diese Methode zerlegt große Dateien in kleinere Stücke, um die Übertragungsgeschwindigkeit zu erhöhen. Chunks werden parallel übertragen und validiert, wobei alle Daten an Google gesendet werden. Sobald die Chunks bei Google ankommen, werden sie kombiniert (als
Komponieren), um ein einziges Objekt zu bilden

Zusammengesetzte Übertragungen mit gsutil haben einige Nachteile, darunter, dass für jedes Stück (nicht das gesamte Objekt) eine individuelle Prüfsumme erstellt wird und die Zusammensetzung von Cold-Storage-Klassen zu vorzeitigen Löschstrafen führt

 Speicherübertragungsdienst für große Übertragungen von lokalen Daten
Mögen
gsutil,
Speicherübertragungsdienst für lokale Daten
ermöglicht Übertragungen vom Network File System (NFS)-Speicher zu
Cloud-Speicher. Obwohl
gsutil kann kleine Übertragungsgrößen (bis zu
bis 1 TB), ist der Storage Transfer Service für lokale Daten ausgelegt
große Übertragungen (bis zu Petabyte an Daten, Milliarden von Dateien). Es unterstützt
vollständige Kopien oder inkrementelle Kopien, und es funktioniert mit allen aufgeführten Übertragungsoptionen
früher rein
Entscheiden Sie sich zwischen den Übertragungsoptionen von Google. Es
hat auch eine einfache, verwaltete grafische Benutzeroberfläche; auch technisch nicht versiert
Benutzer (nach der Einrichtung) können damit Daten verschieben

Der Speicherübertragungsdienst für lokale Daten ist besonders nützlich in den folgenden Szenarien:
- Sie haben ausreichend verfügbare Bandbreite, um die Datenmengen zu verschieben (siehe Google Cloud Data Transfer Calculator)  - Sie unterstützen eine große Basis interner Benutzer, die möglicherweise eine Befehlszeile finden Werkzeug wie gsutilchallenging to use  - Sie benötigen robuste Fehlerberichte und eine Aufzeichnung aller Dateien und Objekte, die verschoben werden  - Sie müssen die Auswirkungen von Übertragungen auf andere Workloads in Ihrem Rechenzentrum begrenzen (dieses Produkt kann unter einer benutzerdefinierten Bandbreitenbegrenzung bleiben).  - Sie möchten wiederkehrende Überweisungen nach einem Zeitplan ausführen  Sie richten Storage Transfer Service für lokale Daten ein, indem Sie On- lokale Software [bekannt als *Agenten*] auf Computer in Ihrem Rechenzentrum. Diese Agenten befinden sich in Docker-Containern, was es einfacher macht, viele von ihnen auszuführen oder Orchestrieren Sie sie über Kubernetes  Nachdem die Einrichtung abgeschlossen ist, können Benutzer Übertragungen in der Google Cloud-Konsole initiieren, indem sie Bereitstellen eines Quellverzeichnisses, eines Ziel-Buckets und einer Zeit oder eines Zeitplans  Storage Transfer Service durchsucht rekursiv Unterverzeichnisse und Dateien in der Quellverzeichnis und erstellt Objekte mit einem entsprechenden Namen in Cloud Storage [das Objekt /dir/foo/file.txt wird zu einem Objekt im Ziel-Bucket namens /dir/foo/file.txt]. Speicherübertragungsdienst versucht automatisch erneut eine Übertragung, wenn vorübergehende Fehler auftreten  Während die Übertragungen ausgeführt werden, können Sie überwachen, wie viele Dateien verschoben und verschoben werden die Gesamtübertragungsgeschwindigkeit, und Sie können Fehlerbeispiele anzeigen  Wenn die Übertragung abgeschlossen ist, wird eine tabulatorgetrennte Datei (TSV) mit einer vollständigen Aufzeichnung aller berührten Dateien und empfangenen Fehlermeldungen generiert. Agenten sind fehlertolerant, dh wenn ein Agent ausfällt, wird die Übertragung mit den verbleibenden Agenten fortgesetzt. Agenten aktualisieren sich auch selbst und reparieren sich selbst, sodass Sie sich keine Gedanken über das Patchen der neuesten Versionen oder den Neustart des Prozesses machen müssen, wenn er aufgrund eines unerwarteten Problems ausfällt  Dinge, die bei der Verwendung von Storage Transfer Service zu beachten sind: Verwenden Sie auf jedem Computer ein identisches Agenten-Setup. Alle Agenten sollten dieselben NFS-Mounts (Network File System) auf dieselbe Weise sehen (dieselben relativen Pfade). Diese Einrichtung ist eine Voraussetzung für die Funktion des Produkts. Mehr Agenten führen zu mehr Geschwindigkeit. Da Übertragungen automatisch über alle Agenten hinweg parallelisiert werden, empfehlen wir, dass Sie viele Agenten bereitstellen, damit Sie Ihre verfügbare Bandbreite nutzen. Bandbreitenbegrenzungen können Ihre Workloads schützen. Ihre anderen Workloads verwenden möglicherweise die Bandbreite Ihres Rechenzentrums. Legen Sie daher eine Bandbreitenbegrenzung fest, um zu verhindern, dass Übertragungen Ihre SLAs beeinträchtigen. Planen Sie Zeit für die Überprüfung von Fehlern ein. Umfangreiche Übertragungen können häufig zu Fehlern führen, die eine Überprüfung erfordern. Mit dem Speicherübertragungsdienst können Sie ein Beispiel der aufgetretenen Fehler direkt in der Google Cloud-Konsole anzeigen. Bei Bedarf können Sie den vollständigen Datensatz aller Übertragungsfehler in BigQuery laden, um Dateien zu überprüfen oder Fehler auszuwerten, die auch nach Wiederholungsversuchen bestehen bleiben. Diese Fehler können durch ausgeführte Apps verursacht werden, die während der Übertragung in die Quelle geschrieben haben, oder die Fehler weisen auf ein Problem hin, das eine Fehlerbehebung erfordert (z. B. Berechtigungsfehler). Richten Sie Cloud Monitoring für lang andauernde Übertragungen ein. Mit Storage Transfer Service kann Monitoring den Zustand und den Durchsatz von Agenten überwachen, sodass Sie Warnungen festlegen können, die Sie benachrichtigen, wenn Agenten ausgefallen sind oder Ihre Aufmerksamkeit benötigen. Das Reagieren auf Agentenausfälle ist wichtig für Übertragungen, die mehrere Tage oder Wochen dauern, damit Sie erhebliche Verlangsamungen oder Unterbrechungen vermeiden, die Ihren Projektzeitplan verzögern können   Transfer Appliance für größere Transfers Für umfangreiche Übertragungen (insbesondere Übertragungen mit begrenzter Netzwerkbandbreite) ist Transfer Appliance eine hervorragende Option, insbesondere wenn keine schnelle Netzwerkverbindung verfügbar ist und es zu kostspielig ist, mehr Bandbreite zu erwerben  Transfer Appliance ist besonders nützlich in den folgenden Szenarien: - Ihr Rechenzentrum befindet sich an einem entfernten Standort mit begrenztem oder keinem Zugriff auf Bandbreite- Bandbreite ist verfügbar, kann aber nicht rechtzeitig erworben werden, um Ihre Frist einzuhalten- Sie haben Zugriff auf logistische Ressourcen, um Appliances zu erhalten und mit Ihrem Netzwerk zu verbindenBerücksichtigen Sie bei dieser Option Folgendes:– Transfer Appliance erfordert, dass Sie in der Lage sind, Google-eigene Hardware zu empfangen und zurückzusenden.– Abhängig von Ihrer Internetverbindung ist die Die Latenz für die Übertragung von Daten in Google Cloud ist bei Transfer Appliance in der Regel höher als online- Transfer Appliance ist nur in bestimmten Ländern verfügbarDie beiden wichtigsten zu berücksichtigenden Kriterien mit Transfer Appliance sind Kosten und Geschwindigkeit.Bei angemessener Netzwerkverbindung (z. B. 1 Gbit/s) dauert die Online-Übertragung von 100 TB Daten über 10 Tage.Wenn diese Rate akzeptabel ist, ist eine Online-Überweisung wahrscheinlich eine gute Lösung für Ihre Bedürfnisse.Wenn Sie nur eine 100 Mbit/s-Verbindung haben (oder schlimmer von einem entfernten Standort), dauert die gleiche Übertragung über 100 Tage.An dieser Stelle lohnt es sich, eine Offline-Übertragungsoption wie Transfer Appliance in Betracht zu ziehen.Der Erwerb einer Transfer Appliance ist unkompliziert.In der Google Cloud-Konsole fordern Sie eine Transfer Appliance an, geben an, wie viele Daten Sie haben, und Google versendet dann eine oder mehrere Appliances an den gewünschten Standort.Sie haben einige Tage Zeit, um Ihre Daten auf die Appliance zu übertragen ("Datenerfassung") und sie an Google zurückzusendenDie erwartete Bearbeitungszeit für eine Netzwerk-Appliance versandt, mit Ihren Daten geladen, zurückgesendet und in Google Cloud rehydriert werden, beträgt 20 Tage.Wenn Ihr Zeitrahmen für die Online-Übertragung wesentlich länger als dieser Zeitrahmen ist, ziehen Sie Transfer Appliance in Betracht.Die Gesamtkosten für den 300-TB-Geräteprozess betragen weniger als 2.500 $Speicherübertragungsdienst für Cloud-zu-Cloud-ÜbertragungenDer Speicherübertragungsdienst ist vollständig verwaltet , hochskalierbarer Dienst zur Automatisierung von Übertragungen von anderen öffentlichen in Cloud Storage.Es unterstützt Übertragungen in Cloud Storage von Amazon S3 und HTTPFür Amazon S3 können Sie einen Zugriffsschlüssel und einen S3-Bucket mit optionalenFiltern für S3 bereitstellen auszuwählenden Objekte und kopieren Sie dann die S3-Objekte in ein beliebiges
Cloud Storage-Bucket. Der Dienst unterstützt auch tägliche Kopien von any
modifizierte Objekte. Der Dienst unterstützt derzeit keine Datenübertragungen
*zu*
Amazon S3

Für HTTP können Sie Storage Transfer Service eine Liste öffentlicher URLs geben
ein bestimmtes Format

Dieser Ansatz erfordert, dass Sie ein Skript schreiben, das die jeweilige Größe angibt
Datei in Byte, zusammen mit einem Base64-codierten MD5-Hash des Dateiinhalts

Manchmal sind die Dateigröße und der Hash von der Quellwebsite verfügbar. Wenn
nicht, Sie benötigen lokalen Zugriff auf die Dateien, in diesem Fall ist dies möglicherweise einfacher
verwenden
gsutil, wie zuvor beschrieben

Wenn Sie eine Übertragung durchgeführt haben, ist der Storage Transfer Service eine großartige Möglichkeit, Daten abzurufen und zu behalten, insbesondere bei der Übertragung aus einer anderen öffentlichen Cloud

 Sicherheit
Für viele Google Cloud-Nutzer steht die Sicherheit an erster Stelle, und es stehen verschiedene Sicherheitsstufen zur Verfügung. Zu den zu berücksichtigenden Sicherheitsaspekten gehören der Schutz von ruhenden Daten (Autorisierung und Zugriff auf das Quell- und Zielspeichersystem), der Schutz von Daten während der Übertragung und der Schutz des Zugriffs auf das Übertragungsprodukt. In der folgenden Tabelle sind diese Sicherheitsaspekte nach Produkt aufgeführt

|
|Produkt |
|Daten im Ruhezustand |
|Daten unterwegs |
|Zugang zum Transferprodukt
|Transfer Appliance||Alle Daten werden im Ruhezustand verschlüsseltDaten werden mit Schlüsseln geschützt, die vom Kunden verwaltet werdenJeder kann eine Appliance bestellen, aber um sie zu verwenden, benötigt er Zugriff auf die Datenquelle.|
|
||Zugriffsschlüssel erforderlich für den Zugriff auf Cloud Storage, der im Ruhezustand verschlüsselt istDaten werden über HTTPS gesendet und während der Übertragung verschlüsseltJeder kann sie herunterladen und ausführen
|
|Storage Transfer Service für lokale Daten||Zugriffsschlüssel erforderlich für den Zugriff auf Cloud Storage, der im Ruhezustand verschlüsselt ist. Der Agent-Prozess kann auf lokale Dateien zugreifen, wenn die Betriebssystemberechtigungen dies zulassen. Daten werden über HTTPS gesendet und während der Übertragung verschlüsselt. Sie müssen über Objekt-Editor-Berechtigungen verfügen, um auf Cloud Storage-Buckets zugreifen zu können.|
|Storage Transfer Service||Zugriffsschlüssel erforderlich für Nicht-Google Cloud-Ressourcen (z. B. Amazon S3). Für den Zugriff auf Cloud Storage sind Zugriffsschlüssel erforderlich, die im Ruhezustand verschlüsselt sind. Daten werden über HTTPS gesendet und während der Übertragung verschlüsselt
Um grundlegende Sicherheitsverbesserungen zu erreichen, werden Online-Übertragungen an
Verwendung von Google Cloud
gsutil
erfolgen über HTTPS, die Daten werden während der Übertragung verschlüsselt und alle Daten gehen ein
Cloud Storage ist standardmäßig im Ruhezustand verschlüsselt. Für Informationen zu
ausgefeiltere sicherheitsbezogene Schemata, siehe
Überlegungen zu Sicherheit und Datenschutz

Wenn du benutzt
Übertragungsgerät,
Sicherheitsschlüssel, die Sie kontrollieren, können zum Schutz Ihrer Daten beitragen. Generell wir
empfehlen, dass Sie Ihr Sicherheitsteam beauftragen, um sicherzustellen, dass Ihr Übertragungsplan eingehalten wird
erfüllt Ihre Unternehmens- und behördlichen Anforderungen

 Übertragungsprodukte von Drittanbietern
Für eine erweiterte Optimierung auf Netzwerkebene oder fortlaufende Datenübertragungs-Workflows möchten Sie möglicherweise fortschrittlichere Tools verwenden. Informationen zu erweiterten Tools finden Sie bei Google-Partnern

Die folgenden Links heben einige der vielen Optionen hervor (hier in alphabetischer Reihenfolge aufgeführt):
- Aspera On Cloud basiert auf dem patentierten Protokoll von Aspera und eignet sich für umfangreiche Workflows. Es ist bei Bedarf als Abonnementlizenzmodell verfügbar

- Cloud FastPath von Tervela kann verwendet werden, um einen verwalteten Datenstrom in und aus Google Cloud aufzubauen. Einzelheiten finden Sie unter Verwenden von Cloud FastPath zum Erstellen von Datenströmen

- Signiant bietet Media Shuttle als Software-as-a-Service (SaaS)-Lösung an, um jede beliebige Datei von oder nach überall zu übertragen. Signiant bietet auch Flight als Autoscaling-Dienstprogramm auf der Grundlage eines hochgradig optimierten Protokolls und Signiant Flight Deck als Automatisierungstool für groß angelegte Übertragungen über geografisch verteilte Standorte hinweg an

## Schritt 4: Vorbereitung Ihrer Überweisung
Bei einer großen Übertragung oder einer Übertragung mit erheblichen Abhängigkeiten ist es wichtig zu verstehen, wie Sie Ihr Übertragungsprodukt bedienen. Kunden durchlaufen normalerweise die folgenden Schritte:
Preisgestaltung und ROI-Schätzung. Dieser Schritt bietet viele Optionen zur Unterstützung der Entscheidungsfindung. Funktionstest. In diesem Schritt bestätigen Sie, dass das Produkt erfolgreich eingerichtet werden kann und die Netzwerkkonnektivität (falls zutreffend) funktioniert. Sie testen auch, ob Sie eine repräsentative Stichprobe Ihrer Daten (einschließlich begleitender Schritte ohne Übertragung, wie das Verschieben einer VM-Instanz) zum Ziel verschieben können

Normalerweise können Sie diesen Schritt ausführen, bevor Sie alle Ressourcen wie Übertragungsmaschinen oder Bandbreite zuweisen. Zu den Zielen dieses Schrittes gehören:
- Bestätigen Sie, dass Sie die Übertragung installieren und betreiben können

- Potenzielle projektstoppende Probleme aufdecken, die die Datenbewegung (z. B. Netzwerkrouten) oder Ihren Betrieb blockieren (z. B. erforderliche Schulungen für einen Nicht-Übertragungsschritt)

Leistungstest. In diesem Schritt führen Sie eine Übertragung mit einer großen Stichprobe Ihrer Daten durch (in der Regel 3     5 %), nachdem Produktionsressourcen für Folgendes zugewiesen wurden:
- Bestätigen Sie, dass Sie alle zugewiesenen Ressourcen verbrauchen und die erwarteten Geschwindigkeiten erreichen können

- Aufdecken und Beheben von Engpässen (z. B. langsames Quellspeichersystem)

## Schritt 5: Gewährleistung der Integrität Ihrer Überweisung
Um die Integrität Ihrer Daten während einer Übertragung zu gewährleisten, empfehlen wir die folgenden Vorsichtsmaßnahmen:
- Aktivieren Sie die Versionierung und Sicherung auf Ihrem Ziel, um den Schaden durch versehentliches Löschen zu begrenzen

- Validieren Sie Ihre Daten, bevor Sie die Quelldaten entfernen

Bei umfangreichen Datenübertragungen (mit Petabytes an Daten und Milliarden von Dateien) führt eine latente Basisfehlerrate des zugrunde liegenden Quellspeichersystems von nur 0,0001 % immer noch zu einem Datenverlust von Tausenden von Dateien und Gigabytes. In der Regel tolerieren Anwendungen, die an der Quelle ausgeführt werden, diese Fehler bereits. In diesem Fall ist keine zusätzliche Überprüfung erforderlich. In einigen Ausnahmeszenarien (z. B. Langzeitarchivierung) ist eine weitere Überprüfung erforderlich, bevor das Löschen von Daten aus der Quelle als sicher angesehen wird

Abhängig von den Anforderungen Ihrer Anwendung empfehlen wir Ihnen, nach Abschluss der Übertragung einige Datenintegritätstests durchzuführen, um sicherzustellen, dass die Anwendung weiterhin wie vorgesehen funktioniert. Viele Übertragungsprodukte verfügen über integrierte Datenintegritätsprüfungen. Abhängig von Ihrem Risikoprofil möchten Sie jedoch möglicherweise eine zusätzliche Reihe von Überprüfungen der Daten und der Apps durchführen, die diese Daten lesen, bevor Sie Daten aus der Quelle löschen. Beispielsweise möchten Sie möglicherweise bestätigen, ob eine von Ihnen aufgezeichnete und unabhängig berechnete Prüfsumme mit den am Ziel geschriebenen Daten übereinstimmt, oder bestätigen, dass ein von der Anwendung verwendeter Datensatz erfolgreich übertragen wurde

## Hilfe finden
Google Cloud bietet verschiedene Optionen und Ressourcen, damit Sie die notwendige Hilfe und Unterstützung finden, um die Google Cloud-Dienste optimal zu nutzen:
Self-Service-Ressourcen. Wenn Sie keinen dedizierten Support benötigen, stehen Ihnen verschiedene Optionen zur Verfügung, die Sie in Ihrem eigenen Tempo nutzen können. Technologiepartner. Google Cloud hat Partnerschaften mit mehreren Unternehmen geschlossen, um Sie bei der Verwendung unserer Produkte und Dienste zu unterstützen. Professionelle Google Cloud-Services. Unsere professionellen Services können Ihnen dabei helfen, Ihre Investition in Google Cloud optimal zu nutzen

Im Google Cloud Migration Center finden Sie weitere Ressourcen zur Unterstützung der Migration von Arbeitslasten zu Google Cloud

Weitere Informationen zu diesen Ressourcen finden Sie im Abschnitt „Suchhilfe“ von Migration zu Google Cloud: Erste Schritte

## Was kommt als nächstes
- Wenn Sie Fragen zur Erstellung eines Übertragungsplans oder zu einem bestimmten Anwendungsfall haben, können Sie sich an den Google Cloud-Support oder direkt an Ihr Google-Kontoteam wenden

- Um mit Ihrer Übertragung zu beginnen, stellen wir Ihnen die folgenden Leitfäden zur Verfügung:
- Für allgemeine Datenmigrationsstrategien: Migrieren einer monolithischen Anwendung zu Microservices in Google Kubernetes Engine
- Für eine Offline-Übertragung: Transfer Appliance
- Für eine Online-Übertragung aus einer öffentlichen Cloud: Storage Transfer Service
- Sehen Sie sich Referenzarchitekturen, Diagramme, Tutorials und Best Practices zu Google Cloud an. Werfen Sie einen Blick in unser Cloud Architecture Center.