Migration vers Google Cloud : transfert de vos grands ensembles de données

Pour de nombreux clients, la première étape de l'adoption d'un produit Google Cloud consiste à transférer leurs données dans Google Cloud. Ce document explore ce processus, de la planification d'un transfert de données à l'utilisation des meilleures pratiques dans la mise en œuvre d'un plan Le transfert de grands ensembles de données implique de constituer la bonne équipe, de planifier tôt et de tester votre plan de transfert avant de le mettre en œuvre dans un environnement de production. Bien que ces étapes puissent prendre autant de temps que le transfert lui-même, de telles préparations peuvent aider à minimiser les perturbations de vos opérations commerciales pendant le transfert. Ce document fait partie d'une série en plusieurs parties sur la migration vers Google Cloud. Si vous souhaitez obtenir un aperçu de la série, consultez Migration vers Google Cloud : Choisir votre chemin de migration Cet article fait partie d'une série : - Migration vers Google Cloud : premiers pas - Migration vers Google Cloud : évaluation et découverte de vos charges de travail - Migration vers Google Cloud : Construisez vos fondations - Migration vers Google Cloud : transférer vos grands ensembles de données (ce document) - Migration vers Google Cloud : Déploiement de vos charges de travail - Migration vers Google Cloud : migration de déploiements manuels vers des déploiements automatisés et conteneurisés - Migration vers Google Cloud : Optimisation de votre environnement - Migration vers Google Cloud : bonnes pratiques pour valider un plan de migration Le diagramme suivant illustre le chemin de votre parcours de migration La phase de déploiement est la troisième phase de votre migration vers Google Cloud, au cours de laquelle vous concevez un processus de déploiement pour vos charges de travail. Ce document est utile si vous planifiez une migration à partir d'un environnement sur site, d'un environnement d'hébergement privé, d'un autre fournisseur de cloud vers Google Cloud, ou si vous évaluez l'opportunité de migrer et souhaitez explorer à quoi cela pourrait ressembler aimer ## Qu'est-ce que le transfert de données ? Aux fins du présent document, le transfert de données est le processus de déplacement de données sans les transformer, par exemple, déplacer des fichiers tels quels en objets Le transfert de données n'est pas aussi simple qu'il y paraît Il est tentant de considérer le transfert de données comme une session FTP géante, où vous placez vos fichiers d'un côté et attendez qu'ils sortent de l'autre côté. Cependant, dans la plupart des environnements d'entreprise, le processus de transfert implique de nombreux facteurs tels que les suivants : - Concevoir un plan de transfert qui tient compte du temps administratif, y compris le temps de décider d'une option de transfert, d'obtenir les approbations et de traiter les problèmes imprévus - Coordonner les personnes de votre organisation, telles que l'équipe qui exécute le transfert, le personnel qui approuve les outils et l'architecture, et les parties prenantes de l'entreprise qui sont préoccupées par la valeur et les perturbations que le déplacement des données peut apporter - Choisir le bon outil de transfert en fonction de vos ressources, du coût, du temps et d'autres considérations de projet - Surmonter les défis de transfert de données, y compris les problèmes de "vitesse de la lumière"(bande passante insuffisante), déplacer les ensembles de données qui sont en cours d'utilisation, protéger et surveiller les données pendant leur vol et s'assurer que les données sont transférées avec succès Ce document vise à vous aider à démarrer une initiative de transfert réussie Autres projets liés au transfert de données La liste suivante comprend des ressources pour d'autres types de projets de transfert de données non couverts dans ce document : - Si vous avez besoin de transformer vos données (par exemple, en combinant des lignes, en joignant des ensembles de données ou en filtrant des informations personnelles identifiables), vous devez envisager une solution d'extraction, de transformation et de chargement (ETL) capable de déposer des données dans un entrepôt de données Google Cloud. Pour un exemple de cette architecture, consultez ce tutoriel Dataflow - Si vous devez migrer une base de données et des applications associées (par exemple, pour soulever et déplacer une application de base de données), vous pouvez consulter la documentation de Cloud Spanner, les solutions pour PostgreSQL et d'autres documents sur votre type de base de données. - Si vous souhaitez migrer vos données de HBase vers un service de base de données NoSQL entièrement géré, compatible avec l'API HBase et capable de gérer des charges de travail plus importantes, consultez Cloud Bigtable - Si vous devez déplacer une instance de machine virtuelle (VM), pensez à utiliser le produit de migration de VM de Google, Migrate to Virtual Machines ## Étape 1 : Constituez votre équipe La planification d'un transfert nécessite généralement du personnel ayant les rôles et responsabilités suivants : Activation des ressources nécessaires pour un transfert : administrateurs du stockage, de l'informatique et du réseau, sponsor exécutif et autres conseillers (par exemple, une équipe de compte Google ou des partenaires d'intégration) Approbation de la décision de transfert : propriétaires ou administrateurs de données (pour les règles internes sur qui est autorisé à transférer quelles données), des conseillers juridiques (pour les réglementations relatives aux données) et un administrateur de sécurité (pour les politiques internes sur la façon dont l'accès aux données est protégé) Exécution du transfert : un chef d'équipe, un chef de projet (pour l'exécution et le suivi du projet ), une équipe d'ingénieurs, et la réception et l'expédition sur site (pour recevoir le matériel de l'appliance) Il est crucial d'identifier qui détient les responsabilités précédentes pour votre projet de transfert et de les inclure dans les réunions de planification et de décision, le cas échéant. Une mauvaise planification organisationnelle est souvent la cause de l'échec des initiatives de transfert Recueillir les exigences du projet et les commentaires de ces parties prenantes peut être difficile, mais l'élaboration d'un plan et l'établissement de rôles et de responsabilités clairs sont payants. On ne peut pas s'attendre à ce que vous connaissiez tous les détails de vos données. La constitution d'une équipe vous permet de mieux comprendre les besoins de l'entreprise. Il est recommandé d'identifier les problèmes potentiels avant d'investir du temps, de l'argent et des ressources pour effectuer les transferts. ## Étape 2 : Recueil des exigences et des ressources disponibles Lorsque vous concevez un plan de transfert, nous vous recommandons de commencer par collecter les exigences pour votre transfert de données, puis de décider d'une option de transfert. Pour collecter les exigences, vous pouvez utiliser le processus suivant : - Identifiez les jeux de données que vous devez déplacer - Sélectionnez des outils comme Data Catalog pour organiser vos données en groupes logiques qui sont déplacés et utilisés ensemble - Travailler avec des équipes au sein de votre organisation pour valider ou mettre à jour ces regroupements - Identifiez les ensembles de données que vous peut bouger - Déterminez si des facteurs réglementaires, de sécurité ou autres interdisent le transfert de certains ensembles de données - Si vous avez besoin de transformer certaines de vos données avant de les déplacer (par exemple, pour supprimer des données sensibles ou réorganiser vos données), pensez à utiliser un produit d'intégration de données comme Dataflow ou Cloud Data Fusion, ou un produit d'orchestration de workflow comme Cloud Composer - Pour les ensembles de données mobiles, déterminez où transférer chaque ensemble de données - Enregistrez l'option de stockage que vous sélectionnez pour stocker vos données. Généralement, le système de stockage cible sur Google Cloud est Cloud Storage. Même si vous avez besoin de solutions plus complexes une fois que vos applications sont opérationnelles, Cloud Storage est une option de stockage évolutive et durable. - Comprendre quelles politiques d'accès aux données doivent être maintenues après la migration - Déterminez si vous devez stocker ces données dans des régions spécifiques - Prévoir comment structurer ces données à destination. Par exemple, sera-t-il identique à la source ou différent ? - Déterminez si vous avez besoin de transférer des données de manière continue - Pour les ensembles de données mobiles, déterminez quelles ressources sont disponibles pour les déplacer - Heure : Quand le transfert doit-il être effectué ? - Coût : Quel est le budget disponible pour l'équipe et les frais de transfert ? - Personnes : Qui est disponible pour exécuter le transfert ? - Bande passante (pour les transferts en ligne) : quelle quantité de votre bande passante actuellement disponible pour Google Cloud peut être allouée pour un transfert, et pendant combien de temps ? Avant d'évaluer et de sélectionner les options de transfert dans la prochaine phase de planification, nous vous recommandons d'évaluer si une partie de votre modèle informatique peut être améliorée, comme la gouvernance des données, l'organisation et la sécurité. Votre modèle de sécurité De nombreux membres de l'équipe de transfert peuvent se voir attribuer de nouveaux rôles au sein de votre organisation Google Cloud dans le cadre de votre projet de transfert de données.La planification du transfert de données est le moment idéal pour revoir vos autorisations de gestion des identités et des accès (IAM) et les meilleures pratiques pour utiliser IAM en toute sécurité.Ces problèmes peuvent affecter la façon dont vous accordez l'accès à votre espace de stockage.Par exemple, vous pouvez imposer des limites strictes à l'accès en écriture aux données qui ont été archivées pour des raisons réglementaires, mais vous pouvez autoriser de nombreux utilisateurs et applications à écrire des données dans votre environnement de testVotre organisation Google CloudLa manière dont vous structurez vos données sur Google Cloud dépend de la manière dont vous envisagez d'utiliser Google Cloud.Stocker vos données dans le même projet Cloud où vous exécutez votre application est une approche simple, mais elle peut ne pas être optimale du point de vue de la gestion.Certains de vos développeurs n'ont peut-être pas le privilège d'afficher les données de production.Dans ce cas, un développeur pourrait développer du code sur des exemples de données, tandis qu'un compte de service privilégié pourrait accéder aux données de production.Ainsi, vous souhaiterez peut-être conserver l'intégralité de votre ensemble de données de production dans un projet Cloud distinct, puis utiliser un compte de service pour autoriser l'accès aux données de chaque projet d'applicationGoogle Cloud s'organise autour de projets.Les projets peuvent être regroupés dans des dossiers, et les dossiers peuvent être regroupés sous votre organisation.Les rôles sont établis au niveau du projet et les autorisations d'accès sont ajoutées à ces rôles au niveau des buckets Cloud Storage.Cette structure s'aligne sur la structure des autorisations des autres fournisseurs de magasins d'objetsPour connaître les meilleures pratiques pour structurer une organisation Google Cloud, consultez Décider d'une hiérarchie de ressources pour votre zone de destination Google Cloud## Étape 3 : Évaluer vos options de transfertPour évaluer vos options de transfert de données, l'équipe de transfert doit tenir compte de plusieurs facteurs, notamment :- Coût- Temps- Options de transfert hors ligne ou en ligne- Outils et technologies de transfert- SécuritéCoûtLa plupart des coûts associés avec transfert de données incluent les éléments suivants :- Coûts de mise en réseau- L'entrée dans Cloud Storage est gratuite.Cependant, si vous hébergez vos données sur un fournisseur de cloud public, vous pouvez vous attendre à payer des frais de sortie et éventuellement des frais de stockage (par exemple, des opérations de lecture) pour le transfert de vos données.Ces frais s'appliquent aux données provenant de Google ou d'un autre fournisseur de cloud- Si vos données sont hébergées dans un centre de données privé que vous exploitez, vous pouvez également encourir des frais supplémentaires pour la configuration plus de bande passante vers Google Cloud- Coûts de stockage et d'exploitation pour Cloud Storage pendant et après le transfert de données- Coûts des produits (par exemple, un Transfer Appliance)- Coûts de personnel pour constituer votre équipe et acquérir un soutien logistiqueTempsPeu de choses en informatique mettent en évidence les limites matérielles des réseaux en tant que transfert de grandes quantités de données.Idéalement, vous pouvez transférer 1 Go en huit secondes sur un réseau de 1 Gbit/s.Si vous faites évoluer cela jusqu'à un ensemble de données volumineux (par exemple, 100 To), le temps de transfert est de 12 jours.Le transfert d'énormes ensembles de données peut tester les limites de votre infrastructure et potentiellement causer des problèmes pour votre entrepriseVous pouvez utiliser la calculatrice suivante pour comprendre combien de temps un transfert peut prendre, compte tenu de la la taille de l'ensemble de données que vous déplacez et la bande passante disponible pour le transfert.Un certain pourcentage de temps de gestion est pris en compte dans les calculs.De plus, une efficacité efficace de la bande passante est incluse, de sorte que les chiffres résultants sont plus réalistes et les nombres idéaux ne seront pas obtenusVous ne voudrez peut-être pas transférer de grands ensembles de données hors de votre entreprise réseau pendant les heures de pointe.Si le transfert surcharge le réseau, personne d'autre ne pourra terminer le travail nécessaire ou critique.Pour cette raison, l'équipe de transfert doit tenir compte du facteur tempsUne fois les données transférées vers Cloud Storage, vous pouvez utiliser un certain nombre de technologies pour traiter les nouveaux fichiers au fur et à mesure de leur arrivée, telles que DataflowAugmenter la bande passante du réseaula bande passante dépend de la façon dont vous vous connectez à Google CloudLors d'un transfert de cloud à cloud entre Google Cloud et d'autres fournisseurs de cloud, Google provisionne la connexion entre les centres de données des fournisseurs de cloud, ne nécessitant aucune configuration de votre partSi vous transférez des données entre votre centre de données privé et Google Cloud, il existe trois approches principales :- Une connexion Internet publique à l'aide d'une API publique- Appairage direct à l'aide d'une API publique- Cloud Interconnect à l'aide d'une API privéeLors de l'évaluation de ces approches, il est utile de prendre en compte vos besoins de connectivité à long terme.Vous pourriez en conclure qu'il est prohibitif d'acquérir de la bande passante uniquement à des fins de transfert, mais si l'on tient compte de l'utilisation à long terme de Google Cloud et des besoins du réseau au sein de votre organisation, l'investissement peut en valoir la peineConnexion avec une connexion Internet publiqueLorsque vous utilisez une connexion Internet publique, le débit du réseau est moins prévisible car vous êtes limité par la capacité et le routage de votre fournisseur d'accès Internet (FAI).Le FAI peut également proposer un contrat de niveau de service (SLA) limité ou aucun.Cependant, ces connexions offrent des coûts relativement bas, et avec les vastes accords d'appairage de Google, votre FAI peut vous acheminer vers le réseau mondial de Google en quelques sauts de réseauNous vous recommandons de vérifier avec votre administrateur de sécurité pour savoir si la politique de votre entreprise interdit le déplacement de certains ensembles de données sur l'Internet public.Vérifiez également si la connexion Internet publique est utilisée pour votre trafic de production.Les transferts de données à grande échelle peuvent avoir un impact négatif sur le réseau de productionConnexion avec l'appairage direct Pour accéder au réseau Google avec moins de sauts de réseau qu'avec une connexion Internet publique, vous pouvez utiliser le Direct Peering. En utilisant l'appairage direct, vous pouvez échanger du trafic Internet entre votre réseau et les points de présence Edge (PoP) de Google, ce qui signifie que vos données n'utilisent pas l'Internet public. Cela réduit également le nombre de sauts entre votre réseau et le réseau de Google. L'appairage avec le réseau de Google nécessite que vous configuriez un numéro de système autonome (AS) enregistré, que vous vous connectiez à Google à l'aide d'un échange Internet et que vous fournissiez un contact 24h/24 avec le centre d'exploitation de votre réseau. Connexion avec Cloud Interconnect Cloud Interconnect offre une connexion directe à Google Cloud via Google ou l'un des fournisseurs de services Cloud Interconnect. Ce service permet d'empêcher vos données d'aller sur l'Internet public et peut fournir un débit plus cohérent pour les transferts de données volumineux. En règle générale, Cloud Interconnect fournit des SLA pour la disponibilité et les performances du réseau. Contactez directement un fournisseur de services pour en savoir plus. Cloud Interconnect prend également en charge l'adressage privé, RFC 1918, afin que le cloud devienne effectivement une extension de votre centre de données privé sans avoir besoin d'adresses IP publiques ou de NAT Transfert en ligne ou hors ligne Une décision critique est d'utiliser un processus hors ligne ou en ligne pour votre transfert de données. Autrement dit, vous devez choisir entre le transfert via un réseau, qu'il s'agisse d'une interconnexion dédiée ou de l'Internet public, ou le transfert à l'aide d'un matériel de stockage Pour vous aider dans cette décision, nous fournissons un calculateur de transfert pour vous aider à estimer les différences de temps et de coût entre ces deux options. Le graphique suivant montre également certaines vitesses de transfert pour différentes tailles d'ensembles de données et bandes passantes. Une certaine quantité de frais généraux de gestion est intégrée à ces calculs Comme indiqué précédemment, vous devrez peut-être déterminer si le coût pour obtenir des latences plus faibles pour votre transfert de données (comme l'acquisition de la bande passante réseau) est compensé par la valeur de cet investissement pour votre organisation. Options disponibles auprès de Google Google propose plusieurs outils et technologies pour vous aider à effectuer un transfert de données Décider parmi les options de transfert de Google Le choix d'une option de transfert dépend de votre cas d'utilisation, comme le montre le tableau suivant | |D'où vous transférez les données | |Scénario | |Produits suggérés |Un autre fournisseur de cloud (par exemple, Amazon Web Services ou Microsoft Azure) vers Google CloudStorage Transfer Service| |Cloud Storage vers Cloud Storage (deux compartiments différentsStorage Transfer Service| |Votre centre de données privé vers Google Cloud||Bande passante suffisante pour respecter le délai de votre projet | pour moins de 1 To de données | | |Votre centre de données privé vers Google Cloud||Bande passante suffisante pour respecter le délai de votre projet | pour plus de 1 To de données |Service de transfert de stockage pour les données sur site| |Votre centre de données privé vers Google Cloud||Bande passante insuffisante pour respecter le délai de votre projet||Transfer Appliance| gsutil pour les petits transferts de données sur site Les outil gsutil est l'outil standard pour les transferts de petite à moyenne taille (moins de 1 To) sur un réseau d'entreprise typique, à partir d'un centre de données privé à Google Cloud. Nous vous recommandons d'inclure gsutil dans votre chemin par défaut quand vous utilisez Coquille de nuage Il est également disponible par défaut lorsque vous installez le CLI Google Cloud C'est un outil fiable qui fournit toutes les fonctionnalités de base dont vous avez besoin pour gérer ton Stockage en ligne instances, y compris la copie de vos données vers et depuis le système de fichiers local et Stockage en ligne. Il peut également déplacer et renommer des objets et effectuer synchronisations incrémentielles en temps réel, comme rsync, à un bucket Cloud Storage gsutil est particulièrement utile dans les scénarios suivants : - Vos transferts doivent être exécutés au besoin ou lors de sessions en ligne de commande par vos utilisateurs - Vous transférez seulement quelques fichiers ou des fichiers très volumineux, ou les deux - Vous consommez la sortie d'un programme (sortie en streaming vers Cloud Storage) - Vous devez surveiller un répertoire avec un nombre modéré de fichiers et synchroniser toutes les mises à jour avec des latences très faibles Les bases pour démarrer avec gsutil doivent créer un bucket Cloud Storage et copier des données à ce seau. Pour les transferts d'ensembles de données plus volumineux, il y a deux choses à considérer: Pour les transferts multithread, utilisez gsutil -m Plusieurs fichiers sont traités en parallèle, augmentant vos vitesses de transfert Pour un seul gros fichier, utilisez les transferts composites Cette méthode divise les fichiers volumineux en morceaux plus petits pour augmenter la vitesse de transfert. Les blocs sont transférés et validés en parallèle, en envoyant toutes les données à Google. Une fois que les morceaux arrivent sur Google, ils sont combinés (appelés composer) pour former un seul objet Les transferts composites avec gsutil présentent certains inconvénients, notamment le fait que chaque élément (et non l'objet entier) fait l'objet d'une somme de contrôle individuelle et que la composition des classes de stockage à froid entraîne des pénalités de suppression précoce. Service de transfert de stockage pour les transferts volumineux de données sur site Comme gsutil, Service de transfert de stockage pour les données sur site permet les transferts depuis le stockage du système de fichiers réseau (NFS) vers Stockage en ligne. Même si gsutil peut prendre en charge de petites tailles de transfert (jusqu'à à 1 To), le service de transfert de stockage pour les données sur site est conçu pour transferts à grande échelle (jusqu'à des pétaoctets de données, des milliards de fichiers). Ça supporte copies complètes ou copies incrémentielles, et cela fonctionne sur toutes les options de transfert répertoriées plus tôt dans Décider parmi les options de transfert de Google. Il dispose également d'une interface utilisateur graphique simple et gérée ; même pas techniquement averti les utilisateurs (après configuration) peuvent l'utiliser pour déplacer des données Le service de transfert de stockage pour les données sur site est particulièrement utile dans les scénarios suivants : - Vous disposez d'une bande passante suffisante pour déplacer les volumes de données (voir Google Cloud Data Transfer Calculator) - Vous prenez en charge une large base d'utilisateurs internes qui pourraient trouver une ligne de commande outil comme gsutildifficile à utiliser - Vous avez besoin d'un rapport d'erreurs robuste et d'un enregistrement de tous les fichiers et objets déplacés - Vous devez limiter l'impact des transferts sur les autres charges de travail de votre centre de données (ce produit peut rester sous une limite de bande passante spécifiée par l'utilisateur) - Vous souhaitez exécuter des transferts récurrents selon un calendrier Vous configurez le service de transfert de stockage pour les données sur site en installant sur- logiciels locaux [connus sous le nom d'*agents*] sur les ordinateurs de votre centre de données. Celles-ci les agents sont dans des conteneurs Docker, ce qui facilite l'exécution d'un grand nombre d'entre eux ou les orchestrer via Kubernetes Une fois la configuration terminée, les utilisateurs peuvent lancer des transferts dans la console Google Cloud en fournir un répertoire source, un compartiment de destination et une heure ou un calendrier Le service de transfert de stockage analyse de manière récursive les sous-répertoires et les fichiers du répertoire source et crée des objets avec un nom correspondant dans Cloud Storage [l'objet /dir/foo/file.txt devient un objet dans le bucket de destination nommé /dir/foo/file.txt]. Service de transfert de stockage retente automatiquement un transfert lorsqu'il rencontre des erreurs transitoires Pendant que les transferts sont en cours, vous pouvez surveiller le nombre de fichiers déplacés et la vitesse de transfert globale, et vous pouvez afficher des échantillons d'erreur Lorsque le transfert est terminé, un fichier délimité par des tabulations (TSV) est généré avec un enregistrement complet de tous les fichiers touchés et de tous les messages d'erreur reçus. Les agents sont tolérants aux pannes, donc si un agent tombe en panne, le transfert se poursuit avec les agents restants. Les agents se mettent également à jour et se réparent eux-mêmes, vous n'avez donc pas à vous soucier de corriger les dernières versions ou de redémarrer le processus s'il tombe en panne à cause d'un problème imprévu. Éléments à prendre en compte lors de l'utilisation du service de transfert de stockage : Utilisez une configuration d'agent identique sur chaque machine. Tous les agents doivent voir les mêmes montages NFS (Network File System) de la même manière (mêmes chemins relatifs). Cette configuration est une exigence pour que le produit fonctionne. Plus d'agents signifie plus de vitesse. Étant donné que les transferts sont automatiquement parallélisés entre tous les agents, nous vous recommandons de déployer de nombreux agents afin d'utiliser votre bande passante disponible. Les plafonds de bande passante peuvent protéger vos charges de travail. Vos autres charges de travail peuvent utiliser la bande passante de votre centre de données. Par conséquent, définissez un plafond de bande passante pour éviter que les transferts n'affectent vos SLA. Prévoyez du temps pour l'examen des erreurs. Les transferts volumineux peuvent souvent entraîner des erreurs nécessitant un examen. Le service de transfert de stockage vous permet de voir un échantillon des erreurs rencontrées directement dans la console Google Cloud. Si nécessaire, vous pouvez charger l'enregistrement complet de toutes les erreurs de transfert dans BigQuery pour vérifier les fichiers ou évaluer les erreurs qui subsistent même après de nouvelles tentatives. Ces erreurs peuvent être causées par l'exécution d'applications qui écrivaient sur la source pendant le transfert, ou les erreurs peuvent révéler un problème nécessitant un dépannage (par exemple, une erreur d'autorisation). Configurez Cloud Monitoring pour les transferts de longue durée. Le service de transfert de stockage permet à Monitoring de surveiller la santé et le débit des agents, afin que vous puissiez définir des alertes qui vous avertissent lorsque les agents sont en panne ou nécessitent une intervention. Il est important d'agir sur les défaillances des agents pour les transferts qui prennent plusieurs jours ou semaines, afin d'éviter des ralentissements ou des interruptions importants qui peuvent retarder le calendrier de votre projet Transfer Appliance pour les transferts plus importants Pour les transferts à grande échelle (en particulier les transferts avec une bande passante réseau limitée), Transfer Appliance est une excellente option, en particulier lorsqu'une connexion réseau rapide n'est pas disponible et qu'il est trop coûteux d'acquérir plus de bande passante. Transfer Appliance est particulièrement utile dans les scénarios suivants : - Votre centre de données se trouve dans un endroit distant avec un accès limité ou inexistant à la bande passante- La bande passante est disponible, mais ne peut pas être acquise à temps pour respecter votre délai- Vous disposez de moyens logistiques pour recevoir et connecter les appareils à votre réseauAvec cette option, tenez compte des points suivants : : Transfer Appliance nécessite que vous puissiez recevoir et renvoyer le matériel appartenant à Google : en fonction de votre connexion Internet, le la latence pour le transfert de données vers Google Cloud est généralement plus élevée avec Transfer Appliance qu'en ligne- Transfer Appliance n'est disponible que dans certains paysLes deux principaux critères à prendre en compte avec Transfer Appliance sont le coût et la vitesse.Avec une connectivité réseau raisonnable (par exemple, 1 Gbit/s), le transfert de 100 To de données en ligne prend plus de 10 jours.Si ce taux est acceptable, un transfert en ligne est probablement une bonne solution pour vos besoins.Si vous n'avez qu'une connexion à 100 Mbps (ou pire depuis un emplacement distant), le même transfert prend plus de 100 jours.À ce stade, il vaut la peine d'envisager une option de transfert hors ligne telle que Transfer ApplianceL'acquisition d'un Transfer Appliance est simple.Dans la console Google Cloud, vous demandez un Transfer Appliance, indiquez la quantité de données dont vous disposez, puis Google expédie un ou plusieurs appareils à l'emplacement demandé.Vous disposez d'un certain nombre de jours pour transférer vos données vers l'appliance ("capture de données") et les renvoyer à GoogleDélai d'exécution prévu pour une appliance réseau pour être expédié, chargé avec vos données, réexpédié et réhydraté sur Google Cloud est de 20 jours.Si votre délai de transfert en ligne est calculé comme étant sensiblement supérieur à ce délai, envisagez Transfer Appliance.Le coût total du processus d'appareil de 300 To est inférieur à 2 500 USDService de transfert de stockage pour les transferts de cloud à cloudLe service de transfert de stockage est un service entièrement géré , service hautement évolutif pour automatiser les transferts d'autres publics vers Cloud Storage.Il prend en charge les transferts vers Cloud Storage depuis Amazon S3 et HTTPPour Amazon S3, vous pouvez fournir une clé d'accès et un compartiment S3 avec des filtres optionnelspour S3 objets à sélectionner, puis vous copiez les objets S3 dans n'importe quel Seau de stockage Cloud. Le service prend également en charge des copies quotidiennes de tout objets modifiés. Le service ne prend actuellement pas en charge les transferts de données *à* AmazonS3 Pour HTTP, vous pouvez fournir au service de transfert de stockage une liste d'URL publiques dans un format spécifié Cette approche nécessite que vous écriviez un script fournissant la taille de chaque fichier en octets, avec un hachage MD5 encodé en Base64 du contenu du fichier Parfois, la taille et le hachage du fichier sont disponibles sur le site Web source. Si non, vous avez besoin d'un accès local aux fichiers, auquel cas, il peut être plus facile de utilisation gsutil, comme décrit précédemment Si vous avez un transfert en place, le service de transfert de stockage est un excellent moyen d'obtenir des données et de les conserver, en particulier lors du transfert depuis un autre cloud public. Sécurité Pour de nombreux utilisateurs de Google Cloud, la sécurité est leur objectif principal et différents niveaux de sécurité sont disponibles. Quelques aspects de la sécurité à prendre en compte incluent la protection des données au repos (autorisation et accès au système de stockage source et de destination), la protection des données en transit et la protection de l'accès au produit de transfert. Le tableau suivant décrit ces aspects de la sécurité par produit | |Produit | |Données au repos | |Données en transit | |Accès au produit de transfert |Appliance de transfert||Toutes les données sont chiffrées au reposLes données sont protégées par des clés gérées par le clientN'importe qui peut commander une appliance, mais pour l'utiliser, il doit avoir accès à la source de données.| | ||Clés d'accès requises pour accéder à Cloud Storage, qui est chiffré au reposLes données sont envoyées via HTTPS et chiffrées en transitTout le monde peut télécharger et exécuter | |Service de transfert de stockage pour les données sur site||Clés d'accès requises pour accéder à Cloud Storage, qui est chiffré au repos. Le processus de l'agent peut accéder aux fichiers locaux dans la mesure où les autorisations du système d'exploitation le permettentLes données sont envoyées via HTTPS et chiffrées en transitVous devez disposer des autorisations d'éditeur d'objets pour accéder aux buckets Cloud Storage.| |Service de transfert de stockage||Clés d'accès requises pour les ressources autres que Google Cloud (par exemple, Amazon S3). Des clés d'accès sont requises pour accéder à Cloud Storage, qui est chiffré au reposLes données sont envoyées via HTTPS et chiffrées en transitVous devez disposer des autorisations IAM pour que le compte de service puisse accéder aux autorisations de l'éditeur de sources et d'objets pour tous les buckets Cloud Storage.| Pour obtenir des améliorations de sécurité de base, les transferts en ligne vers Google Cloud utilisant gsutil sont accomplis via HTTPS, les données sont chiffrées en transit et toutes les données dans Cloud Storage est, par défaut, chiffré au repos. Pour des informations sur schémas plus sophistiqués liés à la sécurité, voir Considérations relatives à la sécurité et à la confidentialité Si tu utilises Appareil de transfert, les clés de sécurité que vous contrôlez peuvent aider à protéger vos données. Généralement, nous vous recommandons d'engager votre équipe de sécurité pour vous assurer que votre plan de transfert répond aux exigences de votre entreprise et de la réglementation Produits de transfert tiers Pour une optimisation avancée au niveau du réseau ou des workflows de transfert de données en cours, vous souhaiterez peut-être utiliser des outils plus avancés. Pour plus d'informations sur des outils plus avancés, consultez la page Partenaires Google Les liens suivants mettent en évidence certaines des nombreuses options (énumérées ici par ordre alphabétique) : - Aspera On Cloud est basé sur le protocole breveté d'Aspera et convient aux workflows à grande échelle. Il est disponible sur demande en tant que modèle de licence d'abonnement - Cloud FastPath by Tervela peut être utilisé pour créer un flux de données géré vers et depuis Google Cloud. Pour en savoir plus, consultez Utiliser Cloud FastPath pour créer des flux de données - Signiant propose Media Shuttle en tant que solution logicielle en tant que service (SaaS) pour transférer n'importe quel fichier vers ou depuis n'importe où. Signiant propose également Flight en tant qu'utilitaire de mise à l'échelle automatique basé sur un protocole hautement optimisé, et Signiant Flight Deck en tant qu'outil d'automatisation pour les transferts à grande échelle sur des sites géographiquement dispersés. ## Etape 4 : Préparer votre transfert Pour un transfert important ou un transfert avec des dépendances importantes, il est important de comprendre comment faire fonctionner votre produit de transfert. Les clients passent généralement par les étapes suivantes : Tarification et estimation du retour sur investissement. Cette étape offre de nombreuses options pour faciliter la prise de décision. Test fonctionnel. Au cours de cette étape, vous confirmez que le produit peut être configuré avec succès et que la connectivité réseau (le cas échéant) fonctionne. Vous testez également que vous pouvez déplacer un échantillon représentatif de vos données (y compris les étapes de non-transfert associées, comme le déplacement d'une instance de VM) vers la destination Vous pouvez généralement effectuer cette étape avant d'allouer toutes les ressources telles que les machines de transfert ou la bande passante. Les objectifs de cette étape sont les suivants : - Confirmez que vous pouvez installer et utiliser le transfert - Signalez les problèmes potentiels d'arrêt du projet qui bloquent le mouvement des données (par exemple, les itinéraires réseau) ou vos opérations (par exemple, la formation nécessaire sur une étape de non-transfert) Tests de performances. Au cours de cette étape, vous exécutez un transfert sur un large échantillon de vos données (généralement 3 à 5 %) après que les ressources de production ont été allouées pour effectuer les opérations suivantes : - Confirmez que vous pouvez consommer toutes les ressources allouées et obtenir les vitesses que vous attendez - Détecter et corriger les goulots d'étranglement (par exemple, système de stockage source lent) ## Étape 5 : Garantir l'intégrité de votre transfert Pour garantir l'intégrité de vos données lors d'un transfert, nous vous recommandons de prendre les précautions suivantes : - Activez la gestion des versions et la sauvegarde sur votre destination pour limiter les dégâts des suppressions accidentelles - Validez vos données avant de supprimer les données sources Pour les transferts de données à grande échelle (avec des pétaoctets de données et des milliards de fichiers), un taux d'erreurs latentes de base du système de stockage source sous-jacent aussi bas que 0,0001 % entraîne toujours une perte de données de milliers de fichiers et de gigaoctets. En règle générale, les applications exécutées à la source sont déjà tolérantes à ces erreurs, auquel cas une validation supplémentaire n'est pas nécessaire. Dans certains scénarios exceptionnels (par exemple, archivage à long terme), une validation supplémentaire est nécessaire avant qu'il soit considéré comme sûr de supprimer des données de la source Selon les exigences de votre application, nous vous recommandons d'exécuter des tests d'intégrité des données une fois le transfert terminé pour vous assurer que l'application continue de fonctionner comme prévu. De nombreux produits de transfert intègrent des contrôles d'intégrité des données. Cependant, selon votre profil de risque, vous souhaiterez peut-être effectuer un ensemble supplémentaire de vérifications sur les données et les applications lisant ces données avant de supprimer les données de la source. Par exemple, vous souhaiterez peut-être confirmer si une somme de contrôle que vous avez enregistrée et calculée indépendamment correspond aux données écrites à la destination, ou confirmer qu'un ensemble de données utilisé par l'application a été transféré avec succès ## Trouver de l'aide Google Cloud propose diverses options et ressources pour vous permettre de trouver l'aide et le support nécessaires pour utiliser au mieux les services Google Cloud : Ressources en libre-service. Si vous n'avez pas besoin d'assistance dédiée, vous disposez de plusieurs options que vous pouvez utiliser à votre rythme. Partenaires technologiques. Google Cloud s'est associé à plusieurs entreprises pour vous aider à utiliser nos produits et services. Services professionnels Google Cloud. Nos services professionnels peuvent vous aider à tirer le meilleur parti de votre investissement dans Google Cloud Il existe d'autres ressources pour faciliter la migration des charges de travail vers Google Cloud dans le centre de migration Google Cloud Pour plus d'informations sur ces ressources, consultez la section d'aide à la recherche de Migration vers Google Cloud : Premiers pas ## Et après - Si vous avez des questions sur l'élaboration d'un plan de transfert ou sur un cas d'utilisation spécifique, vous pouvez contacter l'assistance Google Cloud ou contacter directement l'équipe chargée de votre compte Google. - Pour démarrer votre transfert, nous fournissons les guides suivants : - Pour les stratégies générales de migration de données : migrer une application monolithique vers des microservices sur Google Kubernetes Engine - Pour un transfert hors ligne : Transfer Appliance - Pour un transfert en ligne depuis un cloud public : Service de transfert de stockage - Explorez les architectures de référence, les diagrammes, les didacticiels et les bonnes pratiques concernant Google Cloud. Jetez un œil à notre centre d'architecture cloud.