Para muchos clientes, el primer paso para adoptar un producto de Google Cloud es obtener sus datos en Google Cloud. Este documento explora ese proceso, desde la planificación de una transferencia de datos hasta el uso de las mejores prácticas para implementar un plan.

La transferencia de grandes conjuntos de datos implica la creación del equipo adecuado, la planificación anticipada y la prueba de su plan de transferencia antes de implementarlo en un entorno de producción. Si bien estos pasos pueden llevar tanto tiempo como la transferencia en sí, dichos preparativos pueden ayudar a minimizar la interrupción de sus operaciones comerciales durante la transferencia.

Este documento es parte de una serie de varias partes sobre la migración a Google Cloud. Si está interesado en una descripción general de la serie, consulte Migración a Google Cloud: cómo elegir su ruta de migración

Este artículo es parte de una serie:
- Migración a Google Cloud: Primeros pasos
- Migración a Google Cloud: evaluar y descubrir sus cargas de trabajo
- Migración a Google Cloud: construyendo su base
- Migración a Google Cloud: transferencia de grandes conjuntos de datos (este documento)
- Migración a Google Cloud: implementación de sus cargas de trabajo
- Migración a Google Cloud: Migración de implementaciones manuales a implementaciones automatizadas en contenedores
- Migración a Google Cloud: Optimizando tu entorno
- Migración a Google Cloud: mejores prácticas para validar un plan de migración
El siguiente diagrama ilustra la ruta de su viaje de migración

La fase de implementación es la tercera fase de su migración a Google Cloud, donde diseña un proceso de implementación para sus cargas de trabajo.

Este documento es útil si está planeando una migración desde un entorno local, desde un entorno de alojamiento privado, desde otro proveedor de nube a Google Cloud, o si está evaluando la oportunidad de migrar y desea explorar cómo podría verse. como

## ¿Qué es la transferencia de datos?
A los efectos de este documento, la transferencia de datos es el proceso de mover datos sin transformarlos, por ejemplo, mover archivos tal como están en objetos.

 La transferencia de datos no es tan simple como parece
Es tentador pensar en la transferencia de datos como una sesión FTP gigante, en la que coloca sus archivos en un lado y espera a que salgan por el otro lado. Sin embargo, en la mayoría de los entornos empresariales, el proceso de transferencia implica muchos factores, como los siguientes:
- Diseñar un plan de transferencia que tenga en cuenta el tiempo administrativo, incluido el tiempo para decidir sobre una opción de transferencia, obtener aprobaciones y tratar problemas imprevistos.
- Coordinar a las personas de su organización, como el equipo que ejecuta la transferencia, el personal que aprueba las herramientas y la arquitectura, y las partes interesadas del negocio preocupadas por el valor y las interrupciones que puede generar el movimiento de datos.

- Elegir la herramienta de transferencia adecuada en función de sus recursos, costo, tiempo y otras consideraciones del proyecto

- Superar los desafíos de transferencia de datos, incluidos los problemas de "velocidad de la luz"(ancho de banda insuficiente), mover conjuntos de datos que están en uso activo, proteger y monitorear los datos mientras están en vuelo y garantizar que los datos se transfieran con éxito

Este documento tiene como objetivo ayudarlo a comenzar una iniciativa de transferencia exitosa

 Otros proyectos relacionados con la transferencia de datos
La siguiente lista incluye recursos para otros tipos de proyectos de transferencia de datos no cubiertos en este documento:
- Si necesita transformar sus datos (como combinar filas, unir conjuntos de datos o filtrar información de identificación personal), debe considerar una solución de extracción, transformación y carga (ETL) que pueda depositar datos en un almacén de datos de Google Cloud. Para ver un ejemplo de esta arquitectura, consulte este tutorial de Dataflow

- Si necesita migrar una base de datos y aplicaciones relacionadas (por ejemplo, para levantar y cambiar una aplicación de base de datos), puede consultar la documentación de Cloud Spanner, las soluciones para PostgreSQL y otra documentación sobre su tipo de base de datos.

- Si desea migrar sus datos de HBase a un servicio de base de datos NoSQL completamente administrado que sea compatible con la API de HBase y pueda manejar cargas de trabajo más grandes, eche un vistazo a Cloud Bigtable

- Si necesita mover una instancia de máquina virtual (VM), considere usar el producto de migración de VM de Google, Migrar a máquinas virtuales

## Paso 1: Reúne a tu equipo
La planificación de una transferencia generalmente requiere personal con las siguientes funciones y responsabilidades:
Habilitar los recursos necesarios para una transferencia:Administradores de almacenamiento, TI y red, un patrocinador ejecutivo y otros asesores (por ejemplo, un equipo de cuenta de Google o socios de integración) Aprobar la decisión de transferencia:Propietarios o gobernadores de datos (para políticas internas sobre quién es permitido transferir qué datos), asesores legales (para regulaciones relacionadas con los datos) y un administrador de seguridad (para políticas internas sobre cómo se protege el acceso a los datos) Ejecución de la transferencia: un líder de equipo, un gerente de proyecto (para ejecutar y rastrear el ), un equipo de ingeniería y recepción y envío in situ (para recibir el hardware del dispositivo)
Es crucial identificar quién posee las responsabilidades anteriores para su proyecto de transferencia e incluirlos en las reuniones de planificación y decisión cuando corresponda. La mala planificación organizativa suele ser la causa del fracaso de las iniciativas de transferencia
Recopilar los requisitos del proyecto y los aportes de estas partes interesadas puede ser un desafío, pero vale la pena hacer un plan y establecer funciones y responsabilidades claras. No se puede esperar que conozca todos los detalles de sus datos. Reunir un equipo le brinda una mayor comprensión de las necesidades del negocio. Es una buena práctica identificar posibles problemas antes de invertir tiempo, dinero y recursos para completar las transferencias.

## Paso 2: Recopilación de requisitos y recursos disponibles
Cuando diseñe un plan de transferencia, le recomendamos que primero recopile los requisitos para su transferencia de datos y luego decida una opción de transferencia. Para recopilar requisitos, puede utilizar el siguiente proceso:
- Identifique qué conjuntos de datos necesita mover

- Seleccione herramientas como Data Catalog para organizar sus datos en agrupaciones lógicas que se mueven y usan juntas

- Trabaje con equipos dentro de su organización para validar o actualizar estas agrupaciones

- Identifique qué conjuntos de datos
puede moverse

- Considere si los factores regulatorios, de seguridad u otros prohíben que se transfieran algunos conjuntos de datos

- Si necesita transformar algunos de sus datos antes de moverlos (por ejemplo, para eliminar datos confidenciales o reorganizar sus datos), considere usar un producto de integración de datos como Dataflow o Cloud Data Fusion, o un producto de orquestación de flujo de trabajo como Cloud Composer.

- Para conjuntos de datos que son móviles, determine dónde transferir cada conjunto de datos

- Registre qué opción de almacenamiento selecciona para almacenar sus datos. Por lo general, el sistema de almacenamiento de destino en Google Cloud es Cloud Storage. Incluso si necesita soluciones más complejas después de que sus aplicaciones estén en funcionamiento, Cloud Storage es una opción de almacenamiento escalable y duradera.

- Comprender qué políticas de acceso a datos se deben mantener después de la migración

- Determine si necesita almacenar estos datos en regiones específicas

- Planificar cómo estructurar estos datos en destino. Por ejemplo, ¿será igual que la fuente o diferente?
- Determine si necesita transferir datos de forma continua

- Para conjuntos de datos que son móviles, determine qué recursos están disponibles
moverlos

- Tiempo: ¿Cuándo se debe completar la transferencia?
- Costo: ¿Cuál es el presupuesto disponible para el equipo y los costos de transferencia?
- Personas: ¿Quién está disponible para ejecutar la transferencia?
- Ancho de banda (para transferencias en línea): ¿Cuánto de su ancho de banda actualmente disponible para Google Cloud se puede asignar para una transferencia y durante qué período de tiempo?
Antes de evaluar y seleccionar las opciones de transferencia en la siguiente fase de planificación, le recomendamos que evalúe si se puede mejorar alguna parte de su modelo de TI, como el gobierno de datos, la organización y la seguridad.

 Tu modelo de seguridad
Es posible que a muchos miembros del equipo de transferencia se les otorguen nuevas funciones en su organización de Google Cloud como parte de su proyecto de transferencia de datos.La planificación de la transferencia de datos es un buen momento para revisar sus permisos y prácticas recomendadas de administración de acceso e identidad (IAM) para usar IAM de manera segura.Estos problemas pueden afectar la forma en que otorga acceso a su almacenamiento.Por ejemplo, puede establecer límites estrictos en el acceso de escritura a los datos que se han archivado por razones reglamentarias, pero puede permitir que muchos usuarios y aplicaciones escriban datos en su entorno de pruebaSu organización de Google CloudLa forma en que estructura sus datos en Google Cloud depende de cómo planea usar Google Cloud.Almacenar sus datos en el mismo proyecto en la nube donde ejecuta su aplicación es un enfoque simple, pero puede que no sea óptimo desde una perspectiva de administración.Es posible que algunos de sus desarrolladores no tengan privilegios para ver los datos de producción.En ese caso, un desarrollador podría desarrollar código en datos de muestra, mientras que una cuenta de servicio privilegiada podría acceder a datos de producción.Por lo tanto, es posible que desee mantener todo su conjunto de datos de producción en un proyecto de nube separado y luego usar una cuenta de servicio para permitir el acceso a los datos de cada proyecto de aplicaciónGoogle Cloud se organiza en torno a proyectos.Los proyectos se pueden agrupar en carpetas y las carpetas se pueden agrupar en su organización.Las funciones se establecen a nivel de proyecto y los permisos de acceso se agregan a estas funciones en los niveles de depósito de Cloud Storage.Esta estructura se alinea con la estructura de permisos de otros proveedores de almacenamiento de objetosPara conocer las prácticas recomendadas para estructurar una organización de Google Cloud, consulte Decidir una jerarquía de recursos para su zona de aterrizaje de Google Cloud## Paso 3: Evaluación de sus opciones de transferenciaPara evaluar sus opciones de transferencia de datos, el equipo de transferencia debe considerar varios factores, incluidos los siguientes:- Costo- Tiempo- Opciones de transferencia fuera de línea versus en línea- Herramientas y tecnologías de transferencia- SeguridadCostoLa mayoría de los costos asociados con la transferencia de datos incluyen lo siguiente:- Costos de red- El ingreso a Cloud Storage es gratuito.Sin embargo, si aloja sus datos en un proveedor de nube pública, puede esperar pagar un cargo de salida y posibles costos de almacenamiento (por ejemplo, operaciones de lectura) por transferir sus datos.Este cargo se aplica a los datos que provienen de Google u otro proveedor de la nube- Si sus datos están alojados en un centro de datos privado que usted opera, también podría incurrir en costos adicionales para configurar aumentar más ancho de banda a Google Cloud- Costos de almacenamiento y operación para Cloud Storage durante y después de la transferencia de datos- Costos del producto (por ejemplo, un dispositivo de transferencia)- Costos de personal para armar su equipo y adquirir apoyo logísticoTiempoPocas cosas en computación resaltan las limitaciones de hardware de las redes como la transferencia de grandes cantidades de datos.Idealmente, puede transferir 1 GB en ocho segundos a través de una red de 1 Gbps.Si amplía eso a un conjunto de datos enorme (por ejemplo, 100 TB), el tiempo de transferencia es de 12 días.La transferencia de grandes conjuntos de datos puede poner a prueba los límites de su infraestructura y causar problemas potenciales a su negocio.Puede usar la siguiente calculadora para comprender cuánto tiempo puede llevar una transferencia, dada tamaño del conjunto de datos que está moviendo y el ancho de banda disponible para la transferencia.En los cálculos se tiene en cuenta un determinado porcentaje del tiempo de gestión.Además, se incluye una eficiencia efectiva del ancho de banda, por lo que los números resultantes son más realistas y no se obtendrán los números idealesEs posible que no desee transferir grandes conjuntos de datos fuera de su empresa red durante las horas pico de trabajo.Si la transferencia sobrecarga la red, nadie más podrá completar el trabajo necesario o de misión crítica.Por esta razón, el equipo de transferencia debe considerar el factor tiempoUna vez que los datos se transfieren a Cloud Storage, puede usar varias tecnologías para procesar los nuevos archivos a medida que llegan, como DataflowAumento del ancho de banda de la redCómo aumenta la red el ancho de banda depende de cómo te conectes a Google CloudEn una transferencia de nube a nube entre Google Cloud y otros proveedores de nube, Google aprovisiona la conexión entre los centros de datos del proveedor de la nube, sin necesidad de configuración por tu parteSi está transfiriendo datos entre su centro de datos privado y Google Cloud, existen tres enfoques principales:- Una conexión a Internet pública mediante una API pública- Emparejamiento directo mediante una API pública- Cloud Interconnect mediante una API privadaAl evaluar estos enfoques, es útil tener en cuenta sus necesidades de conectividad a largo plazo.Puede llegar a la conclusión de que adquirir ancho de banda únicamente con fines de transferencia tiene un costo prohibitivo, pero si se tiene en cuenta el uso a largo plazo de Google Cloud y las necesidades de la red en toda su organización, la inversión podría valer la penaConexión con una conexión a Internet públicaCuando utiliza una conexión a Internet pública, el rendimiento de la red es menos predecible porque está limitado por la capacidad y el enrutamiento de su proveedor de servicios de Internet (ISP).El ISP también puede ofrecer un acuerdo de nivel de servicio (SLA) limitado o ninguno en absoluto.Sin embargo, estas conexiones ofrecen costos relativamente bajos y, con los extensos arreglos de emparejamiento de Google, su ISP puede enrutarlo a la red global de Google en unos pocos saltos de redLe recomendamos que consulte con su administrador de seguridad sobre si la política de su empresa prohíbe mover algunos conjuntos de datos a través de Internet público.Compruebe también si la conexión pública a Internet se utiliza para su tráfico de producción.Las transferencias de datos a gran escala pueden tener un impacto negativo en la red de producciónConexión con emparejamiento directo
Para acceder a la red de Google con menos saltos de red que con una conexión pública a Internet, puede utilizar la interconexión directa. Al usar Direct Peering, puede intercambiar tráfico de Internet entre su red y los Puntos de presencia (PoP) de Edge de Google, lo que significa que sus datos no usan Internet público. Si lo hace, también reduce la cantidad de saltos entre su red y la red de Google. La interconexión con la red de Google requiere que configure un Número de Sistema Autónomo (AS) registrado, se conecte a Google mediante un intercambio de Internet y proporcione un contacto las 24 horas con el centro de operaciones de su red.

 Conexión con Cloud Interconnect
Cloud Interconnect ofrece una conexión directa a Google Cloud a través de Google o uno de los proveedores de servicios de Cloud Interconnect. Este servicio ayuda a evitar que sus datos pasen a la Internet pública y puede proporcionar un rendimiento más consistente para grandes transferencias de datos. Por lo general, Cloud Interconnect proporciona SLA para la disponibilidad de la red y el rendimiento de su red. Comuníquese directamente con un proveedor de servicios para obtener más información. Cloud Interconnect también es compatible con el direccionamiento privado, RFC 1918, para que la nube se convierta efectivamente en una extensión de su centro de datos privado sin necesidad de direcciones IP públicas o NAT.

 Transferencia en línea versus fuera de línea
Una decisión crítica es si utilizar un proceso fuera de línea o en línea para la transferencia de datos. Es decir, debe elegir entre transferir a través de una red, ya sea una interconexión dedicada o Internet pública, o transferir mediante hardware de almacenamiento.

Para ayudarlo con esta decisión, proporcionamos una calculadora de transferencia para ayudarlo a estimar las diferencias de tiempo y costo entre estas dos opciones. El siguiente gráfico también muestra algunas velocidades de transferencia para varios tamaños de conjuntos de datos y anchos de banda. En estos cálculos se incluye una cierta cantidad de gastos generales de gestión.

Como se indicó anteriormente, es posible que deba considerar si el costo de lograr latencias más bajas para su transferencia de datos (como adquirir ancho de banda de red) se compensa con el valor de esa inversión para su organización.

 Opciones disponibles de Google
Google ofrece varias herramientas y tecnologías para ayudarte a realizar una transferencia de datos

 Decidir entre las opciones de transferencia de Google
La elección de una opción de transferencia depende de su caso de uso, como muestra la siguiente tabla

|
|Desde dónde está moviendo los datos |
|Escenario |
|Productos sugeridos
|Otro proveedor de nube (por ejemplo, Amazon Web Services o Microsoft Azure) a Google CloudStorage Transfer Service|
|Cloud Storage to Cloud Storage (dos cubos diferentesServicio de transferencia de almacenamiento|
|Su centro de datos privado a Google Cloud||Suficiente ancho de banda para cumplir con la fecha límite de su proyecto
|
por menos de 1 TB de datos
|
|
|Su centro de datos privado a Google Cloud||Suficiente ancho de banda para cumplir con la fecha límite de su proyecto
|
para más de 1 TB de datos
|Servicio de transferencia de almacenamiento para datos locales|
|Su centro de datos privado a Google Cloud||No hay suficiente ancho de banda para cumplir con la fecha límite de su proyecto||Transferir dispositivo|
gsutil para transferencias más pequeñas de datos locales
Él
herramienta gsutil
es la herramienta estándar para transferencias pequeñas y medianas (menos de
1 TB) a través de una red típica de escala empresarial, desde un centro de datos privado
a la nube de Google. Le recomendamos que incluya
gsutil en tu ruta predeterminada
cuando usas
Concha de nube

También está disponible de forma predeterminada cuando instala el
CLI de la nube de Google

Es una herramienta confiable que brinda todas las funciones básicas que necesita para administrar
su
Almacenamiento en la nube
instancias, incluida la copia de sus datos hacia y desde el sistema de archivos local y
Almacenamiento en la nube. También puede mover y renombrar objetos y realizar
sincronizaciones incrementales en tiempo real, como
rsync, a un depósito de Cloud Storage

gsutil es especialmente útil en los siguientes escenarios:
- Sus transferencias deben ejecutarse según sea necesario o durante las sesiones de línea de comandos de sus usuarios

- Estás transfiriendo solo unos pocos archivos o archivos muy grandes, o ambos

- Está consumiendo la salida de un programa (salida de transmisión a Cloud Storage)

- Debe ver un directorio con una cantidad moderada de archivos y sincronizar cualquier actualización con latencias muy bajas

Los fundamentos para empezar con
gsutil son para
crear un depósito de almacenamiento en la nube
y
copiar datos
a ese balde. Para transferencias de conjuntos de datos más grandes, hay dos cosas que
considerar:
Para transferencias de subprocesos múltiples, use
gsutil-m

Varios archivos se procesan en paralelo, aumentando sus velocidades de transferencia

Para un solo archivo grande, use transferencias compuestas

Este método divide archivos grandes en partes más pequeñas para aumentar la velocidad de transferencia. Los fragmentos se transfieren y validan en paralelo, enviando todos los datos a Google. Una vez que los fragmentos llegan a Google, se combinan (lo que se conoce como
componer) para formar un solo objeto

Las transferencias compuestas con gsutil tienen algunos inconvenientes, incluido que cada parte (no el objeto completo) se suma de forma individual, y la composición de las clases de almacenamiento en frío genera penalizaciones por eliminación anticipada

 Servicio de transferencia de almacenamiento para grandes transferencias de datos locales
Como
gsutil,
Servicio de transferencia de almacenamiento para datos locales
permite transferencias desde el almacenamiento del sistema de archivos de red (NFS) a
Almacenamiento en la nube. A pesar de
gsutil puede admitir tamaños de transferencia pequeños (hasta
a 1 TB), el servicio de transferencia de almacenamiento para datos locales está diseñado para
transferencias a gran escala (hasta petabytes de datos, miles de millones de archivos). es compatible
copias completas o copias incrementales, y funciona en todas las opciones de transferencia enumeradas
antes en
Decidir entre las opciones de transferencia de Google. Eso
también tiene una interfaz gráfica de usuario simple y administrada; incluso sin conocimientos técnicos
los usuarios (después de la configuración) pueden usarlo para mover datos

El servicio de transferencia de almacenamiento para datos locales es especialmente útil en los siguientes escenarios:
- Tiene suficiente ancho de banda disponible para mover los volúmenes de datos (consulte la Calculadora de transferencia de datos de Google Cloud)- Admite una gran base de usuarios internos que pueden encontrar una línea de comandoherramienta comogsutilchallenging to use- Necesita informes de errores sólidos y un registro de todos los archivos y objetos que se mueven- Debe limitar el impacto de las transferencias en otras cargas de trabajo en su centro de datos (este producto puede permanecer bajo un límite de ancho de banda especificado por el usuario)- Desea ejecutar transferencias recurrentes en un horarioUsted configura el Servicio de transferencia de almacenamiento para datos locales al instalar el software local[conocido como *agentes*] en las computadoras de su centro de datos.Estosagentes están en contenedores Docker, lo que hace que sea más fácil ejecutar muchos de ellos oorquestarlos a través de KubernetesUna vez finalizada la configuración , los usuarios pueden iniciar transferencias en la consola de Google Cloudproporcionando un directorio de origen, un depósito de destino y una hora o un programaEl servicio de transferencia de almacenamiento rastrea recursivamente subdirectorios y archivos en eldirectorio de origen y crea objetos con un nombre correspondiente enCloud Storage [el objeto /dir/foo/file.txt se convierte en un objeto en el depósito de destino llamado /dir/foo/file.txt].El servicio de transferencia de almacenamientovuelve a intentar automáticamente una transferencia cuando encuentra errores transitoriosMientras se ejecutan las transferencias, puede controlar cuántos archivos se mueven yla velocidad de transferencia general, y puede ver ejemplos de erroresCuando finaliza la transferencia, se genera un archivo delimitado por tabuladores (TSV) con un registro completo de todos los archivos tocados y cualquier mensaje de error recibido.Los agentes son tolerantes a fallas, por lo que si un agente deja de funcionar, la transferencia continúa con los agentes restantes.Los agentes también se actualizan y reparan automáticamente, por lo que no tiene que preocuparse por parchear las últimas versiones o reiniciar el proceso si falla debido a un problema imprevistoAspectos a tener en cuenta al usar el Servicio de transferencia de almacenamiento:Use una configuración de agente idéntica en cada máquina. Todos los agentes deben ver los mismos montajes del Sistema de archivos de red (NFS) de la misma manera (las mismas rutas relativas).Esta configuración es un requisito para que el producto funcione.Más agentes dan como resultado más velocidad. Debido a que las transferencias se paralelizan automáticamente entre todos los agentes, le recomendamos que implemente muchos agentes para usar su ancho de banda disponible.Los límites de ancho de banda pueden proteger sus cargas de trabajo. Es posible que sus otras cargas de trabajo estén utilizando el ancho de banda de su centro de datos, así que establezca un límite de ancho de banda para evitar que las transferencias afecten sus SLA.Planifique tiempo para revisar errores. Las transferencias grandes a menudo pueden generar errores que requieren revisión.El servicio de transferencia de almacenamiento le permite ver una muestra de los errores encontrados directamente en la consola de Google Cloud.Si es necesario, puede cargar el registro completo de todos los errores de transferencia en BigQuery para verificar los archivos o evaluar los errores que quedaron incluso después de reintentos.Estos errores pueden deberse a la ejecución de aplicaciones que estaban escribiendo en la fuente mientras se realizaba la transferencia, o los errores pueden revelar un problema que requiere solución de problemas (por ejemplo, un error de permisos).Configure Cloud Monitoring para transferencias de larga duración. El servicio de transferencia de almacenamiento permite que Monitoring controle el estado y el rendimiento de los agentes, para que pueda configurar alertas que le notifiquen cuando los agentes están inactivos o necesitan atención.Es importante actuar sobre las fallas de los agentes para las transferencias que toman varios días o semanas, para evitar ralentizaciones o interrupciones significativas que pueden retrasar el cronograma de su proyectoDispositivo de transferencia para transferencias más grandesPara transferencias a gran escala (especialmente transferencias con ancho de banda de red limitado), Transfer Appliance es una excelente opción, especialmente cuando no se dispone de una conexión de red rápida y es demasiado costoso adquirir más ancho de bandaTransfer Appliance es especialmente útil en los siguientes escenarios:- Su centro de datos está en una ubicación remota con acceso limitado o sin acceso al ancho de banda- El ancho de banda está disponible, pero no se puede adquirir a tiempo para cumplir con su fecha límite- Tiene acceso a recursos logísticos para recibir y conectar dispositivos a su redCon esta opción, considere lo siguiente:- Transfer Appliance requiere que pueda recibir y enviar el hardware propiedad de Google- Según su conexión a Internet, el la latencia para transferir datos a Google Cloud suele ser mayor con Transfer Appliance que en línea- Transfer Appliance solo está disponible en determinados paísesLos dos criterios principales a tener en cuenta con Transfer Appliance son el costo y la velocidad.Con una conectividad de red razonable (por ejemplo, 1 Gbps), la transferencia de 100 TB de datos en línea tarda más de 10 días en completarse.Si esta tasa es aceptable, una transferencia en línea probablemente sea una buena solución para sus necesidades.Si solo tiene una conexión de 100 Mbps (o peor desde una ubicación remota), la misma transferencia demora más de 100 días.En este punto, vale la pena considerar una opción de transferencia fuera de línea como Transfer ApplianceAdquirir un Transfer Appliance es sencillo.En la consola de Google Cloud, solicita un dispositivo de transferencia, indica la cantidad de datos que tiene y luego Google envía uno o más dispositivos a la ubicación solicitada.Tiene un número de días para transferir sus datos al dispositivo ("captura de datos") y devolverlos a GoogleEl tiempo de respuesta esperado para un dispositivo de red para ser enviado, cargado con sus datos, enviado de vuelta y rehidratado en Google Cloud es de 20 días.Si se calcula que el período de tiempo de su transferencia en línea es sustancialmente mayor que este período de tiempo, considere Transfer Appliance.El costo total del proceso del dispositivo de 300 TB es inferior a $2500Servicio de transferencia de almacenamiento para transferencias de nube a nubeEl servicio de transferencia de almacenamiento es un servicio totalmente administrado , servicio altamente escalable para automatizar transferencias de otros públicos a Cloud Storage.Admite transferencias a Cloud Storage desde Amazon S3 y HTTPPara Amazon S3, puede proporcionar una clave de acceso y un depósito S3 con filtrosopcionales para S3 objetos para seleccionar, y luego copia los objetos S3 a cualquier
Cubo de almacenamiento en la nube. El servicio también admite copias diarias de cualquier
objetos modificados. El servicio actualmente no admite transferencias de datos.
*a*
Amazonas S3

Para HTTP, puede proporcionar al Servicio de transferencia de almacenamiento una lista de direcciones URL públicas en
un formato especificado

Este enfoque requiere que escriba un script que proporcione el tamaño de cada
archivo en bytes, junto con un hash MD5 codificado en Base64 del contenido del archivo

A veces, el tamaño del archivo y el hash están disponibles en el sitio web de origen. Si
no, necesita acceso local a los archivos, en cuyo caso, podría ser más fácil
utilizar
gsutil, como se describió anteriormente

Si tiene una transferencia, el Servicio de transferencia de almacenamiento es una excelente manera de obtener datos y conservarlos, especialmente cuando se transfiere desde otra nube pública.

 Seguridad
Para muchos usuarios de Google Cloud, la seguridad es su enfoque principal y hay diferentes niveles de seguridad disponibles. Algunos aspectos de la seguridad a considerar incluyen la protección de los datos en reposo (autorización y acceso al sistema de almacenamiento de origen y destino), la protección de los datos mientras están en tránsito y la protección del acceso al producto de transferencia. La siguiente tabla describe estos aspectos de la seguridad por producto

|
|Producto |
|Datos en reposo |
|Datos en tránsito |
|Acceso a transferencia de producto
|Transferir dispositivo||Todos los datos están encriptados en reposo. Los datos están protegidos con claves administradas por el cliente. Cualquiera puede solicitar un dispositivo, pero para usarlo necesita acceso a la fuente de datos.|
|
||Se requieren claves de acceso para acceder a Cloud Storage, que se cifra en reposo. Los datos se envían a través de HTTPS y se cifran en tránsito. Cualquiera puede descargarlos y ejecutarlos.
|
|Servicio de transferencia de almacenamiento para datos locales||Claves de acceso requeridas para acceder a Cloud Storage, que está encriptado en reposo. El proceso del agente puede acceder a los archivos locales según lo permitan los permisos del sistema operativo. Los datos se envían a través de HTTPS y se cifran en tránsito. Debe tener permisos de editor de objetos para acceder a los depósitos de Cloud Storage.|
|Servicio de transferencia de almacenamiento||Se requieren claves de acceso para recursos que no sean de Google Cloud (por ejemplo, Amazon S3). Se requieren claves de acceso para acceder a Cloud Storage, que se cifra en reposo. Los datos se envían a través de HTTPS y se cifran en tránsito. Debe tener permisos de IAM para que la cuenta de servicio acceda a la fuente y los permisos del editor de objetos para cualquier depósito de Cloud Storage.|
Para lograr mejoras de seguridad básicas, las transferencias en línea a
Google Cloud usando
gsutil
se realizan a través de HTTPS, los datos se cifran en tránsito y todos los datos en
Cloud Storage está, de forma predeterminada, encriptado en reposo. Para información sobre
esquemas más sofisticados relacionados con la seguridad, consulte
Consideraciones de seguridad y privacidad

Si utiliza
aparato de transferencia,
las llaves de seguridad que usted controla pueden ayudar a proteger sus datos. Generalmente, nosotros
recomendamos que contrate a su equipo de seguridad para asegurarse de que su plan de transferencia
cumple con los requisitos reglamentarios y de su empresa

 Productos de transferencia de terceros
Para la optimización avanzada a nivel de red o los flujos de trabajo continuos de transferencia de datos, es posible que desee utilizar herramientas más avanzadas. Para obtener información sobre herramientas más avanzadas, visite Socios de Google

Los siguientes enlaces destacan algunas de las muchas opciones (enumeradas aquí en orden alfabético):
- Aspera On Cloud se basa en el protocolo patentado de Aspera y es adecuado para flujos de trabajo a gran escala. Está disponible bajo demanda como modelo de licencia de suscripción.

- Cloud FastPath de Tervela se puede usar para crear un flujo de datos administrados hacia y desde Google Cloud. Para obtener más información, consulte Uso de Cloud FastPath para crear flujos de datos

- Signiant ofrece Media Shuttle como una solución de software como servicio (SaaS) para transferir cualquier archivo hacia o desde cualquier lugar. Signiant también ofrece Flight como una utilidad de escalado automático basada en un protocolo altamente optimizado y Signiant Flight Deck como una herramienta de automatización para transferencias a gran escala en ubicaciones geográficamente dispersas.

## Paso 4: Preparación para su transferencia
Para una transferencia grande o una transferencia con dependencias significativas, es importante comprender cómo operar su producto de transferencia. Los clientes suelen seguir los siguientes pasos:
Estimación de precios y ROI. Este paso proporciona muchas opciones para ayudar en la toma de decisiones. Pruebas funcionales. En este paso, confirma que el producto se puede configurar correctamente y que la conectividad de red (si corresponde) funciona. También prueba que puede mover una muestra representativa de sus datos (incluidos los pasos complementarios que no son de transferencia, como mover una instancia de VM) al destino.

Por lo general, puede realizar este paso antes de asignar todos los recursos, como máquinas de transferencia o ancho de banda. Los objetivos de este paso incluyen lo siguiente:
- Confirme que puede instalar y operar la transferencia

- Resaltar posibles problemas de detención de proyectos que bloquean el movimiento de datos (por ejemplo, rutas de red) o sus operaciones (por ejemplo, capacitación necesaria en un paso sin transferencia)

Pruebas de rendimiento. En este paso, ejecuta una transferencia en una muestra grande de sus datos (normalmente 3âÃÂÃÂ5%) después de asignar los recursos de producción para hacer lo siguiente:
- Confirme que puede consumir todos los recursos asignados y puede lograr obtener las velocidades que espera

- Descubrir y corregir cuellos de botella (por ejemplo, sistema de almacenamiento de origen lento)

## Paso 5: Garantizar la integridad de su transferencia
Para ayudar a garantizar la integridad de sus datos durante una transferencia, le recomendamos que tome las siguientes precauciones:
- Habilite el control de versiones y la copia de seguridad en su destino para limitar el daño de las eliminaciones accidentales

- Valide sus datos antes de eliminar los datos de origen

Para transferencias de datos a gran escala (con petabytes de datos y miles de millones de archivos), una tasa de error latente de referencia del sistema de almacenamiento de origen subyacente tan bajo como 0,0001 % aún resulta en una pérdida de datos de miles de archivos y gigabytes. Por lo general, las aplicaciones que se ejecutan en el origen ya toleran estos errores, en cuyo caso no es necesaria una validación adicional. En algunos escenarios excepcionales (por ejemplo, archivo a largo plazo), se necesita más validación antes de que se considere seguro eliminar datos de la fuente

Dependiendo de los requisitos de su aplicación, le recomendamos que ejecute algunas pruebas de integridad de datos después de que se complete la transferencia para asegurarse de que la aplicación continúe funcionando según lo previsto. Muchos productos de transferencia tienen comprobaciones de integridad de datos integradas. Sin embargo, dependiendo de su perfil de riesgo, es posible que desee realizar un conjunto adicional de comprobaciones de los datos y las aplicaciones que leen esos datos antes de eliminarlos de la fuente. Por ejemplo, es posible que desee confirmar si una suma de verificación que registró y calculó de forma independiente coincide con los datos escritos en el destino, o confirmar que un conjunto de datos utilizado por la aplicación se transfirió correctamente

## Buscando ayuda
Google Cloud ofrece varias opciones y recursos para que encuentre la ayuda y el soporte necesarios para utilizar mejor los servicios de Google Cloud:
Recursos de autoservicio. Si no necesita soporte dedicado, tiene varias opciones que puede usar a su propio ritmo. Socios tecnológicos. Google Cloud se ha asociado con varias empresas para ayudarlo a usar nuestros productos y servicios. Servicios profesionales de Google Cloud. Nuestros servicios profesionales pueden ayudarlo a aprovechar al máximo su inversión en Google Cloud

Hay más recursos para ayudar a migrar cargas de trabajo a Google Cloud en el Centro de migración de Google Cloud

Para obtener más información sobre estos recursos, consulte la sección de búsqueda de ayuda de Migración a Google Cloud: Primeros pasos

## Que sigue
- Si tiene preguntas sobre cómo diseñar un plan de transferencia o sobre un caso de uso específico, puede comunicarse con el Soporte de Google Cloud o comunicarse directamente con su equipo de cuenta de Google.

- Para comenzar con su transferencia, proporcionamos las siguientes guías:
- Para estrategias generales de migración de datos: Migración de una aplicación monolítica a microservicios en Google Kubernetes Engine
- Para una transferencia fuera de línea: Transfer Appliance
- Para una transferencia en línea desde una nube pública: Servicio de transferencia de almacenamiento
- Explore arquitecturas de referencia, diagramas, tutoriales y prácticas recomendadas sobre Google Cloud. Eche un vistazo a nuestro Centro de arquitectura en la nube.