Migração para o Google Cloud: transferindo seus grandes conjuntos de dados

Para muitos clientes, a primeira etapa na adoção de um produto Google Cloud é inserir os dados no Google Cloud. Este documento explora esse processo, desde o planejamento de uma transferência de dados até o uso das melhores práticas na implementação de um plano A transferência de grandes conjuntos de dados envolve formar a equipe certa, planejar com antecedência e testar seu plano de transferência antes de implementá-lo em um ambiente de produção. Embora essas etapas possam levar tanto tempo quanto a própria transferência, essas preparações podem ajudar a minimizar a interrupção de suas operações comerciais durante a transferência Este documento faz parte de uma série de várias partes sobre a migração para o Google Cloud. Se você estiver interessado em uma visão geral da série, consulte Migração para o Google Cloud: escolhendo seu caminho de migração Este artigo faz parte de uma série: - Migração para o Google Cloud: primeiros passos - Migração para o Google Cloud: avaliando e descobrindo suas cargas de trabalho - Migração para o Google Cloud: construindo sua base - Migração para o Google Cloud: transferindo seus grandes conjuntos de dados (este documento) - Migração para o Google Cloud: implantação de suas cargas de trabalho - Migração para o Google Cloud: migração de implantações manuais para implantações automatizadas em contêineres - Migração para Google Cloud: Otimizando seu ambiente - Migração para o Google Cloud: práticas recomendadas para validar um plano de migração O diagrama a seguir ilustra o caminho de sua jornada de migração A fase de implantação é a terceira fase da migração para o Google Cloud, na qual você projeta um processo de implantação para suas cargas de trabalho Este documento é útil se você estiver planejando uma migração de um ambiente local, de um ambiente de hospedagem privada, de outro provedor de nuvem para o Google Cloud ou se estiver avaliando a oportunidade de migrar e quiser explorar o que pode parecer Curti ## O que é transferência de dados? Para os fins deste documento, a transferência de dados é o processo de mover dados sem transformá-los, por exemplo, mover arquivos como estão em objetos A transferência de dados não é tão simples quanto parece É tentador pensar na transferência de dados como uma gigantesca sessão de FTP, onde você coloca seus arquivos de um lado e espera que eles saiam do outro lado. No entanto, na maioria dos ambientes corporativos, o processo de transferência envolve muitos fatores, como os seguintes: - Elaborar um plano de transferência que considere o tempo administrativo, incluindo tempo para decidir sobre uma opção de transferência, obter aprovações e lidar com questões imprevistas - Coordenar pessoas em sua organização, como a equipe que executa a transferência, o pessoal que aprova as ferramentas e a arquitetura e as partes interessadas nos negócios que se preocupam com o valor e as interrupções que a movimentação de dados pode trazer - Escolher a ferramenta de transferência certa com base em seus recursos, custo, tempo e outras considerações do projeto - Superando desafios de transferência de dados, incluindo problemas de "velocidade da luz"(largura de banda insuficiente), movendo conjuntos de dados que estão em uso ativo, protegendo e monitorando os dados enquanto estão em trânsito e garantindo que os dados sejam transferidos com sucesso Este documento visa ajudá-lo a iniciar uma iniciativa de transferência bem-sucedida Outros projetos relacionados à transferência de dados A lista a seguir inclui recursos para outros tipos de projetos de transferência de dados não abordados neste documento: - Se você precisar transformar seus dados (como combinar linhas, juntar conjuntos de dados ou filtrar informações de identificação pessoal), considere uma solução de extração, transformação e carregamento (ETL) que possa depositar dados em um armazenamento de dados do Google Cloud. Para ver um exemplo dessa arquitetura, consulte este tutorial do Dataflow - Se você precisar migrar um banco de dados e aplicativos relacionados (por exemplo, para levantar e deslocar um aplicativo de banco de dados), consulte a documentação do Cloud Spanner, soluções para PostgreSQL e outras documentações sobre seu tipo de banco de dados - Se você deseja migrar seus dados do HBase para um serviço de banco de dados NoSQL totalmente gerenciado, compatível com a API do HBase e capaz de lidar com cargas de trabalho maiores, dê uma olhada no Cloud Bigtable - Se você precisar mover uma instância de máquina virtual (VM), considere usar o produto de migração de VM do Google, Migrate to Virtual Machines ## Passo 1: Montando sua equipe O planejamento de uma transferência geralmente requer pessoal com as seguintes funções e responsabilidades: Habilitar recursos necessários para uma transferência:Administradores de armazenamento, TI e rede, um patrocinador executivo e outros consultores (por exemplo, uma equipe de Conta do Google ou parceiros de integração) Aprovar a decisão de transferência:Proprietários ou administradores de dados (para políticas internas sobre quem é permissão para transferir quais dados), consultores jurídicos (para regulamentos relacionados a dados) e um administrador de segurança (para políticas internas sobre como o acesso aos dados é protegido) Execução da transferência:Um líder de equipe, um gerente de projeto (para executar e rastrear o projeto ), uma equipe de engenharia e recebimento e envio no local (para receber o hardware do dispositivo) É crucial identificar quem detém as responsabilidades anteriores para o seu projeto de transferência e incluí-los nas reuniões de planejamento e decisão quando apropriado. O mau planejamento organizacional costuma ser a causa de iniciativas de transferência malsucedidas Reunir requisitos de projeto e informações dessas partes interessadas pode ser um desafio, mas fazer um plano e estabelecer funções e responsabilidades claras compensa. Não se pode esperar que você conheça todos os detalhes de seus dados. Montar uma equipe lhe dá uma visão maior sobre as necessidades do negócio. É uma prática recomendada identificar possíveis problemas antes de investir tempo, dinheiro e recursos para concluir as transferências ## Etapa 2: Coletando requisitos e recursos disponíveis Ao criar um plano de transferência, recomendamos que você primeiro colete os requisitos para sua transferência de dados e, em seguida, decida sobre uma opção de transferência. Para coletar requisitos, você pode usar o seguinte processo: - Identifique quais conjuntos de dados você precisa mover - Selecione ferramentas como Data Catalog para organizar seus dados em agrupamentos lógicos que são movidos e usados juntos - Trabalhe com equipes dentro de sua organização para validar ou atualizar esses agrupamentos - Identifique quais conjuntos de dados você pode mover - Considere se fatores regulatórios, de segurança ou outros proíbem a transferência de alguns conjuntos de dados - Se você precisar transformar alguns de seus dados antes de movê-los (por exemplo, para remover dados confidenciais ou reorganizar seus dados), considere usar um produto de integração de dados como Dataflow ou Cloud Data Fusion ou um produto de orquestração de fluxo de trabalho como Cloud Composer - Para conjuntos de dados móveis, determine para onde transferir cada conjunto de dados - Registre qual opção de armazenamento você selecionou para armazenar seus dados. Normalmente, o sistema de armazenamento de destino no Google Cloud é o Cloud Storage. Mesmo que você precise de soluções mais complexas depois que seus aplicativos estiverem funcionando, o Cloud Storage é uma opção de armazenamento escalável e durável - Entenda quais políticas de acesso a dados devem ser mantidas após a migração - Determine se você precisa armazenar esses dados em regiões específicas - Planeje como estruturar esses dados no destino. Por exemplo, será igual à fonte ou diferente? - Determine se você precisa transferir dados continuamente - Para conjuntos de dados móveis, determine quais recursos estão disponíveis para movê-los - Tempo: Quando a transferência precisa ser concluída? - Custo: Qual é o orçamento disponível para a equipe e os custos de transferência? - Pessoas: Quem está disponível para realizar a transferência? - Largura de banda (para transferências on-line): quanto de sua largura de banda atualmente disponível para o Google Cloud pode ser alocado para uma transferência e por quanto tempo? Antes de avaliar e selecionar opções de transferência na próxima fase de planejamento, recomendamos que você avalie se alguma parte do seu modelo de TI pode ser melhorada, como governança, organização e segurança de dados Seu modelo de segurança Muitos membros da equipe de transferência podem receber novas funções em sua organização do Google Cloud como parte de seu projeto de transferência de dados.O planejamento da transferência de dados é um ótimo momento para revisar suas permissões e práticas recomendadas de gerenciamento de identidade e acesso (IAM) para usar o IAM com segurança.Esses problemas podem afetar como você concede acesso ao seu armazenamento.Por exemplo, você pode impor limites rígidos ao acesso de gravação aos dados que foram arquivados por motivos regulatórios, mas pode permitir que muitos usuários e aplicativos gravem dados em seu ambiente de testeSua organização do Google CloudComo você estrutura seus dados no Google Cloud depende de como planeja usar o Google Cloud.Armazenar seus dados no mesmo projeto de nuvem em que você executa seu aplicativo é uma abordagem simples, mas pode não ser ideal do ponto de vista do gerenciamento.Alguns de seus desenvolvedores podem não ter privilégio para visualizar os dados de produção.Nesse caso, um desenvolvedor pode desenvolver código em dados de amostra, enquanto uma conta de serviço privilegiada pode acessar dados de produção.Portanto, convém manter todo o conjunto de dados de produção em um projeto de nuvem separado e, em seguida, usar uma conta de serviço para permitir o acesso aos dados de cada projeto de aplicativoGoogle Cloud é organizado em torno de projetos.Os projetos podem ser agrupados em pastas, e as pastas podem ser agrupadas em sua organização.As funções são estabelecidas no nível do projeto e as permissões de acesso são adicionadas a essas funções nos níveis do bucket do Cloud Storage.Essa estrutura se alinha com a estrutura de permissões de outros provedores de armazenamento de objetosPara obter as práticas recomendadas para estruturar uma organização do Google Cloud, consulte Decidir uma hierarquia de recursos para sua zona de destino do Google Cloud## Passo 3: Avaliando suas opções de transferênciaPara avaliar suas opções de transferência de dados, a equipe de transferência precisa considerar vários fatores, incluindo o seguinte:- Custo- Tempo- Opções de transferência offline versus online- Ferramentas e tecnologias de transferência- SegurançaCustoA maioria dos custos associados com a transferência de dados incluem o seguinte:- Custos de rede- A entrada no Cloud Storage é gratuita.No entanto, se você estiver hospedando seus dados em um provedor de nuvem pública, poderá pagar uma taxa de saída e possivelmente custos de armazenamento (por exemplo, operações de leitura) para transferir seus dados.Esta cobrança se aplica a dados provenientes do Google ou de outro provedor de nuvem- Se seus dados estiverem hospedados em um data center privado que você opera, você também pode incorrer em custos adicionais para configurar aumentar a largura de banda para o Google Cloud- Custos de armazenamento e operação para Cloud Storage durante e após a transferência de dados- Custos do produto (por exemplo, um Transfer Appliance)- Custos de pessoal para montar sua equipe e adquirir suporte logísticoTempoPoucas coisas na computação destacam as limitações de hardware das redes como a transferência de grandes quantidades de dados.Idealmente, você pode transferir 1 GB em oito segundos em uma rede de 1 Gbps.Se você escalar para um grande conjunto de dados (por exemplo, 100 TB), o tempo de transferência será de 12 dias.A transferência de grandes conjuntos de dados pode testar os limites de sua infraestrutura e potencialmente causar problemas para seus negóciosVocê pode usar a calculadora a seguir para entender quanto tempo uma transferência pode levar, dada a tamanho do conjunto de dados que você está movendo e a largura de banda disponível para a transferência.Uma certa porcentagem do tempo de gerenciamento é incluída nos cálculos.Além disso, uma eficiência de largura de banda efetiva está incluída, de modo que os números resultantes sejam mais realistas e os números ideais não sejam obtidosVocê pode não querer transferir grandes conjuntos de dados para fora de sua empresa rede durante o horário de pico.Se a transferência sobrecarregar a rede, ninguém mais conseguirá concluir o trabalho necessário ou de missão crítica.Por esse motivo, a equipe de transferência precisa considerar o fator tempoDepois que os dados são transferidos para o Cloud Storage, você pode usar várias tecnologias para processar os novos arquivos à medida que eles chegam, como DataflowAumentando a largura de banda da redeComo você aumenta a rede a largura de banda depende de como você se conecta ao Google CloudEm uma transferência de nuvem para nuvem entre o Google Cloud e outros provedores de nuvem, o Google provisiona a conexão entre os datacenters de fornecedores de nuvem, sem exigir configuração de vocêSe você estiver transferindo dados entre seu data center privado e o Google Cloud, há três abordagens principais:- Uma conexão pública à Internet usando uma API pública- Direct Peering usando uma API pública- Cloud Interconnect usando uma API privadaAo avaliar essas abordagens, é útil considerar suas necessidades de conectividade de longo prazo.Você pode concluir que é um custo proibitivo adquirir largura de banda apenas para fins de transferência, mas considerando o uso de longo prazo do Google Cloud e as necessidades de rede em sua organização, o investimento pode valer a penaConexão com uma conexão de Internet públicaQuando você usa uma conexão de Internet pública, a taxa de transferência de rede é menos previsível porque você está limitado pela capacidade e roteamento de seu provedor de serviços de Internet (ISP).O ISP também pode oferecer um contrato de nível de serviço (SLA) limitado ou nenhum.No entanto, essas conexões oferecem custos relativamente baixos e, com os extensos arranjos de peering do Google, seu ISP pode encaminhá-lo para a rede global do Google em alguns saltos de redeRecomendamos que você verifique com seu administrador de segurança se a política de sua empresa proíbe a movimentação de alguns conjuntos de dados pela Internet pública.Verifique também se a conexão pública à Internet é usada para o tráfego de produção.Transferências de dados em larga escala podem impactar negativamente a rede de produçãoConexão com Direct Peering Para acessar a rede do Google com menos saltos de rede do que com uma conexão pública à Internet, você pode usar o Direct Peering. Ao usar o Direct Peering, você pode trocar tráfego de internet entre sua rede e os pontos de presença (PoPs) do Google, o que significa que seus dados não usam a internet pública. Isso também reduz o número de saltos entre sua rede e a rede do Google. O emparelhamento com a rede do Google exige que você configure um número de sistema autônomo (AS) registrado, conecte-se ao Google usando uma troca de Internet e forneça um contato 24 horas por dia com o centro de operações de rede Conexão com o Cloud Interconnect O Cloud Interconnect oferece uma conexão direta com o Google Cloud por meio do Google ou de um dos provedores de serviços do Cloud Interconnect. Esse serviço ajuda a impedir que seus dados sejam colocados na Internet pública e pode fornecer uma taxa de transferência mais consistente para grandes transferências de dados. Normalmente, o Cloud Interconnect fornece SLAs para disponibilidade de rede e desempenho de sua rede. Entre em contato diretamente com um provedor de serviços para saber mais. O Cloud Interconnect também suporta endereçamento privado, RFC 1918, para que a nuvem efetivamente se torne uma extensão do seu data center privado sem a necessidade de endereços IP públicos ou NATs Transferência online versus offline Uma decisão crítica é usar um processo offline ou online para a transferência de dados. Ou seja, você deve escolher entre transferir por uma rede, seja uma interconexão dedicada ou a internet pública, ou transferir usando hardware de armazenamento Para ajudar nessa decisão, fornecemos uma calculadora de transferência para ajudá-lo a estimar as diferenças de tempo e custo entre essas duas opções. O gráfico a seguir também mostra algumas velocidades de transferência para vários tamanhos de conjuntos de dados e larguras de banda. Uma certa quantidade de sobrecarga de gerenciamento é incorporada a esses cálculos Conforme observado anteriormente, talvez seja necessário considerar se o custo para obter latências mais baixas para sua transferência de dados (como adquirir largura de banda de rede) é compensado pelo valor desse investimento para sua organização Opções disponíveis no Google O Google oferece várias ferramentas e tecnologias para ajudar você a realizar uma transferência de dados Decidindo entre as opções de transferência do Google A escolha de uma opção de transferência depende do seu caso de uso, como mostra a tabela a seguir | |De onde você está movendo os dados | |Cenário | |Produtos sugeridos |Outro provedor de nuvem (por exemplo, Amazon Web Services ou Microsoft Azure) para Google CloudStorage Transfer Service| |Armazenamento em Nuvem para Armazenamento em Nuvem (dois bucketsStorage Transfer Service diferentes| |Seu data center privado para o Google Cloud||Largura de banda suficiente para cumprir o prazo do seu projeto | para menos de 1 TB de dados | | |Seu data center privado para o Google Cloud||Largura de banda suficiente para cumprir o prazo do seu projeto | para mais de 1 TB de dados |Serviço de transferência de armazenamento para dados no local| |Seu data center privado para o Google Cloud||Largura de banda insuficiente para cumprir o prazo do projeto||Transfer Appliance| gsutil para transferências menores de dados locais o ferramenta gsutil é a ferramenta padrão para transferências de pequeno a médio porte (menos de 1 TB) em uma rede típica de escala empresarial, a partir de um data center privado para o Google Cloud. Recomendamos que você inclua gsutil em seu caminho padrão quando você usa Nuvem Shell Também está disponível por padrão quando você instala o CLI do Google Cloud É uma ferramenta confiável que fornece todos os recursos básicos de que você precisa para gerenciar sua Armazenamento na núvem instâncias, incluindo a cópia de seus dados de e para o sistema de arquivos local e Armazenamento na núvem. Ele também pode mover e renomear objetos e executar sincronizações incrementais em tempo real, como rsync, para um bucket do Cloud Storage gsutil é especialmente útil nos seguintes cenários: - Suas transferências precisam ser executadas conforme necessário ou durante sessões de linha de comando por seus usuários - Você está transferindo apenas alguns arquivos ou arquivos muito grandes, ou ambos - Você está consumindo a saída de um programa (saída de streaming para Cloud Storage) - Você precisa monitorar um diretório com um número moderado de arquivos e sincronizar todas as atualizações com latências muito baixas O básico para começar a usar gsutil são para criar um intervalo do Cloud Storage e copiar dados para aquele balde. Para transferências de conjuntos de dados maiores, há duas coisas a serem considerar: Para transferências multiencadeadas, use gsutil -m Vários arquivos são processados em paralelo, aumentando suas velocidades de transferência Para um único arquivo grande, use transferências compostas Este método divide arquivos grandes em pedaços menores para aumentar a velocidade de transferência. Os pedaços são transferidos e validados em paralelo, enviando todos os dados para o Google. Assim que os pedaços chegam ao Google, eles são combinados (chamados de compondo) para formar um único objeto As transferências compostas com gsutil têm algumas desvantagens, incluindo que cada peça (não o objeto inteiro) é somada individualmente, e a composição de classes de armazenamento a frio resulta em penalidades de exclusão antecipada Storage Transfer Service para grandes transferências de dados locais Curti gsutil, Serviço de transferência de armazenamento para dados locais permite transferências do armazenamento do sistema de arquivos de rede (NFS) para Armazenamento na núvem. Embora gsutil pode suportar tamanhos de transferência pequenos (até para 1 TB), o Storage Transfer Service para dados locais foi projetado para transferências em larga escala (até petabytes de dados, bilhões de arquivos). Ele suporta cópias completas ou cópias incrementais e funciona em todas as opções de transferência listadas mais cedo em Decidir entre as opções de transferência do Google. Isto também possui uma interface gráfica de usuário simples e gerenciada; mesmo sem conhecimento técnico os usuários (após a configuração) podem usá-lo para mover dados O Storage Transfer Service para dados locais é especialmente útil nos seguintes cenários: - Você tem largura de banda disponível suficiente para mover os volumes de dados (consulte a Calculadora de transferência de dados do Google Cloud)- Você oferece suporte a uma grande base de usuários internos que podem encontrar uma linha de comandoferramenta comogsutilchallenging para usar- Você precisa de relatórios de erros robustos e um registro de todos os arquivos e objetos que são movidos- Você precisa limitar o impacto das transferências em outras cargas de trabalho em seu data center (este produto pode ficar abaixo de um limite de largura de banda especificado pelo usuário)- Você deseja executar transferências recorrentes em uma programaçãoVocê configura o Storage Transfer Service para dados locais instalandosoftware local [conhecido como *agentes*] nos computadores de seu data center.Esses agentesestão em contêineres do Docker, o que facilita a execução de muitos deles ouorquestra-os por meio do KubernetesApós a conclusão da configuração , os usuários podem iniciar transferências no console do Google Cloudfornecendo um diretório de origem, um intervalo de destino e hora ou programaçãoO serviço de transferência de armazenamento rastreia recursivamente subdiretórios e arquivos nodiretório de origem e cria objetos com um nome correspondente noCloud Storage [o objeto /dir/foo/file.txt torna-se um objeto no bucket de destino denominado /dir/foo/file.txt].Serviço de transferência de armazenamentotenta novamente uma transferência automaticamente quando encontra erros transitóriosEnquanto as transferências estão em execução, você pode monitorar quantos arquivos são movidos ea velocidade geral de transferência e você pode visualizar amostras de erroQuando a transferência é concluída, um arquivo delimitado por tabulações (TSV) é gerado com um registro completo de todos os arquivos tocados e quaisquer mensagens de erro recebidas.Os agentes são tolerantes a falhas, portanto, se um agente cair, a transferência continua com os agentes restantes.Os agentes também se atualizam e se recuperam automaticamente, portanto, você não precisa se preocupar em corrigir as versões mais recentes ou reiniciar o processo se ele falhar devido a um problema imprevistoCoisas a considerar ao usar o Storage Transfer Service:Use uma configuração de agente idêntica em todas as máquinas. Todos os agentes devem ver as mesmas montagens de NFS (Network File System) da mesma maneira (mesmos caminhos relativos).Esta configuração é um requisito para o funcionamento do produto.Mais agentes resultam em mais velocidade. Como as transferências são paralelizadas automaticamente entre todos os agentes, recomendamos que você implante muitos agentes para usar a largura de banda disponível.Os limites de largura de banda podem proteger suas cargas de trabalho. Suas outras cargas de trabalho podem estar usando a largura de banda do seu data center, portanto, defina um limite de largura de banda para evitar que as transferências afetem seus SLAs.Planeje o tempo para revisar erros.Grandes transferências geralmente podem resultar em erros que requerem revisão.Storage Transfer Service permite que você veja uma amostra dos erros encontrados diretamente no console do Google Cloud.Se necessário, você pode carregar o registro completo de todos os erros de transferência para o BigQuery para verificar os arquivos ou avaliar os erros que permaneceram mesmo após novas tentativas.Esses erros podem ser causados por aplicativos em execução que estavam gravando na fonte durante a transferência, ou os erros podem revelar um problema que requer solução de problemas (por exemplo, erro de permissão).Configure o Cloud Monitoring para transferências de longa duração. O Storage Transfer Service permite que o Monitoring monitore a integridade e a taxa de transferência do agente, para que você possa definir alertas que o notificam quando os agentes estão inativos ou precisam de atenção.Atuar nas falhas do agente é importante para transferências que levam vários dias ou semanas, para evitar lentidões ou interrupções significativas que podem atrasar o cronograma do seu projetoTransfer Appliance para transferências maioresPara transferências em grande escala (especialmente transferências com largura de banda de rede limitada), o Transfer Appliance é uma excelente opção, especialmente quando uma conexão de rede rápida não está disponível e é muito caro adquirir mais largura de bandaO Transfer Appliance é especialmente útil nos seguintes cenários:- Seu data center está em um local remoto com acesso limitado ou sem acesso à largura de banda- A largura de banda está disponível, mas não pode ser adquirida a tempo de cumprir seu prazo- Você tem acesso a recursos logísticos para receber e conectar aparelhos à sua redeCom essa opção, considere o seguinte:- O Transfer Appliance exige que você receba e envie de volta o hardware de propriedade do Google- Dependendo da sua conexão com a Internet, o a latência para transferir dados para o Google Cloud geralmente é maior com o Transfer Appliance do que on-line- O Transfer Appliance está disponível apenas em determinados paísesOs dois principais critérios a serem considerados com Transfer Appliance são custo e velocidade.Com conectividade de rede razoável (por exemplo, 1 Gbps), a transferência de 100 TB de dados online leva mais de 10 dias para ser concluída.Se esta taxa for aceitável, uma transferência online provavelmente será uma boa solução para suas necessidades.Se você tiver apenas uma conexão de 100 Mbps (ou pior de um local remoto), a mesma transferência leva mais de 100 dias.Neste ponto, vale a pena considerar uma opção de transferência off-line, como o Transfer Appliance.Adquirir um Transfer Appliance é simples.No console do Google Cloud, você solicita um Transfer Appliance, indica quantos dados você tem e, em seguida, o Google envia um ou mais appliances para o local solicitado.Você tem alguns dias para transferir seus dados para o dispositivo ("captura de dados") e enviá-los de volta ao GoogleO tempo de resposta esperado para um dispositivo de rede para ser enviado, carregado com seus dados, enviado de volta e reidratado no Google Cloud é de 20 dias.Se o prazo de transferência online for calculado para ser substancialmente maior do que esse prazo, considere o Transfer Appliance.O custo total para o processo do dispositivo de 300 TB é inferior a US$ 2.500Serviço de transferência de armazenamento para transferências de nuvem para nuvemO Serviço de transferência de armazenamento é totalmente gerenciado , serviço altamente escalável para automatizar transferências de outros públicos para o Cloud Storage.Ele oferece suporte a transferências para o Cloud Storage do Amazon S3 e HTTPPara Amazon S3, você pode fornecer uma chave de acesso e um bucket S3 comfiltros opcionais para S3 objetos para selecionar e, em seguida, você copia os objetos S3 para qualquer Intervalo de armazenamento em nuvem. O serviço também suporta cópias diárias de qualquer objetos modificados. No momento, o serviço não oferece suporte a transferências de dados *para* Amazon S3 Para HTTP, você pode fornecer ao Storage Transfer Service uma lista de URLs públicos em um formato especificado Essa abordagem requer que você escreva um script fornecendo o tamanho de cada arquivo em bytes, juntamente com um hash MD5 codificado em Base64 do conteúdo do arquivo Às vezes, o tamanho do arquivo e o hash estão disponíveis no site de origem. Se não, você precisa de acesso local aos arquivos; nesse caso, pode ser mais fácil usar gsutil, conforme descrito anteriormente Se você tiver uma transferência em vigor, o Storage Transfer Service é uma ótima maneira de obter dados e mantê-los, principalmente ao transferir de outra nuvem pública Segurança Para muitos usuários do Google Cloud, a segurança é o foco principal e há diferentes níveis de segurança disponíveis. Alguns aspectos de segurança a serem considerados incluem proteção de dados em repouso (autorização e acesso ao sistema de armazenamento de origem e destino), proteção de dados durante o trânsito e proteção de acesso ao produto de transferência. A tabela a seguir descreve esses aspectos de segurança por produto | |Produto | |Dados em repouso | |Dados em trânsito | |Acesso ao produto de transferência |Transfer Appliance||Todos os dados são criptografados em repousoOs dados são protegidos com chaves gerenciadas pelo clienteQualquer um pode solicitar um dispositivo, mas para usá-lo é necessário acessar a fonte de dados.| | ||Chaves de acesso necessárias para acessar o Cloud Storage, que é criptografado em repousoOs dados são enviados por HTTPS e criptografados em trânsitoQualquer pessoa pode baixar e executar | |Serviço de transferência de armazenamento para dados locais||Chaves de acesso necessárias para acessar o Cloud Storage, que é criptografado em repouso. O processo do agente pode acessar arquivos locais, pois as permissões do SO permitemOs dados são enviados por HTTPS e criptografados em trânsitoVocê deve ter permissões de editor de objeto para acessar os depósitos do Cloud Storage.| |Storage Transfer Service||Chaves de acesso necessárias para recursos que não são do Google Cloud (por exemplo, Amazon S3). As chaves de acesso são necessárias para acessar o Cloud Storage, que é criptografado em repousoOs dados são enviados por HTTPS e criptografados em trânsitoVocê deve ter permissões IAM para a conta de serviço para acessar a origem e as permissões do editor de objeto para qualquer bucket do Cloud Storage.| Para obter aprimoramentos básicos de segurança, as transferências on-line para Google Cloud usando gsutil são realizadas por HTTPS, os dados são criptografados em trânsito e todos os dados em O Cloud Storage é, por padrão, criptografado em repouso. Para informações sobre esquemas mais sofisticados relacionados à segurança, consulte Considerações de segurança e privacidade Se você usar Dispositivo de transferência, chaves de segurança que você controla podem ajudar a proteger seus dados. Geralmente, nós recomendamos que você contrate sua equipe de segurança para garantir que seu plano de transferência atende aos requisitos regulamentares e da sua empresa Produtos de transferência de terceiros Para otimização avançada em nível de rede ou fluxos de trabalho de transferência de dados em andamento, convém usar ferramentas mais avançadas. Para obter informações sobre ferramentas mais avançadas, visite os parceiros do Google Os links a seguir destacam algumas das muitas opções (listadas aqui em ordem alfabética): - O Aspera On Cloud é baseado no protocolo patenteado do Aspera e adequado para fluxos de trabalho em larga escala. Está disponível sob demanda como um modelo de licença de assinatura - O Cloud FastPath da Tervela pode ser usado para criar um fluxo de dados gerenciado de e para o Google Cloud. Para obter detalhes, consulte Usando o Cloud FastPath para criar fluxos de dados - A Signiant oferece o Media Shuttle como uma solução de software como serviço (SaaS) para transferir qualquer arquivo de ou para qualquer lugar. A Signiant também oferece o Flight como um utilitário de dimensionamento automático baseado em um protocolo altamente otimizado e o Signiant Flight Deck como uma ferramenta de automação para transferências em larga escala em locais geograficamente dispersos ## Etapa 4: Preparando sua transferência Para uma grande transferência ou uma transferência com dependências significativas, é importante entender como operar seu produto de transferência. Os clientes normalmente passam pelas seguintes etapas: Estimativa de preços e ROI. Esta etapa fornece muitas opções para auxiliar na tomada de decisões. Teste funcional. Nesta etapa, você confirma que o produto pode ser configurado com êxito e que a conectividade de rede (quando aplicável) está funcionando. Você também testa se pode mover uma amostra representativa de seus dados (incluindo as etapas de não transferência, como mover uma instância de VM) para o destino Geralmente, você pode executar esta etapa antes de alocar todos os recursos, como máquinas de transferência ou largura de banda. Os objetivos desta etapa incluem o seguinte: - Confirme que você pode instalar e operar a transferência - Apresentar possíveis problemas de interrupção do projeto que bloqueiam a movimentação de dados (por exemplo, rotas de rede) ou suas operações (por exemplo, treinamento necessário em uma etapa sem transferência) Teste de desempenho. Nesta etapa, você executa uma transferência em uma grande amostra de seus dados (normalmente 3Â¢ÃÂÃÂ5%) depois que os recursos de produção são alocados para fazer o seguinte: - Confirme se você pode consumir todos os recursos alocados e obter as velocidades esperadas - Descobrir e corrigir gargalos (por exemplo, sistema de armazenamento de origem lenta) ## Passo 5: Garantindo a integridade da sua transferência Para ajudar a garantir a integridade dos seus dados durante uma transferência, recomendamos tomar as seguintes precauções: - Ative o controle de versão e o backup no seu destino para limitar os danos causados por exclusões acidentais - Valide seus dados antes de remover os dados de origem Para transferências de dados em larga escala (com petabytes de dados e bilhões de arquivos), uma taxa de erro latente de linha de base do sistema de armazenamento de origem subjacente tão baixa quanto 0,0001% ainda resulta em uma perda de dados de milhares de arquivos e gigabytes. Normalmente, os aplicativos em execução na origem já toleram esses erros; nesse caso, não é necessária uma validação extra. Em alguns cenários excepcionais (por exemplo, arquivo de longo prazo), é necessária mais validação antes que seja considerado seguro excluir dados da fonte Dependendo dos requisitos do seu aplicativo, recomendamos que você execute alguns testes de integridade de dados após a conclusão da transferência para garantir que o aplicativo continue funcionando conforme o esperado. Muitos produtos de transferência possuem verificações de integridade de dados integradas. No entanto, dependendo do seu perfil de risco, convém fazer um conjunto extra de verificações nos dados e nos aplicativos que leem esses dados antes de excluir os dados da fonte. Por exemplo, você pode querer confirmar se uma soma de verificação registrada e calculada independentemente corresponde aos dados gravados no destino ou confirmar se um conjunto de dados usado pelo aplicativo foi transferido com sucesso ## Procurando ajuda O Google Cloud oferece várias opções e recursos para você encontrar a ajuda e o suporte necessários para melhor usar os serviços do Google Cloud: Recursos de autoatendimento. Se você não precisa de suporte dedicado, tem várias opções que pode usar no seu próprio ritmo. Parceiros de tecnologia.O Google Cloud fez parceria com várias empresas para ajudar você a usar nossos produtos e serviços. Serviços profissionais do Google Cloud. Nossos serviços profissionais podem ajudar você a aproveitar ao máximo seu investimento no Google Cloud Há mais recursos para ajudar a migrar cargas de trabalho para o Google Cloud no Google Cloud Migration Center Para obter mais informações sobre esses recursos, consulte a seção de ajuda para encontrar Migração para o Google Cloud: primeiros passos ## Qual é o próximo - Se você tiver dúvidas sobre como elaborar um plano de transferência ou sobre um caso de uso específico, entre em contato com o suporte do Google Cloud ou entre em contato diretamente com sua equipe de contas do Google - Para iniciar a sua transferência, fornecemos os seguintes guias: - Para estratégias gerais de migração de dados: migração de um aplicativo monolítico para microsserviços no Google Kubernetes Engine - Para uma transferência off-line: Transfer Appliance - Para uma transferência online de uma nuvem pública: Storage Transfer Service - Explore arquiteturas de referência, diagramas, tutoriais e práticas recomendadas sobre o Google Cloud. Dê uma olhada em nosso Cloud Architecture Center.