Миграция в Google Cloud: перенос больших наборов данных

Для многих клиентов первым шагом при внедрении продукта Google Cloud является перенос их данных в Google Cloud. Этот документ исследует этот процесс, от планирования передачи данных до использования передового опыта в реализации плана.

Для переноса больших наборов данных необходимо создать правильную команду, заблаговременно спланировать и протестировать план переноса перед его реализацией в производственной среде. Хотя эти шаги могут занять столько же времени, сколько и сам перенос, такая подготовка может помочь свести к минимуму сбои в ваших бизнес-операциях во время переноса.

Этот документ является частью серии статей о переходе на Google Cloud. Если вас интересует обзор серии, см. раздел Миграция в Google Cloud: выбор пути миграции.

Эта статья является частью серии:
- Миграция в Google Cloud: начало работы
- Миграция в Google Cloud: оценка и обнаружение ваших рабочих нагрузок.
- Миграция в Google Cloud: создайте основу
- Миграция в Google Cloud: перенос больших наборов данных (этот документ)
- Миграция в Google Cloud: развертывание ваших рабочих нагрузок
- Миграция в Google Cloud: переход от ручного развертывания к автоматизированному контейнерному развертыванию.
- Миграция в Google Cloud: оптимизация вашей среды
- Миграция в Google Cloud: рекомендации по проверке плана миграции.
На следующей диаграмме показан путь вашего пути миграции.

Этап развертывания — это третий этап перехода в Google Cloud, на котором вы разрабатываете процесс развертывания для своих рабочих нагрузок.

Этот документ полезен, если вы планируете миграцию из локальной среды, из среды частного хостинга, из другого облачного провайдера в Google Cloud или если вы оцениваете возможность миграции и хотите изучить, как это может выглядеть. нравиться

## Что такое передача данных?
Для целей настоящего документа передача данных — это процесс перемещения данных без их преобразования, например, перемещение файлов как таковых в объекты.

 Передача данных не так проста, как кажется
Заманчиво думать о передаче данных как об одном гигантском FTP-сеансе, когда вы помещаете свои файлы на одну сторону и ждете, пока они выйдут на другой стороне. Однако в большинстве корпоративных сред процесс переноса включает в себя множество факторов, таких как следующие:
- Разработка плана передачи с учетом административного времени, включая время для принятия решения о варианте передачи, получения разрешений и решения непредвиденных вопросов.
- Координация людей в вашей организации, таких как команда, которая выполняет передачу, персонал, который утверждает инструменты и архитектуру, и заинтересованные стороны бизнеса, которые обеспокоены ценностью и сбоями, которые может принести перемещение данных.

- Выбор правильного инструмента передачи с учетом ваших ресурсов, стоимости, времени и других соображений проекта.

- Преодоление проблем с передачей данных, включая проблемы со скоростью света (недостаточная пропускная способность), перемещение активно используемых наборов данных, защита и мониторинг данных во время их передачи, а также обеспечение успешной передачи данных.

Этот документ призван помочь вам начать успешную инициативу по передаче

 Другие проекты, связанные с передачей данных
Следующий список включает ресурсы для других типов проектов передачи данных, не описанных в этом документе:
- Если вам нужно преобразовать данные (например, объединить строки, объединить наборы данных или отфильтровать личную информацию), вам следует рассмотреть решение для извлечения, преобразования и загрузки (ETL), которое может хранить данные в хранилище данных Google Cloud. Пример этой архитектуры см. в этом руководстве по потоку данных.

- Если вам нужно перенести базу данных и связанные приложения (например, чтобы поднять и переместить приложение базы данных), вы можете посмотреть документацию для Cloud Spanner, решения для PostgreSQL и другую документацию по вашему типу базы данных.

- Если вы хотите перенести свои данные из HBase в полностью управляемую службу базы данных NoSQL, совместимую с HBase API и способную обрабатывать большие рабочие нагрузки, взгляните на Cloud Bigtable.

– Если вам нужно переместить экземпляр виртуальной машины (ВМ), рассмотрите возможность использования продукта миграции виртуальных машин Google, Миграция на виртуальные машины.

## Шаг 1: Собираем команду
Для планирования перевода обычно требуется персонал со следующими ролями и обязанностями:
Включение ресурсов, необходимых для переноса: Администраторы хранилища, ИТ и сети, исполнительный спонсор и другие консультанты (например, группа по работе с аккаунтом Google или партнеры по интеграции). Утверждение решения о переносе: Владельцы или управляющие данными (для внутренних какие данные разрешено передавать), юридические консультанты (для правил, связанных с данными) и администратор безопасности (для внутренних политик защиты доступа к данным) Выполнение передачи: Руководитель группы, менеджер проекта (для выполнения и отслеживания проекта ), команда инженеров, а также прием и отгрузка на месте (для получения аппаратного обеспечения)
Крайне важно определить, кто несет предыдущие обязанности по вашему проекту перевода, и, когда это уместно, привлечь их к участию в совещаниях по планированию и принятию решений. Плохое организационное планирование часто является причиной неудачных инициатив по переводу.
Сбор требований к проекту и информации от этих заинтересованных сторон может быть сложной задачей, но составление плана и определение четких ролей и обязанностей окупаются. Нельзя ожидать, что вы будете знать все детали ваших данных. Собрав команду, вы лучше поймете потребности бизнеса. Рекомендуется выявить потенциальные проблемы, прежде чем тратить время, деньги и ресурсы на завершение переноса.

## Шаг 2: Сбор требований и доступных ресурсов
При разработке плана переноса мы рекомендуем сначала собрать требования к переносу данных, а затем выбрать вариант переноса. Для сбора требований можно использовать следующий процесс:
- Определите, какие наборы данных вам нужно переместить

- Выберите такие инструменты, как каталог данных, чтобы упорядочить данные в логические группы, которые можно перемещать и использовать вместе.

- Работайте с командами в вашей организации, чтобы проверить или обновить эти группы.

- Определите, какие наборы данных вы
может двигаться

- Подумайте, не запрещают ли передачу некоторых наборов данных нормативные, защитные или другие факторы.

– Если вам необходимо преобразовать некоторые данные перед их перемещением (например, удалить конфиденциальные данные или реорганизовать данные), рассмотрите возможность использования продукта интеграции данных, такого как Dataflow или Cloud Data Fusion, или продукта для оркестровки рабочих процессов, такого как Cloud Composer.

- Для переносимых наборов данных определите, куда передавать каждый набор данных.

- Запишите, какой вариант хранения вы выбрали для хранения ваших данных. Как правило, целевой системой хранения в Google Cloud является облачное хранилище. Даже если вам нужны более сложные решения после того, как ваши приложения будут запущены и запущены, облачное хранилище — это масштабируемый и надежный вариант хранения.

- Понимать, какие политики доступа к данным необходимо поддерживать после миграции.

- Определите, нужно ли хранить эти данные в определенных регионах.

- Спланируйте, как структурировать эти данные в пункте назначения. Например, будет ли он таким же, как источник, или другим?
- Определите, нужно ли вам передавать данные на постоянной основе

- Для переносимых наборов данных определите, какие ресурсы доступны
переместить их

- Время: когда необходимо завершить перевод?
- Стоимость: какой бюджет доступен для команды и расходы на трансфер?
- Люди: кто может выполнить перевод?
- Пропускная способность (для онлайн-передачи): какую часть доступной в настоящее время пропускной способности для Google Cloud можно выделить для передачи и на какой период времени?
Прежде чем вы оцените и выберете варианты переноса на следующем этапе планирования, мы рекомендуем вам оценить, можно ли улучшить какую-либо часть вашей ИТ-модели, например управление данными, организацию и безопасность.

 Ваша модель безопасности
Многим членам группы переноса могут быть предоставлены новые роли в вашей организации Google Cloud в рамках вашего проекта переноса данных.Планирование передачи данных — отличный момент, чтобы просмотреть свои разрешения на управление идентификацией и доступом (IAM) и рекомендации по безопасному использованию IAM.Эти проблемы могут повлиять на то, как вы предоставляете доступ к своему хранилищу.Например, вы можете установить строгие ограничения на доступ для записи к данным, которые были заархивированы по нормативным требованиям, но вы можете разрешить многим пользователям и приложениям записывать данные в тестовую средуВаша организация Google CloudТо, как вы структурируете свои данные в Google Cloud, зависит от того, как вы планируете использовать Google Cloud.Хранение ваших данных в том же облачном проекте, где вы запускаете свое приложение, — это простой подход, но он может быть неоптимальным с точки зрения управления.Некоторые из ваших разработчиков могут не иметь прав на просмотр производственных данных.В этом случае разработчик может разрабатывать код на демонстрационных данных, в то время как привилегированная учетная запись службы может получить доступ к производственным данным.Таким образом, вы можете захотеть сохранить весь рабочий набор данных в отдельном облачном проекте, а затем использовать учетную запись службы, чтобы разрешить доступ к данным из каждого проекта приложенияGoogle Cloud организован вокруг проектов.Проекты можно сгруппировать в папки, а папки можно сгруппировать по вашей организации.Роли устанавливаются на уровне проекта, а права доступа добавляются к этим ролям на уровне корзины Cloud Storage.Эта структура согласуется со структурой разрешений других поставщиков хранилища объектовРекомендации по структурированию организации Google Cloud см. в разделе Определение иерархии ресурсов для целевой зоны Google Cloud## Шаг 3: Оценка вариантов переносаЧтобы оценить варианты переноса данных, группа переноса должна учитывать несколько факторов, в том числе следующие:- Стоимость- Время- Варианты переноса данных в автономном режиме или в режиме онлайн- Инструменты и технологии переноса- БезопасностьСтоимостьБольшая часть сопутствующих расходов с передачей данных включают следующее:— расходы на сеть— доступ к облачному хранилищу бесплатный.Однако, если вы размещаете свои данные в общедоступном облаке, вы можете рассчитывать на оплату исходящего трафика и, возможно, затраты на хранение (например, операции чтения) для передачи ваших данных.Эта плата применяется к данным, поступающим от Google или другого облачного провайдера.— Если ваши данные размещены в частном центре обработки данных, которым вы управляете, вы также можете понести дополнительные расходы на настройку увеличить пропускную способность в Google Cloud- Стоимость хранения и эксплуатации облачного хранилища во время и после передачи данных- Стоимость продукта (например, устройства для переноса)- Затраты на персонал для сбора вашей команды и материально-технической поддержкиВремяМало что в вычислительной технике подчеркивает аппаратные ограничения сетей, такие как передача больших объемов данных.В идеале вы можете передать 1 ГБ за восемь секунд по сети со скоростью 1 Гбит/с.Если вы масштабируете это до огромного набора данных (например, 100 ТБ), время передачи составит 12 дней.Перенос больших наборов данных может проверить пределы вашей инфраструктуры и потенциально вызвать проблемы для вашего бизнесаВы можете использовать следующий калькулятор, чтобы понять, сколько времени может занять передача, учитывая размер набора данных, который вы перемещаете, и пропускная способность, доступная для передачи.При расчетах учитывается определенный процент времени управления.Кроме того, включена эффективная эффективность пропускной способности, поэтому итоговые цифры будут более реалистичными, и идеальные цифры не будут полученыВозможно, вам не захочется переносить большие наборы данных из вашей компании сети в часы пик.Если передача перегрузит сеть, никто другой не сможет выполнить необходимую или критически важную работу.По этой причине команда по передаче должна учитывать фактор времениПосле переноса данных в облачное хранилище вы можете использовать ряд технологий для обработки новых файлов по мере их поступления, например Dataflow.   Увеличение пропускной способности сети То, как вы увеличиваете пропускную способность сети, зависит от того, как вы подключаетесь к Google Cloud.  При передаче данных из облака в облако между Google Cloud и другими поставщиками облачных услуг Google обеспечивает соединение между центрами обработки данных поставщика облачных услуг, не требуя от вас настройки.  Если вы передаете данные между своим частным центром обработки данных и Google Cloud, существует три основных подхода: - Общедоступное подключение к Интернету с использованием общедоступного API - Прямой пиринг с использованием общедоступного API - Облачное соединение с использованием частного API При оценке этих подходов полезно учитывать ваши долгосрочные потребности в подключении. Вы можете прийти к выводу, что приобретение полосы пропускания исключительно для целей передачи является непомерно дорогим, но с учетом долгосрочного использования Google Cloud и сетевых потребностей в вашей организации инвестиции могут быть оправданными.   Подключение к общедоступному интернет-соединению Когда вы используете общедоступное подключение к Интернету, пропускная способность сети менее предсказуема, поскольку вы ограничены пропускной способностью и маршрутизацией вашего интернет-провайдера (ISP). Интернет-провайдер также может предлагать ограниченное соглашение об уровне обслуживания (SLA) или вообще не предлагать его. Тем не менее, эти подключения предлагают относительно низкую стоимость, а благодаря обширным механизмам пиринга Google ваш интернет-провайдер может направить вас в глобальную сеть Google за несколько сетевых переходов.  Мы рекомендуем вам уточнить у администратора безопасности, запрещает ли политика вашей компании перемещение некоторых наборов данных через общедоступный Интернет. Также проверьте, используется ли общедоступное подключение к Интернету для вашего рабочего трафика. Крупномасштабная передача данных может негативно повлиять на производственную сеть   Подключение к прямому пирингу
Чтобы получить доступ к сети Google с меньшим количеством сетевых переходов, чем при общедоступном подключении к Интернету, вы можете использовать прямой пиринг. Используя прямой пиринг, вы можете обмениваться интернет-трафиком между своей сетью и точками присутствия Google Edge Points of Presence (PoPs), что означает, что ваши данные не используют общедоступный Интернет. Это также сократит количество переходов между вашей сетью и сетью Google. Для пиринга в сети Google необходимо настроить зарегистрированный номер автономной системы (AS), подключиться к Google с помощью интернет-обмена и обеспечить круглосуточную связь с центром сетевых операций.

 Подключение к облачному взаимодействию
Cloud Interconnect предлагает прямое подключение к Google Cloud через Google или одного из поставщиков услуг Cloud Interconnect. Эта служба помогает предотвратить попадание ваших данных в общедоступный Интернет и может обеспечить более стабильную пропускную способность для передачи больших объемов данных. Как правило, Cloud Interconnect предоставляет соглашения об уровне обслуживания для доступности и производительности сети. Свяжитесь с поставщиком услуг напрямую, чтобы узнать больше. Cloud Interconnect также поддерживает частную адресацию, RFC 1918, так что облако эффективно становится расширением вашего частного центра обработки данных без необходимости использования общедоступных IP-адресов или NAT.

 Онлайн против оффлайн передачи
Критическое решение заключается в том, использовать ли автономный или онлайн-процесс для передачи данных. То есть вы должны выбирать между передачей по сети, будь то выделенное межсоединение или общедоступный Интернет, или передачей с использованием аппаратного хранилища.

Чтобы помочь с этим решением, мы предоставляем калькулятор трансфера, который поможет вам оценить разницу во времени и стоимости между этими двумя вариантами. На следующей диаграмме также показаны некоторые скорости передачи для различных размеров наборов данных и пропускной способности. В эти расчеты встроена определенная сумма управленческих накладных расходов.

Как отмечалось ранее, вам может потребоваться рассмотреть вопрос о том, компенсируются ли затраты на снижение задержек при передаче данных (например, получение пропускной способности сети) ценностью этих инвестиций для вашей организации.

 Доступные варианты от Google
Google предлагает несколько инструментов и технологий, которые помогут вам выполнить передачу данных.

 Выбор вариантов передачи Google
Выбор варианта передачи зависит от вашего варианта использования, как показано в следующей таблице.

|
|Откуда вы перемещаете данные |
|Сценарий |
|Предлагаемые продукты
|Другого облачного провайдера (например, Amazon Web Services или Microsoft Azure) в Google CloudStorage Transfer Service|
|Облачное хранилище в облачное хранилище (два разных сегментаСлужба передачи хранилища|
|Ваш частный центр обработки данных в Google Cloud||Достаточная пропускная способность, чтобы уложиться в срок вашего проекта
|
менее 1 ТБ данных
|
|
|Ваш частный центр обработки данных в Google Cloud||Достаточная пропускная способность, чтобы уложиться в срок вашего проекта
|
для более чем 1 ТБ данных
|Служба переноса хранилища для локальных данных|
|Ваш частный центр обработки данных в Google Cloud||Недостаточно пропускной способности для выполнения вашего проекта в срок||Перенести устройство|
gsutil для небольших передач локальных данных

инструмент gsutil
является стандартным инструментом для небольших и средних переводов (менее
1 ТБ) по обычной корпоративной сети из частного центра обработки данных
в Google Cloud. Мы рекомендуем вам включить
gsutil в вашем пути по умолчанию
когда вы используете
Облачная оболочка

Он также доступен по умолчанию при установке
Облачный интерфейс командной строки Google

Это надежный инструмент, который предоставляет все основные функции, необходимые для управления
ваш
Облачное хранилище
экземпляров, включая копирование ваших данных в локальную файловую систему и из нее, а также
Облачное хранилище. Он также может перемещать и переименовывать объекты и выполнять
добавочная синхронизация в реальном времени, например
rsync в корзину облачного хранилища

gsutil особенно полезен в следующих сценариях:
- Ваши переводы должны выполняться по мере необходимости или во время сеансов командной строки вашими пользователями.

- Вы передаете только несколько файлов или очень большие файлы, или и то, и другое

- Вы потребляете выходные данные программы (потоковая передача выходных данных в облачное хранилище).

- Вам нужно просматривать каталог с умеренным количеством файлов и синхронизировать любые обновления с очень низкой задержкой.

Основы начала работы с
gsutil должны
создать корзину облачного хранилища
и
скопировать данные
к этому ведру. Для передачи больших наборов данных необходимо сделать две вещи.
учитывать:
Для многопоточной передачи используйте
gsutil -m

Несколько файлов обрабатываются параллельно, что увеличивает скорость передачи

Для одного большого файла используйте составную передачу.

Этот метод разбивает большие файлы на более мелкие фрагменты для увеличения скорости передачи. Чанки передаются и проверяются параллельно, отправляя все данные в Google. Как только фрагменты поступают в Google, они объединяются (называется
составление) для формирования единого объекта

Составные передачи с помощью gsutil имеют некоторые недостатки, в том числе то, что контрольная сумма каждой части (не всего объекта) проверяется индивидуально, а композиция классов холодного хранения приводит к штрафам за досрочное удаление.

 Storage Transfer Service для больших объемов передачи локальных данных
Нравиться
гсутил,
Служба передачи хранилища для локальных данных
позволяет передавать данные из хранилища сетевой файловой системы (NFS) в
Облачное хранилище. Хотя
gsutil может поддерживать небольшие размеры передачи (до
до 1 ТБ), Storage Transfer Service для локальных данных предназначен для
крупномасштабные передачи (до петабайт данных, миллиарды файлов). Он поддерживает
полные копии или инкрементные копии, и он работает со всеми перечисленными вариантами передачи
ранее в
Выбор среди вариантов передачи Google. Это
также имеет простой управляемый графический пользовательский интерфейс; даже технически не подкованные
пользователи (после установки) могут использовать его для перемещения данных

Служба передачи хранилища для локальных данных особенно полезна в следующих сценариях:
- У вас есть достаточная пропускная способность для перемещения объемов данных (см. Калькулятор облачной передачи данных Google)- Вы поддерживаете большую базу внутренних пользователей, которые могут найти командную строкутакой инструмент, какgsutil, сложный в использовании- Вам нужны надежные отчеты об ошибках и записи обо всех перемещенных файлах и объектах- Вам необходимо ограничить влияние переносов на другие рабочие нагрузки в вашем центре обработки данных (этот продукт может оставаться в пределах установленного пользователем лимита пропускной способности)— вы хотите выполнять повторяющиеся переносы по расписаниюВы настраиваете службу передачи хранилища для локальных данных, устанавливаялокальное программное обеспечение [известное как *агенты*] на компьютеры в своем центре обработки данных.Этиагенты находятся в контейнерах Docker, что упрощает запуск многих из них илиих оркестрацию через KubernetesПосле завершения установки , пользователи могут инициировать перенос в консоли Google Cloud,указав исходный каталог, сегмент назначения и время или расписание.Storage Transfer Service рекурсивно сканирует подкаталоги и файлы висходный каталог и создает объекты с соответствующим именем вCloud Storage [объект /dir/foo/file.txt становится объектом в целевом сегменте с именем /dir/foo/file.txt].Служба передачи хранилищаавтоматически повторяет попытку передачи при обнаружении каких-либо временных ошибокВо время передачи вы можете отслеживать, сколько файлов перемещается иобщая скорость передачи, и вы можете просмотреть образцы ошибокКогда передача завершена, создается файл с разделителями табуляцией (TSV) с полной записью всех затронутых файлов и любые полученные сообщения об ошибках.Агенты отказоустойчивы, поэтому, если агент выходит из строя, передача продолжается с оставшимися агентами.Агенты также самообновляются и самовосстанавливаются, поэтому вам не нужно беспокоиться об установке исправлений для последних версий или перезапуске процесса, если он выходит из строя из-за непредвиденной проблемыНа что следует обратить внимание при использовании службы передачи хранилища:Используйте одинаковую настройку агента на каждой машине. Все агенты должны видеть одинаковые подключения сетевой файловой системы (NFS) одинаковым образом (одинаковые относительные пути).Эта настройка необходима для работы продукта.Чем больше агентов, тем выше скорость. Поскольку передача данных автоматически распараллеливается между всеми агентами, мы рекомендуем развертывать множество агентов, чтобы использовать доступную полосу пропускания.Ограничения пропускной способности могут защитить ваши рабочие нагрузки. Другие ваши рабочие нагрузки могут использовать пропускную способность вашего центра обработки данных, поэтому установите ограничение пропускной способности, чтобы передача не влияла на ваши соглашения об уровне обслуживания.Запланируйте время для проверки ошибок. Крупные переводы часто могут привести к ошибкам, требующим проверки.Storage Transfer Service позволяет увидеть пример ошибок, обнаруженных непосредственно в консоли Google Cloud.При необходимости вы можете загрузить полную запись обо всех ошибках переноса в BigQuery, чтобы проверить файлы или оценить ошибки, оставшиеся даже после повторных попыток.Эти ошибки могут быть вызваны запуском приложений, которые выполняли запись в источник во время передачи, или ошибки могут указывать на проблему, требующую устранения неполадок (например, ошибка разрешений).Настройте облачный мониторинг для длительных передач. Служба передачи хранилища позволяет мониторингу отслеживать работоспособность и пропускную способность агента, поэтому вы можете настроить оповещения, которые уведомляют вас, когда агенты не работают или требуют внимания.Реагирование на сбои агента важно для переносов, которые занимают несколько дней или недель, чтобы избежать значительных замедлений или прерываний, которые могут задержать сроки выполнения проектаTransfer Appliance для более крупных переносовДля крупномасштабных передач (особенно с ограниченной пропускной способностью сети) Transfer Appliance является отличным вариантом, особенно когда быстрое сетевое соединение недоступно, а увеличение пропускной способности слишком дорогоTransfer Appliance особенно полезен в следующих сценариях:— ваш центр обработки данных находится в удаленном месте с ограниченным или отсутствующим доступом к пропускной способности- Полоса пропускания доступна, но не может быть получена вовремя, чтобы уложиться в срок- У вас есть доступ к логистическим ресурсам для получения и подключения устройств к вашей сетиПри выборе этого варианта учитывайте следующее:— для работы Transfer Appliance требуется, чтобы вы могли получать и отправлять обратно оборудование, принадлежащее Google.— в зависимости от вашего интернет-соединения задержка при передаче данных в Google Cloud обычно выше при использовании Transfer Appliance, чем через Интернет— Transfer Appliance доступен только в некоторых странахДва основных критерия, которые следует учитывать с Transfer Appliance — это стоимость и скорость.При разумном подключении к сети (например, 1 Гбит/с) передача 100 ТБ данных в режиме онлайн занимает более 10 дней.Если эта ставка приемлема, онлайн-перевод, вероятно, является хорошим решением для ваших нужд.Если у вас есть соединение только со скоростью 100 Мбит/с (или хуже из удаленного места), такая же передача займет более 100 дней.На этом этапе стоит рассмотреть вариант автономной передачи, такой как Transfer ApplianceПриобретение Transfer Appliance не представляет сложности.В консоли Google Cloud вы запрашиваете устройство для переноса, указываете, сколько у вас данных, а затем Google отправляет одно или несколько устройств в запрошенное вами местоположение.Вам дается несколько дней, чтобы передать данные на устройство ("сбор данных") и отправить их обратно в Google.Ожидаемое время обработки сетевого устройства. на отправку, загрузку ваших данных, отправку обратно и повторную гидратацию в Google Cloud — 20 дней.Если рассчитанный срок онлайн-перевода значительно превышает этот срок, рассмотрите возможность использования Transfer Appliance.Общая стоимость процесса устройства на 300 ТБ составляет менее 2500 долларов США.Служба передачи данных для переноса данных из облака в облакоСлужба передачи данных из хранилища – это полностью управляемая , высокомасштабируемый сервис для автоматизации переноса данных из других общедоступных источников в облачное хранилище.Он поддерживает передачу в облачное хранилище из Amazon S3 и HTTPДля Amazon S3 вы можете предоставить ключ доступа и корзину S3 с дополнительнымифильтрами для S3 объектов для выбора, а затем вы копируете объекты S3 в любой
Ведро облачного хранилища. Сервис также поддерживает ежедневные копии любых
модифицированные объекты. Служба в настоящее время не поддерживает передачу данных
*к*
Амазонка S3

Для HTTP вы можете предоставить службе передачи хранилища список общедоступных URL-адресов в
заданный формат

Этот подход требует, чтобы вы написали сценарий, обеспечивающий размер каждого
файл в байтах вместе с хэшем MD5 в кодировке Base64 содержимого файла

Иногда размер файла и хэш доступны на исходном веб-сайте. Если
нет, вам нужен локальный доступ к файлам, и в этом случае может быть проще
использовать
gsutil, как описано ранее

Если у вас есть передача, служба передачи хранилища — отличный способ получить данные и сохранить их, особенно при переносе из другого общедоступного облака.

 Безопасность
Для многих пользователей Google Cloud безопасность является их основным приоритетом, и доступны различные уровни безопасности. Несколько аспектов безопасности, которые следует учитывать, включают защиту данных в состоянии покоя (авторизация и доступ к исходной и целевой системе хранения), защиту данных во время передачи и защиту доступа к продукту передачи. В следующей таблице представлены эти аспекты безопасности по продуктам.

|
|Продукт |
|данные в состоянии покоя |
|Данные в пути |
|Доступ к передаче продукта
|Передача устройства||Все данные шифруются при храненииДанные защищены ключами, управляемыми клиентомКаждый может заказать устройство, но для его использования требуется доступ к источнику данных.|
|
||Ключи доступа, необходимые для доступа к облачному хранилищу, которое шифруется при хранении. Данные передаются по протоколу HTTPS и шифруются при передаче. Любой может скачать и запустить
|
|Служба передачи хранилища для локальных данных||Ключи доступа, необходимые для доступа к облачному хранилищу, которое зашифровано в состоянии покоя. Процесс агента может получить доступ к локальным файлам, поскольку разрешения ОС позволяют. Данные отправляются по протоколу HTTPS и шифруются при передаче. Для доступа к корзинам облачного хранилища необходимы разрешения редактора объектов.|
|Storage Transfer Service||Ключи доступа, необходимые для ресурсов, не принадлежащих Google Cloud (например, Amazon S3). Ключи доступа необходимы для доступа к облачному хранилищу, которое шифруется при хранении. Данные отправляются по протоколу HTTPS и шифруются при передаче. У учетной записи службы должны быть разрешения IAM для доступа к разрешениям исходного кода и редактора объектов для любых сегментов облачного хранилища.|
Для достижения базовых улучшений безопасности онлайн-переводы в
Облако Google с помощью
gsutil
выполняются через HTTPS, данные шифруются при передаче, и все данные в
Облачное хранилище по умолчанию зашифровано в состоянии покоя. Для получения информации о
более сложные схемы, связанные с безопасностью, см.
Вопросы безопасности и конфиденциальности

Если вы используете
Переносное устройство,
ключи безопасности, которыми вы управляете, могут помочь защитить ваши данные. Как правило, мы
рекомендуем вам привлечь вашу службу безопасности, чтобы убедиться, что ваш план передачи
соответствует требованиям вашей компании и нормативным требованиям

 Сторонние продукты передачи
Для расширенной оптимизации на уровне сети или текущих рабочих процессов передачи данных вы можете использовать более продвинутые инструменты. Для получения информации о более продвинутых инструментах посетите сайт партнеров Google.

Следующие ссылки выделяют некоторые из множества вариантов (перечислены здесь в алфавитном порядке):
- Aspera On Cloud основан на запатентованном протоколе Aspera и подходит для крупномасштабных рабочих процессов. Он доступен по запросу в качестве модели лицензии по подписке.

- Cloud FastPath от Tervela можно использовать для создания управляемого потока данных в Google Cloud и из него. Дополнительные сведения см. в разделе Использование Cloud FastPath для создания потоков данных.

— Signiant предлагает Media Shuttle как решение «программное обеспечение как услуга» (SaaS) для передачи любого файла в любое место или из любого места. Signiant также предлагает Flight в качестве утилиты автоматического масштабирования на основе высокооптимизированного протокола и Signiant Flight Deck в качестве инструмента автоматизации для крупномасштабных передач через географически разбросанные местоположения.

## Шаг 4: Подготовка к переводу
Для крупного переноса или переноса со значительными зависимостями важно понимать, как работать с вашим продуктом переноса. Клиенты обычно проходят следующие этапы:
Ценообразование и оценка рентабельности. Этот шаг предоставляет множество вариантов, помогающих в принятии решения. Функциональное тестирование. На этом шаге вы подтверждаете, что продукт можно успешно настроить и что сетевое подключение (где применимо) работает. Вы также проверяете, можете ли вы переместить репрезентативную выборку ваших данных (включая сопутствующие шаги без передачи, такие как перемещение экземпляра виртуальной машины) в место назначения.

Обычно вы можете выполнить этот шаг перед выделением всех ресурсов, таких как машины передачи или пропускная способность. Цели этого шага включают следующее:
- Подтвердите, что вы можете установить и управлять передачей

- Обнаружьте потенциальные проблемы с остановкой проекта, которые блокируют перемещение данных (например, сетевые маршруты) или ваши операции (например, обучение, необходимое на этапе без передачи).

Тестирование производительности. На этом этапе вы запускаете перенос большой выборки данных (обычно 3×5%) после выделения производственных ресурсов для выполнения следующих действий:
- Подтвердите, что вы можете использовать все выделенные ресурсы и можете достичь ожидаемых скоростей.

- Выявление и устранение узких мест (например, медленная исходная система хранения)

## Шаг 5: Обеспечение целостности вашего перевода
Чтобы обеспечить целостность ваших данных во время передачи, мы рекомендуем принять следующие меры предосторожности:
- Включите управление версиями и резервное копирование в месте назначения, чтобы ограничить ущерб от случайных удалений.

- Проверяйте свои данные перед удалением исходных данных

При крупномасштабной передаче данных (с петабайтами данных и миллиардами файлов) базовая частота скрытых ошибок базовой исходной системы хранения всего 0,0001 % по-прежнему приводит к потере данных тысяч файлов и гигабайт. Как правило, приложения, работающие в источнике, уже терпимы к этим ошибкам, и в этом случае дополнительная проверка не требуется. В некоторых исключительных случаях (например, при долговременном архивировании) требуется дополнительная проверка, прежде чем можно будет считать безопасным удаление данных из источника.

В зависимости от требований вашего приложения мы рекомендуем вам запустить несколько тестов целостности данных после завершения переноса, чтобы убедиться, что приложение продолжает работать должным образом. Многие продукты для передачи данных имеют встроенные средства проверки целостности данных. Однако, в зависимости от вашего профиля риска, вы можете выполнить дополнительный набор проверок данных и приложений, считывающих эти данные, прежде чем удалять данные из источника. Например, вы можете захотеть подтвердить, соответствует ли записанная и вычисленная вами контрольная сумма данным, записанным в месте назначения, или подтвердить, что набор данных, используемый приложением, успешно передан.

## Поиск помощи
Google Cloud предлагает различные варианты и ресурсы, чтобы вы могли найти необходимую помощь и поддержку для наилучшего использования сервисов Google Cloud:
Ресурсы самообслуживания. Если вам не нужна специальная поддержка, у вас есть различные варианты, которые вы можете использовать в своем собственном темпе. Технологические партнеры. Google Cloud сотрудничает с несколькими компаниями, чтобы помочь вам использовать наши продукты и услуги. Профессиональные услуги Google Cloud. Наши профессиональные услуги помогут вам получить максимальную отдачу от ваших инвестиций в Google Cloud.

Дополнительные ресурсы для переноса рабочих нагрузок в Google Cloud доступны в Центре миграции Google Cloud.

Дополнительные сведения об этих ресурсах см. в разделе справки по поиску в документе «Миграция в Google Cloud: начало работы».

## Что дальше
– Если у вас есть вопросы о разработке плана переноса или о конкретном варианте использования, вы можете обратиться в службу поддержки Google Cloud или напрямую связаться с командой, работающей с вашим аккаунтом Google.

- Чтобы начать работу с переводом, мы предоставляем следующие руководства:
- Для общих стратегий переноса данных: перенос монолитного приложения на микросервисы в Google Kubernetes Engine.
- Для автономной передачи: Transfer Appliance
- Для онлайн-переноса из общедоступного облака: служба переноса хранилища
- Изучите эталонные архитектуры, диаграммы, учебные пособия и передовой опыт работы с Google Cloud. Посетите наш Центр облачной архитектуры.