Міграція в Google Cloud: перенесення великих наборів даних

Для багатьох клієнтів першим кроком до впровадження продукту Google Cloud є розміщення їхніх даних у Google Cloud. У цьому документі розглядається цей процес, від планування передачі даних до використання найкращих практик у реалізації плану

Передача великих наборів даних передбачає формування відповідної команди, раннє планування та тестування плану передачі перед впровадженням його у робочому середовищі. Хоча ці кроки можуть зайняти стільки ж часу, скільки й сама передача, така підготовка може допомогти звести до мінімуму збої в бізнес-операціях під час передачі

Цей документ є частиною серії з кількох частин про перехід на Google Cloud. Якщо ви зацікавлені в огляді серії, перегляньте статтю Міграція до Google Cloud: вибір шляху міграції

Ця стаття є частиною серії:
- Перехід до Google Cloud: початок роботи
- Перехід до Google Cloud: оцінка та виявлення ваших робочих навантажень
- Перехід до Google Cloud: створення основи
- Міграція до Google Cloud: перенесення великих наборів даних (цей документ)
- Перехід до Google Cloud: розгортання ваших робочих навантажень
- Перехід до Google Cloud: перехід від ручного розгортання до автоматизованого, контейнерного розгортання
- Перехід до Google Cloud: оптимізація вашого середовища
- Перехід до Google Cloud: найкращі методи перевірки плану міграції
Наступна діаграма ілюструє шлях вашої міграційної подорожі

Етап розгортання – це третій етап міграції до Google Cloud, на якому ви розробляєте процес розгортання для своїх робочих навантажень.

Цей документ корисний, якщо ви плануєте міграцію з локального середовища, із середовища приватного хостингу, від іншого хмарного постачальника до Google Cloud, або якщо ви оцінюєте можливість міграції та хочете дослідити, як це може виглядати люблю

## Що таке передача даних?
Для цілей цього документу передача даних – це процес переміщення даних без їх перетворення, наприклад, переміщення файлів у вигляді об’єктів.

 Передача даних не така проста, як здається
Спокусливо уявити передачу даних як один гігантський сеанс FTP, коли ви розміщуєте свої файли на одній стороні та чекаєте, поки вони вийдуть на іншій стороні. Однак у більшості корпоративних середовищ процес перенесення включає багато факторів, як-от:
- Розробка плану передачі, який враховує адміністративний час, включаючи час для прийняття рішення про варіант передачі, отримання схвалень і вирішення непередбачених проблем
- Координація людей у ​​вашій організації, наприклад команди, яка виконує передачу, персоналу, який затверджує інструменти та архітектуру, а також зацікавлених сторін бізнесу, які стурбовані цінністю та збоями, які може принести переміщення даних

- Вибір правильного інструменту передачі на основі ваших ресурсів, вартості, часу та інших міркувань проекту

- Подолання проблем із передачею даних, включаючи проблеми зі «швидкістю світла» (недостатня пропускна здатність), переміщення наборів даних, які активно використовуються, захист і моніторинг даних під час їх польоту та забезпечення успішної передачі даних

Цей документ має на меті допомогти вам розпочати успішну ініціативу щодо передачі

 Інші проекти, пов'язані з передачею даних
Наведений нижче список містить ресурси для інших типів проектів передачі даних, які не розглядаються в цьому документі:
- Якщо вам потрібно трансформувати свої дані (наприклад, об’єднати рядки, об’єднати набори даних або відфільтрувати особисту ідентифікаційну інформацію), вам слід розглянути рішення для вилучення, трансформації та завантаження (ETL), яке може зберігати дані в сховищі даних Google Cloud. Для прикладу цієї архітектури перегляньте цей підручник Dataflow

- Якщо вам потрібно перенести базу даних і пов’язані програми (наприклад, підняти та перемістити програму бази даних), ви можете переглянути документацію для Cloud Spanner, рішення для PostgreSQL та іншу документацію про тип вашої бази даних

- Якщо ви хочете перенести свої дані з HBase до повністю керованої служби бази даних NoSQL, яка сумісна з HBase API і може обробляти більші робочі навантаження, зверніть увагу на Cloud Bigtable

- Якщо вам потрібно перемістити екземпляр віртуальної машини (VM), скористайтеся продуктом Google для міграції віртуальних машин Migrate to Virtual Machines

## Крок 1: Зберіть свою команду
Для планування передачі зазвичай потрібен персонал із такими ролями та обов’язками:
Увімкнення ресурсів, необхідних для передачі: сховище, ІТ-адміністратори та мережеві адміністратори, виконавчий спонсор та інші консультанти (наприклад, команда облікового запису Google або партнери з інтеграції) Схвалення рішення про передачу: власники даних або розпорядники (щодо внутрішньої політики щодо того, хто є які дані дозволено передавати), юридичних консультантів (щодо нормативних документів, пов’язаних із даними) та адміністратора безпеки (щодо внутрішніх політик щодо захисту доступу до даних) Виконання передачі: Керівник групи, менеджер проекту (для виконання та відстеження проекту ), команда інженерів, а також прийом і відправка на місці (для отримання апаратного забезпечення пристрою)
Дуже важливо визначити, хто несе попередню відповідальність за ваш проект передачі, і включити їх до зустрічей з планування та прийняття рішень, коли це доречно. Погане організаційне планування часто є причиною невдалих ініціатив щодо передачі
Зібрати вимоги до проекту та інформацію від цих зацікавлених сторін може бути складно, але скласти план і встановити чіткі ролі та обов’язки окупається. Не можна очікувати, що ви будете знати всі подробиці своїх даних. Збирання команди дає вам краще уявлення про потреби бізнесу. Найкраще визначити потенційні проблеми, перш ніж вкладати час, гроші та ресурси для завершення переказів

## Крок 2: Збір вимог і наявних ресурсів
Коли ви розробляєте план передачі, ми рекомендуємо спочатку зібрати вимоги до передачі даних, а потім визначитися з варіантом передачі. Щоб зібрати вимоги, ви можете скористатися таким процесом:
- Визначте, які набори даних потрібно перемістити

- Виберіть такі інструменти, як Data Catalog, щоб упорядкувати дані в логічні групи, які переміщуються та використовуються разом

- Працюйте з командами у вашій організації, щоб перевірити або оновити ці групи

- Визначте, які набори даних ви використовуєте
може рухатися

- Подумайте, чи забороняють передачу деяких наборів даних нормативні, безпекові чи інші фактори

- Якщо перед переміщенням вам потрібно перетворити деякі дані (наприклад, щоб видалити конфіденційні дані чи реорганізувати дані), подумайте про використання продукту для інтеграції даних, як-от Dataflow або Cloud Data Fusion, або продукту оркестровки робочого процесу, як-от Cloud Composer.

- Для переміщуваних наборів даних визначте, куди передавати кожен набір даних

- Запишіть, який варіант зберігання ви вибрали для зберігання своїх даних. Зазвичай цільовою системою зберігання в Google Cloud є Cloud Storage. Навіть якщо вам потрібні складніші рішення після того, як ваші програми запущено та запущено, Cloud Storage — це масштабоване та довговічне сховище

- Зрозумійте, які політики доступу до даних необхідно підтримувати після міграції

- Визначте, чи потрібно вам зберігати ці дані в певних регіонах

- Плануйте, як структурувати ці дані на місці призначення. Наприклад, він буде таким самим, як джерело, чи іншим?
- Визначте, чи потрібно передавати дані на постійній основі

- Для наборів даних, які є рухомими, визначте, які ресурси доступні
щоб перемістити їх

- Час: коли потрібно завершити передачу?
- Вартість: який бюджет доступний для команди та трансферні витрати?
- Люди: Хто може здійснити переказ?
- Пропускна здатність (для онлайн-передач): скільки доступної наразі пропускної здатності Google Cloud можна виділити для передачі та на який період часу?
Перш ніж оцінювати та вибирати варіанти передачі на наступному етапі планування, ми рекомендуємо вам оцінити, чи можна покращити будь-яку частину вашої ІТ-моделі, наприклад керування даними, організацію та безпеку.

 Ваша модель безпеки
Багато членів команди передачі можуть отримати нові ролі у вашій організації Google Cloud у рамках вашого проекту передачі даних.Планування передачі даних – це чудовий час для перегляду ваших дозволів на керування ідентифікацією та доступом (IAM) і передових практик щодо безпечного використання IAM.Ці проблеми можуть вплинути на те, як ви надаєте доступ до свого сховища.Наприклад, ви можете встановити суворі обмеження на доступ для запису до даних, які були заархівовані з нормативних причин, але ви можете дозволити багатьом користувачам і програмам записувати дані у ваше тестове середовищеВаша організація Google CloudТе, як ви структуруєте свої дані в Google Cloud, залежить від того, як ви плануєте використовувати Google Cloud.Зберігання ваших даних у тому самому хмарному проекті, де ви запускаєте програму, є простим підходом, але він може бути не оптимальним з точки зору управління.Деякі з ваших розробників можуть не мати привілею переглядати робочі дані.У такому випадку розробник міг би розробити код на зразках даних, тоді як обліковий запис привілейованої служби міг би отримати доступ до робочих даних.Таким чином, ви можете зберегти весь робочий набір даних в окремому хмарному проекті, а потім використовувати обліковий запис служби, щоб надати доступ до даних із кожного проекту програмиGoogle Cloud організовано навколо проектів.Проекти можна згрупувати в папки, а папки можна згрупувати у вашій організації.Ролі встановлюються на рівні проекту, а права доступу додаються до цих ролей на рівнях сегментів Cloud Storage.Ця структура узгоджується зі структурою дозволів інших постачальників сховища об’єктівЩоб отримати найкращі методи структурування організації Google Cloud, перегляньте розділ Визначення ієрархії ресурсів для вашої посадкової зони Google Cloud## Крок 3: Оцінка ваших варіантів передачіЩоб оцінити ваші варіанти передачі даних, команда передачі має врахувати кілька факторів, зокрема такі:- Вартість- Час- Варіанти передачі офлайн і онлайн- Інструменти та технології передачі- БезпекаВартістьБільшість пов'язаних витрат із передачею даних включає наступне:– витрати на підключення до мережі– доступ до хмарного сховища безкоштовний.Однак, якщо ви розміщуєте свої дані в загальнодоступному хмарному провайдері, ви можете розраховувати на оплату вихідної плати та потенційні витрати на зберігання (наприклад, операції читання) для передачі ваших даних.Ця плата стягується за дані, які надходять від Google або іншого хмарного постачальника– якщо ваші дані розміщені в приватному центрі обробки даних, яким ви керуєте, ви також можете понести додаткові витрати за налаштування збільшити пропускну здатність до Google Cloud- Витрати на зберігання та експлуатацію Cloud Storage під час і після передачі даних- Вартість продукту (наприклад, Transfer Appliance)- Витрати на персонал для збирання вашої команди та отримання матеріально-технічної підтримкиЧасКілька речей в обчислювальній техніці підкреслюють апаратні обмеження мереж, як передача великих обсягів даних.В ідеалі ви можете передати 1 ГБ за вісім секунд через мережу 1 Гбіт/с.Якщо ви масштабуєте це до величезного набору даних (наприклад, 100 ТБ), час передачі становитиме 12 днів.Передача величезних наборів даних може перевірити межі вашої інфраструктури та потенційно спричинити проблеми для вашого бізнесуВи можете скористатися наступним калькулятором, щоб зрозуміти, скільки часу може зайняти передача, враховуючи розмір набору даних, який ви переміщуєте, і пропускну здатність, доступну для передачі.У розрахунки враховується певний відсоток часу керування.Крім того, включено ефективну пропускну здатність, тому отримані цифри є більш реалістичними, і ідеальні цифри не будуть отриманіМожливо, вам не захочеться передавати великі набори даних із вашої компанії мережі в години пік.Якщо передача перевантажить мережу, ніхто інший не зможе виконати необхідну або критично важливу роботу.З цієї причини команда трансферу повинна враховувати фактор часуПісля того, як дані буде передано в Cloud Storage, ви можете використовувати низку технологій для обробки нових файлів, щойно вони надходять, наприклад DataflowЗбільшення пропускної здатності мережіЯк збільшити мережу пропускна здатність залежить від способу підключення до Google CloudПід час передачі з хмари в хмару між Google Cloud та іншими хмарними провайдерами Google забезпечує з’єднання між хмарними центрами обробки даних постачальників, не вимагаючи від вас жодних налаштуваньЯкщо ви передаєте дані між своїм приватним центром обробки даних і Google Cloud, є три основні підходи:– публічне підключення до Інтернету за допомогою публічного API- Прямий піринг за допомогою загальнодоступного API- Хмарне з'єднання за допомогою приватного APIОцінюючи ці підходи, корисно враховувати ваші довгострокові потреби підключення.Ви можете зробити висновок, що придбання пропускної здатності виключно для цілей передачі є непомірно високим, але якщо взяти до уваги довгострокове використання Google Cloud і потреби мережі у вашій організації, інвестиції можуть бути виправданимиПідключення через загальнодоступне підключення до ІнтернетуКоли ви використовуєте загальнодоступне підключення до Інтернету, пропускна здатність мережі є менш передбачуваною, оскільки ви обмежені пропускною здатністю та маршрутизацією вашого постачальника послуг Інтернету (ISP).Інтернет-провайдер також може запропонувати обмежену угоду про рівень обслуговування (SLA) або не запропонувати її взагалі.Однак ці з’єднання пропонують відносно низьку вартість, і завдяки розширеним механізмам пірингу Google ваш провайдер може скерувати вас до глобальної мережі Google протягом кількох мережевих переходівМи рекомендуємо вам перевірити з адміністратором безпеки щодо того, чи політика вашої компанії забороняє переміщувати деякі набори даних через загальнодоступний Інтернет.Також перевірте, чи використовується публічне підключення до Інтернету для вашого робочого трафіку.Великомасштабна передача даних може негативно вплинути на виробничу мережуПідключення за допомогою прямого пірингу
Щоб отримати доступ до мережі Google із меншою кількістю мережевих стрибків, ніж із загальнодоступним підключенням до Інтернету, ви можете використовувати Direct Peering. Використовуючи Direct Peering, ви можете обмінюватися інтернет-трафіком між своєю мережею та крайовими точками присутності Google (PoPs), що означає, що ваші дані не використовують загальнодоступний Інтернет. Це також зменшує кількість стрибків між вашою мережею та мережею Google. Для взаємодії з мережею Google потрібно налаштувати зареєстрований номер автономної системи (AS), підключитися до Google за допомогою інтернет-обміну та забезпечити цілодобовий зв’язок із центром керування мережею

 Підключення за допомогою Cloud Interconnect
Cloud Interconnect пропонує пряме підключення до Google Cloud через Google або одного з постачальників послуг Cloud Interconnect. Ця служба запобігає потраплянню ваших даних у загальнодоступний Інтернет і може забезпечити стабільнішу пропускну здатність для передачі великих даних. Як правило, Cloud Interconnect надає SLA щодо доступності та продуктивності мережі. Щоб дізнатися більше, зверніться безпосередньо до постачальника послуг. Cloud Interconnect також підтримує приватну адресацію, RFC 1918, так що хмара фактично стає розширенням вашого приватного центру обробки даних без потреби у загальнодоступних IP-адресах або NAT.

 Передача онлайн проти офлайн
Важливо вирішити, чи використовувати для передачі даних процес офлайн чи онлайн. Тобто ви повинні вибрати між передачею через мережу, незалежно від того, чи це виділене з’єднання чи публічний Інтернет, або передачею за допомогою обладнання для зберігання даних

Щоб допомогти прийняти це рішення, ми пропонуємо калькулятор переказу, який допоможе вам оцінити різницю в часі та вартості між цими двома варіантами. На наступній діаграмі також показано деякі швидкості передачі для різних розмірів набору даних і пропускної здатності. У ці розрахунки включено певну кількість накладних витрат на управління

Як зазначалося раніше, вам може знадобитися подумати про те, чи витрати на досягнення менших затримок для передачі даних (наприклад, отримання пропускної здатності мережі) компенсуються вартістю цих інвестицій для вашої організації

 Опції, доступні в Google
Google пропонує кілька інструментів і технологій, які допоможуть вам виконати передачу даних

 Вибір варіантів передачі від Google
Вибір варіанту передачі залежить від вашого випадку використання, як показано в наведеній нижче таблиці

|
|Звідки ви переміщуєте дані |
|Сценарій |
|Пропоновані продукти
|Інший хмарний постачальник (наприклад, Amazon Web Services або Microsoft Azure) до Google CloudStorage Transfer Service|
|Хмарне сховище в хмарне сховище (два різні відра Storage Transfer Service|
|Ваш приватний центр обробки даних у Google Cloud||Достатня пропускна здатність, щоб вкластися у кінцевий термін виконання проекту
|
менше 1 ТБ даних
|
|
|Ваш приватний центр обробки даних у Google Cloud||Достатня пропускна здатність, щоб вкластися у кінцевий термін виконання проекту
|
більше 1 ТБ даних
|Storage Transfer Service for on-premises data|
|Ваш приватний центр обробки даних у Google Cloud||Недостатньо пропускної здатності, щоб вкластися в кінцевий термін проекту||Перенести пристрій|
gsutil для невеликих передач локальних даних
The
інструмент gsutil
є стандартним інструментом для малих і середніх переказів (менше
1 ТБ) через типову корпоративну мережу з приватного центру обробки даних
до Google Cloud. Рекомендуємо включити
gsutil у вашому типовому шляху
коли ви використовуєте
Cloud Shell

Він також доступний за замовчуванням під час інсталяції
Google Cloud CLI

Це надійний інструмент, який надає всі основні функції, необхідні для керування
ваш
Хмарне сховище
екземплярів, включаючи копіювання ваших даних до локальної файлової системи та з неї
Хмарне сховище. Він також може переміщувати та перейменовувати об’єкти та виконувати
поступова синхронізація в реальному часі, наприклад
rsync, у відро Cloud Storage

gsutil особливо корисний у таких ситуаціях:
- Ваші передачі мають виконуватися за потреби або під час сеансів командного рядка вашими користувачами

- Ви передаєте лише кілька файлів або дуже великі файли, або обидва

- Ви використовуєте вихідні дані програми (потокове передавання даних у Cloud Storage)

- Вам потрібно стежити за каталогом із помірною кількістю файлів і синхронізувати будь-які оновлення з дуже низькою затримкою

Основи початку роботи
gsutil це
створити відро Cloud Storage
і
копіювати дані
до того відра. Для передачі більших наборів даних потрібно дві речі
розглянути:
Для багатопотокових передач використовуйте
гсутіл -м

Кілька файлів обробляються паралельно, що збільшує швидкість передачі

Для одного великого файлу використовуйте композитні передачі

Цей метод розбиває великі файли на менші частини, щоб збільшити швидкість передачі. Фрагменти передаються та перевіряються паралельно, надсилаючи всі дані в Google. Щойно фрагменти надходять до Google, вони об’єднуються (іменовані як
складання) для утворення єдиного об’єкта

Композитні передачі за допомогою gsutil мають певні недоліки, зокрема те, що кожна частина (а не весь об’єкт) окремо підсумовується контрольною сумою, а композиція класів холодного зберігання призводить до штрафів за раннє видалення

 Storage Transfer Service для великих передач локальних даних
Подобається
gsutil,
Служба передачі сховища для локальних даних
дозволяє передавати дані зі сховища мережевої файлової системи (NFS).
Хмарне сховище. Хоча
gsutil може підтримувати невеликі розміри передачі (до
до 1 ТБ), Служба передачі сховища для локальних даних призначена для
масштабні передачі (до петабайт даних, мільярди файлів). Це підтримує
повні копії або додаткові копії, і він працює з усіма переліченими параметрами передачі
раніше в
Вибір варіантів передачі від Google. Це
також має простий керований графічний інтерфейс користувача; навіть технічно не підкований
користувачі (після налаштування) можуть використовувати його для переміщення даних

Служба передавання сховища для локальних даних особливо корисна в таких ситуаціях:
- Ви маєте достатню доступну пропускну здатність для переміщення обсягів даних (див. Google Cloud Data Transfer Calculator)- Ви підтримуєте велику базу внутрішніх користувачів, які можуть знайти командний рядоктакий інструмент, якgsutilскладно використовувати- Вам потрібен надійний звіт про помилки та запис усіх файлів і об'єктів, які переміщуються- Вам потрібно обмежити вплив передачі даних на інші робочі навантаження у вашому центрі обробки даних (цей продукт може залишатися під обмеженням пропускної здатності, визначеним користувачем)- Ви хочете запускати повторювані передачі за розкладомВи налаштовуєте Storage Transfer Service для локальних даних, інсталюючи налокальне програмне забезпечення [відоме як *агенти*] на комп’ютерах у вашому центрі обробки даних.Ціагенти знаходяться в контейнерах Docker, що полегшує запуск багатьох із них абокерування ними через KubernetesПісля завершення налаштування , користувачі можуть ініціювати передачі в консолі Google Cloud,надаючи вихідний каталог, цільовий сегмент і час або розкладStorage Transfer Service рекурсивно сканує підкаталоги та файли ввихідний каталог і створює об’єкти з відповідним іменем уCloud Storage [об’єкт /dir/foo/file.txt стає об’єктом у цільовому сегменті з назвою /dir/foo/file.txt].Storage Transfer Serviceавтоматично повторює спробу передачі, коли виникає будь-яка тимчасова помилкаПід час передачі ви можете контролювати, скільки файлів переміщено тазагальна швидкість передачі, і ви можете переглянути зразки помилокКоли передача завершується, файл із роздільниками табуляцією (TSV) генерується з повним записом усіх файлів, до яких торкнулося і будь-які отримані повідомлення про помилки.Агенти є відмовостійкими, тому, якщо агент вимикається, передача продовжується для інших агентів.Агенти також самостійно оновлюються та самовідновлюються, тому вам не доведеться турбуватися про виправлення останніх версій або перезапуск процесу, якщо він не працює через непередбачену проблемуРечі, які слід враховувати при використанні Storage Transfer Service:Використовуйте ідентичне налаштування агента на кожному комп’ютері. Усі агенти мають бачити ту саму мережеву файлову систему (NFS) монтування однаковим чином (ті самі відносні шляхи).Це налаштування є обов’язковим для роботи продукту.Більше агентів призводить до більшої швидкості. Оскільки передачі автоматично паралелізуються між усіма агентами, ми рекомендуємо вам розгорнути багато агентів, щоб використовувати доступну пропускну здатність.Обмеження пропускної здатності може захистити ваші робочі навантаження. Інші ваші робочі навантаження можуть використовувати пропускну здатність вашого центру обробки даних, тому встановіть обмеження пропускної здатності, щоб передачі не впливали на ваші SLA.Заплануйте час для перегляду помилок. Великі перекази часто можуть призвести до помилок, які потребують перегляду.Storage Transfer Service дає змогу переглядати зразок помилок, які виникли безпосередньо на консолі Google Cloud.За потреби ви можете завантажити повний запис усіх помилок передавання в BigQuery, щоб перевірити файли чи оцінити помилки, які залишилися навіть після повторних спроб.Ці помилки можуть бути спричинені запущеними програмами, які записували в джерело під час передавання, або помилки можуть виявити проблему, яка потребує усунення (наприклад, помилка дозволів).Налаштуйте хмарний моніторинг для тривалих передач. Служба передавання сховища дозволяє моніторингу відстежувати стан і пропускну здатність агентів, тож ви можете налаштувати сповіщення, які сповіщатимуть вас, коли агенти не працюють або потребують уваги.Реагування на збої агента є важливим для передачі, яка триває кілька днів або тижнів, щоб уникнути значних уповільнень або перерв, які можуть затримати графік виконання проектуTransfer Appliance для великих переказівДля великомасштабних передач (особливо передач з обмеженою пропускною здатністю мережі) Transfer Appliance є чудовим вибором, особливо коли швидкісне мережеве з’єднання недоступне, а отримати більшу пропускну здатність занадто дорогоTransfer Appliance особливо корисний у таких сценаріях:- ваш центр обробки даних знаходиться у віддаленому місці з обмеженим або відсутнім доступом до смуги пропускання- Пропускна здатність доступна, але її неможливо отримати вчасно, щоб вкластися в кінцевий термін- Ви маєте доступ до матеріально-технічних ресурсів для отримання та підключення пристроїв до вашої мережіЗ цією опцією враховуйте наступне:- Transfer Appliance вимагає, щоб ви могли отримати та відправити назад апаратне забезпечення, яке належить Google- Залежно від підключення до Інтернету, затримка передавання даних у Google Cloud зазвичай вища з Transfer Appliance, ніж онлайн- Transfer Appliance доступний лише в певних країнахДва основні критерії, які слід враховувати з Transfer Appliance — це вартість і швидкість.При прийнятному підключенні до мережі (наприклад, 1 Гбіт/с) передача 100 ТБ даних онлайн займає більше 10 днів.Якщо цей тариф прийнятний, онлайн-переказ, ймовірно, буде хорошим рішенням для ваших потреб.Якщо у вас є лише з’єднання зі швидкістю 100 Мбіт/с (або ще гірше з віддаленого місця), те саме передавання займає понад 100 днів.На цьому етапі варто розглянути варіант офлайн-перенесення, наприклад Transfer ApplianceПридбання Transfer Appliance є простим.У консолі Google Cloud ви надсилаєте запит на пристрій для передачі даних, вказуєте, скільки даних у вас є, а потім Google надсилає один або кілька пристроїв у вказане вами місце.Вам дається кілька днів, щоб передати свої дані в пристрій («збір даних») і відправити їх назад до GoogleОчікуваний час виконання для мережевого пристрою на відправлення, завантаження ваших даних, відправлення назад і відновлення в Google Cloud становить 20 днів.Якщо ваш часовий проміжок онлайн-передачі значно перевищує цей проміжок часу, розгляньте Transfer Appliance.Загальна вартість процесу пристрою на 300 ТБ становить менше 2500 доларів СШАStorage Transfer Service для передачі з хмари в хмаруStorage Transfer Service – це повністю керована , високомасштабований сервіс для автоматизації передачі від інших користувачів до хмарного сховища.Він підтримує передачу в хмарне сховище з Amazon S3 і HTTPДля Amazon S3 ви можете надати ключ доступу та відро S3 з додатковимифільтрами для S3 об’єкти для вибору, а потім ви копіюєте об’єкти S3 до будь-якого
Відро хмарного сховища. Сервіс також підтримує щоденні копії будь-яких
змінені об'єкти. Служба наразі не підтримує передачу даних
*до*
Amazon S3

Для HTTP ви можете надати Storage Transfer Service список загальнодоступних URL-адрес
заданий формат

Цей підхід вимагає, щоб ви написали сценарій, що вказує розмір кожного
файл у байтах, а також хеш вмісту файлу в кодуванні Base64 MD5

Іноді розмір файлу та хеш доступні на веб-сайті джерела. Якщо
ні, вам потрібен локальний доступ до файлів, у такому випадку це може бути простіше
використовувати
gsutil, як описано раніше

Якщо у вас є передача, Storage Transfer Service — це чудовий спосіб отримати та зберегти дані, особливо під час перенесення з іншої публічної хмари

 Безпека
Для багатьох користувачів Google Cloud безпека є основною метою, і існують різні рівні безпеки. Кілька аспектів безпеки, які слід враховувати, включають захист даних у стані спокою (авторизація та доступ до системи зберігання джерела та призначення), захист даних під час передачі та захист доступу до продукту передачі. У наведеній нижче таблиці описано ці аспекти безпеки за продуктами

|
|Продукція |
|Дані в стані спокою |
|Дані в дорозі |
|Доступ до продукту передачі
|Transfer Appliance||Усі дані зашифровані в стані споживання.Дані захищені ключами, якими керує клієнт. Будь-хто може замовити пристрій, але для його використання потрібен доступ до джерела даних.|
|
||Ключі доступу, необхідні для доступу до Хмарного сховища, яке зашифровано в стані спокою. Дані надсилаються через HTTPS і шифруються під час передачі. Кожен може завантажувати та запускати
|
|Storage Transfer Service for on-premises data||Ключі доступу, необхідні для доступу до хмарного сховища, яке зашифровано в стані спокою. Процес агента може отримувати доступ до локальних файлів, оскільки дозволяють дозволи ОС. Дані надсилаються через HTTPS і шифруються під час передавання. Щоб отримати доступ до сегментів Cloud Storage, ви повинні мати дозволи редактора об’єктів.|
|Storage Transfer Service||Ключі доступу, необхідні для ресурсів, які не належать Google Cloud (наприклад, Amazon S3). Ключі доступу потрібні для доступу до хмарного сховища, яке зашифровано в стані спокою. Дані надсилаються через HTTPS і шифруються під час передавання. Щоб отримати доступ до джерела та дозволів редактора об’єктів для будь-яких сегментів хмарного сховища, ви повинні мати дозволи IAM для облікового запису служби.|
Щоб підвищити базову безпеку, онлайн-трансфери до
Використання Google Cloud
gsutil
виконуються через HTTPS, дані шифруються під час передачі, а всі дані в
Хмарне сховище за замовчуванням зашифровано в стані спокою. Для отримання інформації про
більш складні схеми безпеки, див
Безпека та конфіденційність

Якщо ви використовуєте
Переносний пристрій,
ключі безпеки, якими ви керуєте, можуть допомогти захистити ваші дані. Загалом, ми
рекомендуємо вам залучити вашу команду безпеки, щоб переконатися, що ваш план передачі
відповідає вимогам вашої компанії та нормативним вимогам

 Продукти передачі сторонніх виробників
Для розширеної оптимізації на рівні мережі або поточних робочих процесів передачі даних ви можете використовувати більш розширені інструменти. Щоб отримати інформацію про розширені інструменти, відвідайте сайт партнерів Google

Наступні посилання висвітлюють деякі з багатьох варіантів (наведених тут в алфавітному порядку):
- Aspera On Cloud базується на запатентованому протоколі Aspera та підходить для великомасштабних робочих процесів. Він доступний за запитом як ліцензійна модель передплати

- Cloud FastPath від Tervela можна використовувати для створення керованого потоку даних у Google Cloud і з нього. Докладніше див. у розділі Використання Cloud FastPath для створення потоків даних

- Signiant пропонує Media Shuttle як програмне забезпечення як послуга (SaaS) рішення для передачі будь-якого файлу в будь-яке місце або з будь-якого місця. Signiant також пропонує Flight як утиліту для автоматичного масштабування на основі високооптимізованого протоколу та Signiant Flight Deck як інструмент автоматизації для великомасштабних переказів через географічно рознесені місця.

## Крок 4: Підготовка до передачі
Для великого переказу або переказу зі значними залежностями важливо розуміти, як працювати з вашим продуктом переказу. Клієнти зазвичай проходять такі кроки:
Ціноутворення та оцінка рентабельності інвестицій. Цей крок надає багато варіантів, які допоможуть прийняти рішення. Функціональне тестування. На цьому кроці ви підтверджуєте, що продукт можна успішно налаштувати та мережеве підключення (де це можливо) працює. Ви також перевіряєте, чи можете ви перемістити репрезентативну вибірку своїх даних (включаючи супутні кроки без передачі, наприклад переміщення екземпляра віртуальної машини) до місця призначення

Зазвичай ви можете зробити цей крок перед розподілом усіх ресурсів, таких як машини передачі або пропускна здатність. Цілі цього кроку включають наступне:
- Підтвердьте, що ви можете встановити та керувати передачею

- Виявляйте потенційні проблеми, що призводять до зупинки проекту, які блокують переміщення даних (наприклад, мережеві маршрути) або ваші операції (наприклад, необхідне навчання на етапі без передачі)

Тестування продуктивності. На цьому кроці ви запускаєте передачу великої вибірки своїх даних (зазвичай 3âÃÂÃÂ5%) після розподілу виробничих ресурсів для виконання наступних дій:
- Підтвердьте, що ви можете споживати всі виділені ресурси та досягати очікуваної швидкості

- Виявлення та усунення вузьких місць (наприклад, повільна система зберігання джерел)

## Крок 5: Забезпечення цілісності вашого переказу
Щоб забезпечити цілісність ваших даних під час передачі, ми рекомендуємо вжити таких заходів безпеки:
- Увімкніть керування версіями та резервне копіювання на місці призначення, щоб зменшити шкоду від випадкового видалення

- Перевірте свої дані перед видаленням вихідних даних

Для великомасштабних передач даних (з петабайтами даних і мільярдами файлів) базова частота прихованих помилок базової системи зберігання джерела лише 0,0001% все одно призводить до втрати тисяч файлів і гігабайт даних. Як правило, програми, які працюють у джерелі, уже стійкі до цих помилок, і в цьому випадку додаткова перевірка не потрібна. У деяких виняткових ситуаціях (наприклад, довготривалий архів) необхідна додаткова перевірка, перш ніж вважатиметься безпечним видалення даних із джерела

Залежно від вимог вашої програми ми рекомендуємо вам запустити деякі тести цілісності даних після завершення передачі, щоб переконатися, що програма продовжує працювати належним чином. Багато продуктів передачі мають вбудовану перевірку цілісності даних. Однак, залежно від вашого профілю ризику, ви можете виконати додаткову перевірку даних і програм, які зчитують ці дані, перш ніж видаляти дані з джерела. Наприклад, ви можете підтвердити, чи контрольна сума, яку ви записали й обчислили незалежно, відповідає даним, записаним у пункті призначення, або підтвердити, що набір даних, який використовується програмою, успішно передано

## Пошук допомоги
Google Cloud пропонує різні варіанти та ресурси, щоб ви могли знайти необхідну допомогу та підтримку для найкращого використання служб Google Cloud:
Ресурси самообслуговування. Якщо вам не потрібна спеціальна підтримка, у вас є різні варіанти, якими ви можете скористатися у своєму власному темпі. Технологічні партнери. Google Cloud співпрацює з кількома компаніями, щоб допомогти вам користуватися нашими продуктами та послугами. Професійні послуги Google Cloud. Наші професійні послуги допоможуть вам отримати максимальну віддачу від інвестицій у Google Cloud

У Google Cloud Migration Center є більше ресурсів, які допоможуть перенести робочі навантаження в Google Cloud

Щоб отримати додаткові відомості про ці ресурси, перегляньте розділ довідки щодо пошуку в Міграції до Google Cloud: початок роботи

## Що далі
- Якщо у вас виникли запитання щодо розробки плану передачі чи щодо конкретного випадку використання, ви можете зв’язатися зі службою підтримки Google Cloud або безпосередньо з командою свого облікового запису Google

- Щоб розпочати передачу, ми надаємо такі посібники:
- Для загальних стратегій міграції даних: міграція монолітної програми до мікросервісів на Google Kubernetes Engine
- Для офлайн-передачі: Transfer Appliance
- Для онлайн-передачі з публічної хмари: Storage Transfer Service
- Досліджуйте еталонні архітектури, діаграми, навчальні посібники та передові практики щодо Google Cloud. Подивіться на наш Cloud Architecture Center.