Migracja do Google Cloud: przenoszenie dużych zbiorów danych

Dla wielu klientów pierwszym krokiem do przyjęcia produktu Google Cloud jest przeniesienie ich danych do Google Cloud. Ten dokument omawia ten proces, od planowania transferu danych po stosowanie najlepszych praktyk w zakresie wdrażania planu

Przesyłanie dużych zestawów danych obejmuje budowanie odpowiedniego zespołu, wczesne planowanie i testowanie planu transferu przed wdrożeniem go w środowisku produkcyjnym. Chociaż te kroki mogą zająć tyle samo czasu, co samo przeniesienie, takie przygotowania mogą pomóc zminimalizować zakłócenia w działalności Twojej firmy podczas przenoszenia

Ten dokument jest częścią wieloczęściowej serii poświęconej migracji do Google Cloud. Jeśli interesuje Cię omówienie tej serii, zobacz Migracja do Google Cloud: Wybór ścieżki migracji

Ten artykuł jest częścią serii:
- Migracja do Google Cloud: wprowadzenie
- Migracja do Google Cloud: ocena i wykrywanie obciążeń
- Migracja do Google Cloud: budowanie podstaw
- Migracja do Google Cloud: przenoszenie dużych zbiorów danych (ten dokument)
- Migracja do Google Cloud: wdrażanie obciążeń
- Migracja do Google Cloud: migracja z ręcznych wdrożeń do zautomatyzowanych, kontenerowych wdrożeń
- Migracja do Google Cloud: optymalizacja środowiska
– Migracja do Google Cloud: sprawdzone metody sprawdzania poprawności planu migracji
Poniższy diagram ilustruje ścieżkę migracji

Faza wdrażania to trzecia faza migracji do Google Cloud, w której projektujesz proces wdrażania swoich zadań

Ten dokument jest przydatny, jeśli planujesz migrację ze środowiska lokalnego, z prywatnego środowiska hostingowego, od innego dostawcy usług w chmurze do Google Cloud lub jeśli oceniasz możliwość migracji i chcesz dowiedzieć się, jak może ona wyglądać tak jak

## Co to jest transfer danych?
Na potrzeby niniejszego dokumentu transfer danych to proces przenoszenia danych bez ich przekształcania, na przykład przenoszenie plików w postaci obiektów

 Przesyłanie danych nie jest tak proste, jak się wydaje
Kuszące jest myślenie o przesyłaniu danych jako o jednej gigantycznej sesji FTP, podczas której umieszczasz swoje pliki po jednej stronie i czekasz, aż wyjdą po drugiej stronie. Jednak w większości środowisk korporacyjnych proces przenoszenia obejmuje wiele czynników, takich jak:
- Opracowanie planu transferu, który uwzględnia czas administracyjny, w tym czas na podjęcie decyzji o opcji transferu, uzyskanie zatwierdzeń i zajęcie się nieprzewidzianymi problemami


- Koordynowanie osób w Twojej organizacji, takich jak zespół wykonujący transfer, personel zatwierdzający narzędzia i architekturę oraz interesariusze biznesowi, którzy są zaniepokojeni wartością i zakłóceniami, jakie może przynieść przenoszenie danych

- Wybór odpowiedniego narzędzia transferu w oparciu o zasoby, koszt, czas i inne względy projektu

- Pokonywanie wyzwań związanych z transferem danych, w tym problemów związanych z „prędkością światła” (niewystarczająca przepustowość), przenoszeniem aktywnych zestawów danych, ochroną i monitorowaniem danych w locie oraz zapewnieniem pomyślnego przesyłania danych

Ten dokument ma na celu pomóc Ci rozpocząć udaną inicjatywę transferu

 Inne projekty związane z transferem danych
Poniższa lista zawiera zasoby dotyczące innych typów projektów przesyłania danych, które nie zostały omówione w tym dokumencie:
– Jeśli musisz przekształcić swoje dane (np. połączyć wiersze, połączyć zbiory danych lub odfiltrować informacje umożliwiające identyfikację), rozważ rozwiązanie do wyodrębniania, przekształcania i ładowania (ETL), które umożliwia umieszczanie danych w magazynie danych Google Cloud. Aby zapoznać się z przykładem tej architektury, zobacz ten samouczek Dataflow

- Jeśli musisz przeprowadzić migrację bazy danych i powiązanych aplikacji (na przykład w celu podniesienia i przeniesienia aplikacji bazy danych), możesz zajrzeć do dokumentacji Cloud Spanner, rozwiązań dla PostgreSQL i innej dokumentacji dotyczącej Twojego typu bazy danych

- Jeśli chcesz przeprowadzić migrację danych z HBase do w pełni zarządzanej usługi bazy danych NoSQL, która jest zgodna z interfejsem API HBase i może obsłużyć większe obciążenia, spójrz na Cloud Bigtable

- Jeśli musisz przenieść instancję maszyny wirtualnej (VM), rozważ skorzystanie z produktu Google do migracji maszyn wirtualnych, Migrate to Virtual Machines

## Krok 1: Zbieranie zespołu
Planowanie przeniesienia zazwyczaj wymaga personelu o następujących rolach i obowiązkach:
Udostępnianie zasobów potrzebnych do przeniesienia:Administratorzy pamięci masowej, IT i sieci, główny sponsor i inni doradcy (na przykład zespół konta Google lub partnerzy ds. integracji) Zatwierdzanie decyzji o przeniesieniu:Właściciele danych lub zarządcy (w przypadku wewnętrznych zasad określających, kto jest jakie dane mogą przekazywać), radcy prawni (w zakresie przepisów dotyczących danych) oraz administrator bezpieczeństwa (w zakresie wewnętrznych zasad ochrony dostępu do danych) Realizacja transferu: Lider zespołu, kierownik projektu (w celu wykonania i śledzenia projektu ), zespół inżynierów oraz odbiór i wysyłkę na miejscu (w celu odbioru sprzętu)
Bardzo ważne jest, aby określić, kto jest właścicielem poprzednich obowiązków związanych z projektem przeniesienia i uwzględnić je w odpowiednich spotkaniach dotyczących planowania i podejmowania decyzji. Słabe planowanie organizacyjne jest często przyczyną nieudanych inicjatyw transferowych
Zebranie wymagań projektowych i informacji zwrotnych od tych interesariuszy może być trudne, ale sporządzenie planu i ustalenie jasnych ról i obowiązków się opłaca. Nie można oczekiwać, że będziesz znać wszystkie szczegóły swoich danych. Stworzenie zespołu daje lepszy wgląd w potrzeby firmy. Najlepszą praktyką jest identyfikowanie potencjalnych problemów przed zainwestowaniem czasu, pieniędzy i zasobów w celu dokończenia przeniesienia

## Krok 2: Zbieranie wymagań i dostępnych zasobów
Podczas opracowywania planu transferu zalecamy najpierw zebranie wymagań dotyczących transferu danych, a następnie wybranie opcji transferu. Aby zebrać wymagania, możesz użyć następującego procesu:
- Określ, jakie zestawy danych chcesz przenieść

- Wybierz narzędzia, takie jak Data Catalog, aby organizować dane w logiczne grupy, które są przenoszone i używane razem

- Współpracuj z zespołami w swojej organizacji, aby zweryfikować lub zaktualizować te grupowania

- Zidentyfikuj, jakie zestawy danych Cię interesują
moge ruszyć

- Zastanów się, czy przepisy, bezpieczeństwo lub inne czynniki uniemożliwiają przenoszenie niektórych zestawów danych

- Jeśli musisz przekształcić niektóre dane przed ich przeniesieniem (na przykład usunąć poufne dane lub zreorganizować dane), rozważ użycie produktu do integracji danych, takiego jak Dataflow lub Cloud Data Fusion, lub produktu do orkiestracji przepływu pracy, takiego jak Cloud Composer

- W przypadku zestawów danych, które można przenosić, określ miejsce przeniesienia każdego zestawu danych

- Zapisz, którą opcję przechowywania wybrałeś do przechowywania danych. Zazwyczaj docelowym systemem przechowywania w Google Cloud jest Cloud Storage. Nawet jeśli potrzebujesz bardziej złożonych rozwiązań po uruchomieniu aplikacji, Cloud Storage to skalowalna i trwała opcja przechowywania

— Dowiedz się, jakie zasady dostępu do danych należy zachować po migracji

- Określ, czy musisz przechowywać te dane w określonych regionach

- Zaplanuj strukturę tych danych w miejscu docelowym. Na przykład, czy będzie taki sam jak źródło, czy inny?
- Ustal, czy musisz na bieżąco przenosić dane

- W przypadku zestawów danych, które można przenosić, określ, jakie zasoby są dostępne
aby je przenieść

- Czas: Kiedy transfer musi zostać zakończony?
- Koszt: Jaki jest dostępny budżet dla zespołu i koszty transferu?
- Ludzie: Kto jest dostępny do wykonania przelewu?
- Przepustowość (dla transferów online): jaka część obecnie dostępnej przepustowości dla Google Cloud może zostać przydzielona na transfer i na jaki okres czasu?
Zanim ocenisz i wybierzesz opcje transferu w następnej fazie planowania, zalecamy ocenę, czy jakakolwiek część Twojego modelu IT może zostać ulepszona, na przykład zarządzanie danymi, organizacja i bezpieczeństwo

 Twój model bezpieczeństwa
W ramach projektu przenoszenia danych wielu członków zespołu przenoszenia może otrzymać nowe role w Twojej organizacji Google Cloud.Planowanie transferu danych to doskonały czas na przejrzenie uprawnień zarządzania tożsamością i dostępem (IAM) oraz sprawdzonych metod bezpiecznego korzystania z IAM.Te problemy mogą mieć wpływ na sposób udzielania dostępu do pamięci.Możesz na przykład nałożyć ścisłe ograniczenia na dostęp do zapisu danych, które zostały zarchiwizowane ze względów prawnych, ale możesz zezwolić wielu użytkownikom i aplikacjom na zapisywanie danych w środowisku testowymTwoja organizacja Google CloudStruktura danych w Google Cloud zależy od tego, jak planujesz korzystać z Google Cloud.Przechowywanie danych w tym samym projekcie Cloud, w którym uruchamiasz swoją aplikację, jest prostym podejściem, ale może nie być optymalne z punktu widzenia zarządzania.Niektórzy programiści mogą nie mieć uprawnień do przeglądania danych produkcyjnych.W takim przypadku programista mógłby opracować kod na przykładowych danych, podczas gdy uprzywilejowane konto usługi mogłoby uzyskiwać dostęp do danych produkcyjnych.Dlatego możesz przechowywać cały zestaw danych produkcyjnych w osobnym projekcie w chmurze, a następnie użyć konta usługi, aby umożliwić dostęp do danych z każdego projektu aplikacjiGoogle Cloud jest zorganizowana wokół projektów.Projekty można pogrupować w foldery, a foldery można pogrupować w ramach swojej organizacji.Role są ustalane na poziomie projektu, a uprawnienia dostępu są dodawane do tych ról na poziomach zasobników Cloud Storage.Ta struktura jest zgodna ze strukturą uprawnień innych dostawców magazynu obiektówAby zapoznać się ze sprawdzonymi metodami tworzenia struktury organizacji Google Cloud, zobacz Wybieranie hierarchii zasobów dla strefy docelowej Google Cloud## Krok 3: Ocena opcji transferuAby ocenić opcje transferu danych, zespół ds. transferu musi wziąć pod uwagę kilka czynników, w tym następujące:- Koszt- Czas- Opcje transferu offline i online- Transfer narzędzi i technologii- BezpieczeństwoKosztWiększość kosztów związanych z przesyłaniem danych obejmują:- Koszty sieci- Dostęp do Cloud Storage jest bezpłatny.Jeśli jednak przechowujesz swoje dane u dostawcy chmury publicznej, możesz spodziewać się opłaty za ruch wychodzący i potencjalnie kosztów przechowywania (na przykład operacji odczytu) w celu przesłania danych.Ta opłata dotyczy danych pochodzących od Google lub innego dostawcy usług w chmurze- Jeśli Twoje dane są przechowywane w prywatnym centrum danych, które obsługujesz, możesz również ponieść dodatkowe koszty ustawienia zwiększyć przepustowość do Google Cloud- Koszty przechowywania i obsługi Cloud Storage podczas przesyłania danych i po nim- Koszty produktu (np. urządzenia do przesyłania danych)- Koszty personelu potrzebne do zebrania zespołu i uzyskania wsparcia logistycznegoCzasNiewiele rzeczy w informatyce podkreśla ograniczenia sprzętowe sieci, takie jak przesyłanie dużych ilości danych.W idealnej sytuacji można przesłać 1 GB w ciągu ośmiu sekund w sieci o przepustowości 1 Gb/s.Jeśli skalujesz to do ogromnego zestawu danych (na przykład 100 TB), czas transferu wynosi 12 dni.Przesyłanie ogromnych zbiorów danych może przetestować ograniczenia Twojej infrastruktury i potencjalnie spowodować problemy dla Twojej firmyMożesz użyć następującego kalkulatora, aby obliczyć, ile czasu może zająć transfer, biorąc pod uwagę rozmiar przenoszonego zestawu danych i przepustowość dostępną do transferu.W obliczeniach uwzględniono określony procent czasu zarządzania.Dodatkowo uwzględniono efektywną wydajność przepustowości, więc otrzymane liczby są bardziej realistyczne i nie można uzyskać idealnych liczbMożesz nie chcieć przenosić dużych zbiorów danych poza swoją firmę sieci w godzinach szczytu.Jeśli transfer przeciąży sieć, nikt inny nie będzie w stanie wykonać niezbędnej lub krytycznej pracy.Z tego powodu zespół transferowy musi wziąć pod uwagę czynnik czasuPo przesłaniu danych do Cloud Storage możesz użyć wielu technologii do przetwarzania nowych plików zaraz po ich otrzymaniu, takich jak Dataflow   Zwiększenie przepustowości sieci To, jak zwiększysz przepustowość sieci, zależy od tego, jak łączysz się z Google Cloud  W przypadku transferu z chmury do chmury między Google Cloud a innymi dostawcami usług w chmurze Google zapewnia połączenie między centrami danych dostawców usług w chmurze, nie wymagając od Ciebie żadnej konfiguracji  Jeśli przenosisz dane między prywatnym centrum danych a Google Cloud, istnieją trzy główne podejścia: - Publiczne połączenie internetowe przy użyciu publicznego interfejsu API - Direct Peering przy użyciu publicznego API - Cloud Interconnect przy użyciu prywatnego API Oceniając te podejścia, warto wziąć pod uwagę długoterminowe potrzeby w zakresie łączności. Możesz dojść do wniosku, że nabywanie przepustowości wyłącznie na potrzeby transferu jest nieopłacalne, ale biorąc pod uwagę długoterminowe korzystanie z Google Cloud i potrzeby sieci w całej organizacji, inwestycja może być opłacalna   Połączenie z publicznym łączem internetowym Gdy korzystasz z publicznego połączenia internetowego, przepustowość sieci jest mniej przewidywalna, ponieważ ogranicza Cię przepustowość i routing dostawcy usług internetowych (ISP). Dostawca usług internetowych może również oferować ograniczoną umowę o gwarantowanym poziomie usług (SLA) lub wcale. Połączenia te są jednak stosunkowo tanie, a dzięki rozbudowanym rozwiązaniom Google dotyczącym połączeń równorzędnych Twój dostawca usług internetowych może przekierować Cię do globalnej sieci Google w ciągu kilku przeskoków sieciowych  Zalecamy skontaktowanie się z administratorem bezpieczeństwa, aby dowiedzieć się, czy zasady Twojej firmy zabraniają przenoszenia niektórych zestawów danych przez publiczny Internet. Sprawdź również, czy w ruchu produkcyjnym jest używane publiczne połączenie internetowe. Transfery danych na dużą skalę mogą negatywnie wpłynąć na sieć produkcyjną   Łączenie z bezpośrednim peeringiem
Aby uzyskać dostęp do sieci Google z mniejszą liczbą przeskoków niż w przypadku publicznego połączenia internetowego, możesz użyć bezpośredniego połączenia równorzędnego. Korzystając z Direct Peering, możesz wymieniać ruch internetowy między swoją siecią a Edge Points of Presence (PoP) Google, co oznacza, że ​​Twoje dane nie korzystają z publicznego internetu. Zmniejsza to również liczbę przeskoków między Twoją siecią a siecią Google. Połączenie równorzędne z siecią Google wymaga skonfigurowania zarejestrowanego numeru systemu autonomicznego (AS), połączenia z Google za pomocą centrali internetowej i zapewnienia całodobowego kontaktu z centrum operacyjnym Twojej sieci

 Łączenie z Cloud Interconnect
Cloud Interconnect oferuje bezpośrednie połączenie z Google Cloud za pośrednictwem Google lub jednego z dostawców usług Cloud Interconnect. Ta usługa pomaga zapobiegać przesyłaniu danych do publicznego Internetu i może zapewnić bardziej spójną przepustowość w przypadku dużych transferów danych. Zazwyczaj Cloud Interconnect zapewnia umowy SLA dotyczące dostępności i wydajności sieci. Skontaktuj się bezpośrednio z usługodawcą, aby dowiedzieć się więcej. Cloud Interconnect obsługuje również adresowanie prywatne, RFC 1918, dzięki czemu chmura skutecznie staje się rozszerzeniem Twojego prywatnego centrum danych bez potrzeby stosowania publicznych adresów IP lub NAT

 Transfer online kontra offline
Decydującą decyzją jest to, czy do transferu danych użyć procesu offline czy online. Oznacza to, że musisz wybrać między przesyłaniem przez sieć, niezależnie od tego, czy jest to dedykowany interkonekt, czy publiczny Internet, a przesyłaniem przy użyciu sprzętu do przechowywania danych

Aby pomóc w podjęciu decyzji, udostępniamy kalkulator transferu, który pomoże Ci oszacować różnice w czasie i kosztach między tymi dwiema opcjami. Na poniższym wykresie przedstawiono również niektóre szybkości transferu dla różnych rozmiarów zestawów danych i przepustowości. W obliczeniach tych uwzględniona jest pewna ilość kosztów ogólnych związanych z zarządzaniem

Jak wspomniano wcześniej, może być konieczne rozważenie, czy koszt osiągnięcia niższych opóźnień w przesyłaniu danych (takich jak uzyskanie przepustowości sieci) jest zrównoważony przez wartość tej inwestycji dla Twojej organizacji

 Opcje dostępne w Google
Google oferuje kilka narzędzi i technologii ułatwiających przenoszenie danych

 Wybieranie spośród opcji transferu Google
Wybór opcji transferu zależy od przypadku użycia, jak pokazano w poniższej tabeli

|
|Skąd przenosisz dane |
|Scenariusz |
|Proponowane produkty
|Inny dostawca chmury (na przykład Amazon Web Services lub Microsoft Azure) do Google CloudStorage Transfer Service|
|Przechowywanie w chmurze do przechowywania w chmurze (dwa różne segmentyUsługa transferu pamięci|
|Twoje prywatne centrum danych do Google Cloud||Wystarczająca przepustowość, aby dotrzymać terminu realizacji projektu
|
za mniej niż 1 TB danych
|
|
|Twoje prywatne centrum danych do Google Cloud||Wystarczająca przepustowość, aby dotrzymać terminu realizacji projektu
|
więcej niż 1 TB danych
|Usługa transferu pamięci dla danych lokalnych|
|Twoje prywatne centrum danych w Google Cloud||Za mało przepustowości, aby dotrzymać terminu realizacji projektu||Przenieś urządzenie|
gsutil do mniejszych transferów danych lokalnych
The
narzędzie gsutil
jest standardowym narzędziem do małych i średnich przelewów (mniej niż
1 TB) przez typową sieć korporacyjną z prywatnego centrum danych
do Google Cloud. Zalecamy uwzględnienie
gsutil w domyślnej ścieżce
kiedy używasz
Chmurna skorupa

Jest również dostępny domyślnie podczas instalacji
Interfejs wiersza polecenia Google Cloud

To niezawodne narzędzie, które zapewnia wszystkie podstawowe funkcje potrzebne do zarządzania
Twój
Magazyn w chmurze
instancji, w tym kopiowanie danych do i z lokalnego systemu plików oraz
Magazyn w chmurze. Może także przenosić i zmieniać nazwy obiektów oraz wykonywać
przyrostowe synchronizacje w czasie rzeczywistym, np
rsync do zasobnika Cloud Storage

gsutil jest szczególnie przydatny w następujących scenariuszach:
- Twoje transfery muszą być wykonywane w razie potrzeby lub podczas sesji wiersza poleceń przez użytkowników

- Przesyłasz tylko kilka plików lub bardzo duże pliki, lub jedno i drugie

- Konsumujesz dane wyjściowe programu (przesyłanie danych wyjściowych do Cloud Storage)

- Musisz oglądać katalog z umiarkowaną liczbą plików i synchronizować wszelkie aktualizacje z bardzo małymi opóźnieniami

Podstawy, z którymi można zacząć
gsutil są do
utwórz zasobnik Cloud Storage
oraz
skopiuj dane
do tego wiadra. W przypadku przesyłania większych zestawów danych istnieją dwie rzeczy
rozważać:
W przypadku transferów wielowątkowych użyj
gsutil -m

Kilka plików jest przetwarzanych równolegle, co zwiększa prędkość transferu

W przypadku jednego dużego pliku użyj transferów złożonych

Ta metoda dzieli duże pliki na mniejsze części, aby zwiększyć szybkość przesyłania. Fragmenty są przesyłane i weryfikowane równolegle, wysyłając wszystkie dane do Google. Po dotarciu kawałków do Google są one łączone (tzw
komponowanie) w celu utworzenia pojedynczego obiektu

Transfery złożone za pomocą gsutil mają pewne wady, w tym to, że każda część (nie cały obiekt) jest indywidualnie sumowana kontrolnie, a złożenie klas chłodni skutkuje karami za wczesne usunięcie

 Storage Transfer Service dla dużych transferów danych lokalnych
Tak jak
gsutil,
Usługa transferu magazynu dla danych lokalnych
umożliwia transfery z sieciowego systemu plików (NFS) do pamięci masowej
Magazyn w chmurze. Mimo że
gsutil może obsługiwać małe rozmiary transferu (do
do 1 TB), przeznaczona jest usługa Storage Transfer Service dla danych lokalnych
transfery na dużą skalę (do petabajtów danych, miliardów plików). To wspiera
pełne kopie lub kopie przyrostowe i działa na wszystkich wymienionych opcjach transferu
wcześniej w
Wybieranie spośród opcji transferu Google. Ono
posiada również prosty, zarządzany graficzny interfejs użytkownika; nawet bez wiedzy technicznej
użytkownicy (po instalacji) mogą go używać do przenoszenia danych

Usługa transferu magazynu dla danych lokalnych jest szczególnie przydatna w następujących scenariuszach:
- Masz wystarczającą dostępną przepustowość, aby przenieść woluminy danych (zobacz kalkulator Google Cloud Data Transfer Calculator)- Obsługujesz dużą bazę użytkowników wewnętrznych, którzy mogą znaleźć wiersz poleceńnarzędzie takie jakgsutilchallenging- Potrzebujesz solidnego raportowania błędów oraz rejestru wszystkich przenoszonych plików i obiektów- Musisz ograniczyć wpływ transferów na inne obciążenia w centrum danych (ten produkt może pozostawać poniżej limitu przepustowości określonego przez użytkownika)- Chcesz uruchamiać cykliczne transfery zgodnie z harmonogramemKonfigurujesz usługę Storage Transfer Service dla danych lokalnych, instalującoprogramowanie lokalne [znane jako *agenty*] na komputerach w centrum danych.Tychagentów znajduje się w kontenerach Docker, co ułatwia uruchamianie wielu z nich luborganizowanie ich za pomocą KubernetesPo zakończeniu instalacji , użytkownicy mogą inicjować transfery w konsoli Google Cloud,podając katalog źródłowy, zasobnik docelowy oraz czas lub harmonogramUsługa transferu pamięci rekurencyjnie przeszukuje podkatalogi i pliki wkatalogu źródłowego i tworzy obiekty o odpowiedniej nazwie wCloud Storage [obiekt /dir/foo/file.txt staje się obiektem w zasobniku docelowym o nazwie /dir/foo/file.txt].Storage Transfer Serviceautomatycznie ponawia próby transferu, gdy napotka jakiekolwiek przejściowe błędyW trakcie przesyłania można monitorować liczbę przenoszonych plików iogólną prędkość transferu i możesz wyświetlić przykłady błędówPo zakończeniu przesyłania generowany jest plik rozdzielany znakami tabulacji (TSV) z pełnym zapisem wszystkich dotkniętych plików oraz wszelkie otrzymane komunikaty o błędach.Agenci są odporni na błędy, więc jeśli agent ulegnie awarii, transfer jest kontynuowany z pozostałymi agentami.Agenty również aktualizują się i samonaprawiają, więc nie musisz się martwić instalowaniem poprawek do najnowszych wersji lub ponownym uruchamianiem procesu, jeśli ulegnie on awarii z powodu nieoczekiwanego problemuKwestie, które należy wziąć pod uwagę podczas korzystania z usługi transferu pamięci masowej:Użyj identycznej konfiguracji agenta na każdym komputerze. Wszyscy agenci powinni widzieć te same montowania sieciowego systemu plików (NFS) w ten sam sposób (te same ścieżki względne).Ta konfiguracja jest wymagana do działania produktu.Więcej agentów oznacza większą prędkość. Ponieważ transfery są automatycznie równoległe we wszystkich agentach, zalecamy wdrożenie wielu agentów, aby wykorzystać dostępną przepustowość.Ograniczenia przepustowości mogą chronić Twoje obciążenia. Inne obciążenia mogą wykorzystywać przepustowość Twojego centrum danych, więc ustaw ograniczenie przepustowości, aby transfery nie wpływały na umowy SLA.Zaplanuj czas na sprawdzenie błędów.Duże przelewy mogą często powodować błędy wymagające sprawdzenia.Usługa transferu pamięci pozwala wyświetlić przykładowe napotkane błędy bezpośrednio w konsoli Google Cloud.W razie potrzeby możesz załadować pełny zapis wszystkich błędów przesyłania do BigQuery, aby sprawdzić pliki lub ocenić błędy, które pozostały nawet po ponownych próbach.Te błędy mogą być spowodowane uruchomionymi aplikacjami, które zapisywały dane w źródle podczas przesyłania, lub błędy mogą ujawnić problem wymagający rozwiązania (na przykład błąd uprawnień).Skonfiguruj Cloud Monitoring dla długotrwałych transferów.Storage Transfer Service pozwala monitorować stan i przepustowość agentów, dzięki czemu możesz ustawić alerty, które powiadamiają Cię, gdy agenci nie działają lub wymagają uwagi.Reagowanie na awarie agentów jest ważne w przypadku transferów, które trwają kilka dni lub tygodni, aby uniknąć znacznych spowolnień lub przerw, które mogą opóźnić harmonogram projektuTransfer Appliance dla większych transferówW przypadku transferów na dużą skalę (zwłaszcza transferów z ograniczoną przepustowością sieci), Transfer Appliance jest doskonałą opcją, zwłaszcza gdy szybkie połączenie sieciowe jest niedostępne, a uzyskanie większej przepustowości jest zbyt kosztowneTransfer Appliance jest szczególnie przydatny w następujących sytuacjach:— Twoje centrum danych znajduje się w odległej lokalizacji z ograniczonym dostępem do przepustowości lub bez niego- Przepustowość jest dostępna, ale nie można jej uzyskać na czas, aby dotrzymać terminu- Masz dostęp do zasobów logistycznych, aby odbierać i podłączać urządzenia do swojej sieciW przypadku tej opcji należy wziąć pod uwagę następujące kwestie:— Transfer Appliance wymaga odebrania i odesłania sprzętu należącego do Google— W zależności od połączenia internetowego opóźnienie przesyłania danych do Google Cloud jest zwykle większe w przypadku urządzenia Transfer Appliance niż w trybie online— urządzenie Transfer Appliance jest dostępne tylko w niektórych krajachDwa główne kryteria, które należy wziąć pod uwagę z Transfer Appliance to koszt i szybkość.Przy rozsądnej łączności sieciowej (na przykład 1 Gb/s) przesłanie 100 TB danych online trwa ponad 10 dni.Jeśli ta stawka jest akceptowalna, przelew online jest prawdopodobnie dobrym rozwiązaniem dla Twoich potrzeb.Jeśli masz tylko połączenie 100 Mb/s (lub gorzej ze zdalnej lokalizacji), ten sam transfer trwa ponad 100 dni.W tym momencie warto rozważyć opcję transferu offline, taką jak Transfer ApplianceUzyskanie Transfer Appliance jest proste.W konsoli Google Cloud żądasz urządzenia do przesyłania, wskazujesz, ile masz danych, a następnie Google wysyła co najmniej jedno urządzenie do żądanej lokalizacji.Masz kilka dni na przesłanie danych do urządzenia („przechwytywanie danych”) i przesłanie ich z powrotem do GoogleOczekiwany czas obsługi urządzenia sieciowego do wysłania, załadowania danych, odesłania i ponownego uwodnienia w Google Cloud wynosi 20 dni.Jeśli obliczono, że ramy czasowe transferu online są znacznie dłuższe niż te ramy czasowe, rozważ usługę Transfer Appliance.Całkowity koszt procesu urządzenia o pojemności 300 TB wynosi mniej niż 2500 USDStorage Transfer Service dla transferów z chmury do chmuryStorage Transfer Service to w pełni zarządzana usługa , wysoce skalowalna usługa do automatyzacji transferów z innych publicznych do Cloud Storage.Obsługuje transfery do Cloud Storage z Amazon S3 i HTTPW przypadku Amazon S3 możesz podać klucz dostępu i zasobnik S3 z opcjonalnymi filtramidla S3 obiekty do wybrania, a następnie kopiujesz obiekty S3 do dowolnego
Zasobnik Cloud Storage. Usługa obsługuje również codzienne kopie dowolnych
zmodyfikowane obiekty. Usługa obecnie nie obsługuje przesyłania danych
*do*
Amazon S3

W przypadku protokołu HTTP możesz udostępnić usłudze Storage Transfer Service listę publicznych adresów URL w
określony format

Takie podejście wymaga napisania skryptu zawierającego rozmiar każdego z nich
plik w bajtach, wraz z hashem MD5 zakodowanym w Base64 zawartości pliku

Czasami rozmiar pliku i wartość skrótu są dostępne w witrynie źródłowej. Jeśli
nie, potrzebujesz lokalnego dostępu do plików, w którym to przypadku może być łatwiej
posługiwać się
gsutil, jak opisano wcześniej

Jeśli masz transfer, Storage Transfer Service to świetny sposób na uzyskanie i przechowywanie danych, szczególnie podczas przesyłania z innej chmury publicznej

 Bezpieczeństwo
Dla wielu użytkowników Google Cloud bezpieczeństwo jest głównym celem i dostępne są różne poziomy zabezpieczeń. Kilka aspektów bezpieczeństwa, które należy wziąć pod uwagę, to ochrona danych w spoczynku (autoryzacja i dostęp do źródłowego i docelowego systemu przechowywania), ochrona danych podczas przesyłania oraz ochrona dostępu do produktu transferu. Poniższa tabela przedstawia te aspekty bezpieczeństwa według produktów

|
|Produkt |
|Dane w spoczynku |
|Dane w tranzycie |
|Dostęp do przeniesienia produktu
|Transfer Appliance||Wszystkie dane są szyfrowane w spoczynkuDane są chronione kluczami zarządzanymi przez klientaKażdy może zamówić urządzenie, ale aby z niego korzystać musi mieć dostęp do źródła danych.|
|
||Klucze dostępu wymagane do uzyskania dostępu do Cloud Storage, który jest szyfrowany w stanie spoczynkuDane są przesyłane przez HTTPS i szyfrowane podczas przesyłaniaKażdy może pobrać i uruchomić
|
|Storage Transfer Service dla danych lokalnych||Klucze dostępu wymagane do uzyskania dostępu do Cloud Storage, który jest szyfrowany w stanie spoczynku. Proces agenta może uzyskiwać dostęp do plików lokalnych, jeśli zezwalają na to uprawnienia systemu operacyjnego. Dane są przesyłane przez HTTPS i szyfrowane podczas przesyłania. Aby uzyskać dostęp do zasobników Cloud Storage, musisz mieć uprawnienia edytora obiektów.|
|Storage Transfer Service||Klucze dostępu wymagane do zasobów innych niż Google Cloud (na przykład Amazon S3). Klucze dostępu są wymagane, aby uzyskać dostęp do Cloud Storage, który jest szyfrowany podczas spoczynku. Dane są przesyłane przez HTTPS i szyfrowane podczas przesyłania. Musisz mieć uprawnienia IAM dla konta usługi, aby uzyskać dostęp do źródeł i uprawnień edytora obiektów dla dowolnych zasobników Cloud Storage.|
Aby osiągnąć podstawowe ulepszenia bezpieczeństwa, transfery online do
Korzystanie z Google Cloud
gsutil
są realizowane przez HTTPS, dane są szyfrowane podczas przesyłania, a wszystkie dane w
Cloud Storage jest domyślnie szyfrowany w stanie spoczynku. Aby uzyskać informacje nt
bardziej wyrafinowane schematy związane z bezpieczeństwem, zob
Względy bezpieczeństwa i prywatności

Jeśli użyjesz
urządzenie transferowe,
klucze bezpieczeństwa, które kontrolujesz, mogą pomóc chronić Twoje dane. Generalnie my
zalecamy zaangażowanie zespołu ds. bezpieczeństwa w celu zapewnienia realizacji planu transferu
spełnia wymagania Twojej firmy i przepisy

 Produkty przenoszone przez osoby trzecie
W przypadku zaawansowanej optymalizacji na poziomie sieci lub przepływów pracy związanych z ciągłym przesyłaniem danych możesz chcieć użyć bardziej zaawansowanych narzędzi. Aby uzyskać informacje o bardziej zaawansowanych narzędziach, odwiedź stronę partnerów Google

Poniższe łącza przedstawiają niektóre z wielu opcji (wymienionych tutaj w kolejności alfabetycznej):
- Aspera On Cloud jest oparta na opatentowanym protokole Aspera i nadaje się do przepływów pracy na dużą skalę. Jest dostępny na żądanie jako model licencji subskrypcyjnej

- Cloud FastPath firmy Tervela może służyć do budowania zarządzanego strumienia danych do iz Google Cloud. Aby uzyskać szczegółowe informacje, zobacz Korzystanie z usługi Cloud FastPath do tworzenia strumieni danych

- Signiant oferuje Media Shuttle jako rozwiązanie typu oprogramowanie jako usługa (SaaS) do przesyłania dowolnych plików do lub z dowolnego miejsca. Signiant oferuje również Flight jako narzędzie do automatycznego skalowania oparte na wysoce zoptymalizowanym protokole oraz Signiant Flight Deck jako narzędzie do automatyzacji transferów na dużą skalę w rozproszonych geograficznie lokalizacjach

## Krok 4: Przygotowanie do przeniesienia
W przypadku dużego przelewu lub przelewu z istotnymi zależnościami ważne jest, aby zrozumieć, jak obsługiwać produkt transferowy. Klienci zazwyczaj przechodzą przez następujące kroki:
Szacowanie cen i zwrotu z inwestycji. Ten krok zapewnia wiele opcji pomocnych w podejmowaniu decyzji. Testy funkcjonalne. W tym kroku potwierdzasz, że produkt można pomyślnie skonfigurować i że działa łączność sieciowa (jeśli dotyczy). Testujesz również, czy możesz przenieść reprezentatywną próbkę swoich danych (wraz z towarzyszącymi krokami niezwiązanymi z przeniesieniem, takimi jak przeniesienie instancji maszyny wirtualnej) do miejsca docelowego

Zwykle można wykonać ten krok przed przydzieleniem wszystkich zasobów, takich jak maszyny transferowe lub przepustowość. Cele tego kroku obejmują:
- Potwierdź, że możesz zainstalować i obsługiwać transfer

- Zidentyfikuj potencjalne problemy z zatrzymaniem projektu, które blokują przepływ danych (na przykład trasy sieciowe) lub twoje operacje (na przykład potrzebne szkolenie na etapie niezwiązanym z przesyłaniem)

Testowanie wydajności. W tym kroku przeprowadzasz transfer dużej próbki swoich danych (zwykle 3,5%) po przydzieleniu zasobów produkcyjnych w celu wykonania następujących czynności:
- Potwierdź, że możesz wykorzystać wszystkie przydzielone zasoby i osiągnąć oczekiwane prędkości

- Wykrywanie i naprawianie wąskich gardeł (na przykład powolny system pamięci masowej)

## Krok 5: Zapewnienie integralności Twojego przelewu
Aby zapewnić integralność danych podczas przesyłania, zalecamy podjęcie następujących środków ostrożności:
- Włącz wersjonowanie i tworzenie kopii zapasowych w miejscu docelowym, aby ograniczyć szkody spowodowane przypadkowym usunięciem

- Sprawdź poprawność swoich danych przed usunięciem danych źródłowych

W przypadku transferów danych na dużą skalę (obejmujących petabajty danych i miliardy plików) podstawowy wskaźnik błędów utajonych źródłowego systemu pamięci masowej wynoszący zaledwie 0,0001% nadal powoduje utratę danych w postaci tysięcy plików i gigabajtów. Zazwyczaj aplikacje działające w źródle są już odporne na te błędy, w takim przypadku dodatkowa weryfikacja nie jest konieczna. W niektórych wyjątkowych sytuacjach (na przykład archiwizacja długoterminowa) konieczna jest dalsza weryfikacja, zanim zostanie uznane za bezpieczne usunięcie danych ze źródła

W zależności od wymagań aplikacji zalecamy przeprowadzenie testów integralności danych po zakończeniu przesyłania, aby upewnić się, że aplikacja nadal działa zgodnie z przeznaczeniem. Wiele produktów do przesyłania ma wbudowane kontrole integralności danych. Jednak w zależności od profilu ryzyka możesz chcieć wykonać dodatkowy zestaw kontroli danych i aplikacji odczytujących te dane, zanim usuniesz dane ze źródła. Na przykład możesz chcieć potwierdzić, czy niezależnie zarejestrowana i obliczona suma kontrolna pasuje do danych zapisanych w miejscu docelowym, lub potwierdzić, że zestaw danych używany przez aplikację został pomyślnie przesłany

## Znajdowanie pomocy
Google Cloud oferuje różne opcje i zasoby umożliwiające znalezienie niezbędnej pomocy i wsparcia w celu najlepszego wykorzystania usług Google Cloud:
Zasoby samoobsługowe.Jeśli nie potrzebujesz dedykowanej pomocy technicznej, masz różne opcje, z których możesz korzystać we własnym tempie. Partnerzy technologiczni.Google Cloud współpracuje z wieloma firmami, aby pomóc Ci korzystać z naszych produktów i usług. Profesjonalne usługi Google Cloud. Nasze profesjonalne usługi pomogą Ci w pełni wykorzystać inwestycję w Google Cloud

W Google Cloud Migration Center dostępnych jest więcej zasobów ułatwiających migrację zadań do Google Cloud

Aby uzyskać więcej informacji o tych zasobach, zapoznaj się z sekcją pomocy dotyczącą wyszukiwania w artykule Migracja do Google Cloud: Pierwsze kroki

## Co dalej
- Jeśli masz pytania dotyczące opracowania planu przeniesienia lub konkretnego przypadku użycia, możesz skontaktować się z pomocą techniczną Google Cloud lub bezpośrednio z zespołem ds. konta Google

- Aby rozpocząć przelew, zapewniamy następujące przewodniki:
- Ogólne strategie migracji danych: migracja aplikacji monolitycznej do mikroserwisów w Google Kubernetes Engine
- W przypadku przelewu w trybie offline: urządzenie do przesyłania
- W przypadku transferu online z chmury publicznej: Storage Transfer Service
- Zapoznaj się z architekturami referencyjnymi, diagramami, samouczkami i sprawdzonymi metodami dotyczącymi Google Cloud. Zajrzyj do naszego Centrum architektury chmury.