Di chuyển sang Google Cloud: Chuyển bộ dữ liệu lớn của bạn

Đối với nhiều khách hàng, bước đầu tiên trong việc sử dụng sản phẩm Google Cloud là đưa dữ liệu của họ vào Google Cloud. Tài liệu này khám phá quy trình đó, từ lập kế hoạch chuyển dữ liệu đến sử dụng các phương pháp hay nhất để triển khai kế hoạch

Việc chuyển các tập dữ liệu lớn liên quan đến việc xây dựng nhóm phù hợp, lập kế hoạch sớm và thử nghiệm kế hoạch chuyển của bạn trước khi triển khai kế hoạch đó trong môi trường sản xuất. Mặc dù các bước này có thể mất nhiều thời gian như chính quá trình chuyển giao, nhưng những bước chuẩn bị như vậy có thể giúp giảm thiểu sự gián đoạn đối với hoạt động kinh doanh của bạn trong quá trình chuyển giao

Tài liệu này là một phần của loạt bài gồm nhiều phần về việc di chuyển sang Google Cloud. Nếu bạn quan tâm đến tổng quan về loạt bài này, hãy xem Di chuyển sang Google Cloud: Chọn đường dẫn di chuyển của bạn

Bài viết này là một phần của loạt bài:
- Di chuyển sang Google Cloud: Bắt đầu
- Di chuyển sang Google Cloud: Đánh giá và khám phá khối lượng công việc của bạn
- Di chuyển sang Google Cloud: Xây dựng nền tảng của bạn
- Di chuyển sang Google Cloud: Chuyển tập dữ liệu lớn của bạn (tài liệu này)
- Di chuyển sang Google Cloud: Triển khai khối lượng công việc của bạn
- Di chuyển sang Google Cloud: Di chuyển từ triển khai thủ công sang triển khai tự động, trong vùng chứa
- Di chuyển sang Google Cloud: Tối ưu hóa môi trường của bạn
- Di chuyển sang Google Cloud: Các phương pháp hay nhất để xác thực kế hoạch di chuyển
Sơ đồ sau minh họa lộ trình hành trình di chuyển của bạn

Giai đoạn triển khai là giai đoạn thứ ba trong quá trình di chuyển của bạn sang Google Cloud, nơi bạn thiết kế quy trình triển khai cho khối lượng công việc của mình

Tài liệu này hữu ích nếu bạn đang lập kế hoạch di chuyển từ môi trường tại chỗ, từ môi trường lưu trữ riêng tư, từ một nhà cung cấp dịch vụ đám mây khác sang Google Cloud hoặc nếu bạn đang đánh giá cơ hội di chuyển và muốn khám phá xem nó có thể trông như thế nào giống

## Truyền dữ liệu là gì?
Đối với mục đích của tài liệu này, truyền dữ liệu là quá trình di chuyển dữ liệu mà không chuyển đổi dữ liệu, ví dụ: di chuyển các tệp nguyên trạng thành các đối tượng

 Truyền dữ liệu không đơn giản như âm thanh
Thật hấp dẫn khi nghĩ về việc truyền dữ liệu như một phiên FTP khổng lồ, nơi bạn đặt các tệp của mình vào một bên và đợi chúng xuất hiện ở bên kia. Tuy nhiên, trong hầu hết các môi trường doanh nghiệp, quá trình chuyển giao bao gồm nhiều yếu tố như sau:
- Xây dựng kế hoạch chuyển giao chiếm thời gian hành chính, bao gồm thời gian để quyết định phương án chuyển giao, xin phê duyệt và xử lý các vấn đề không lường trước được
- Điều phối mọi người trong tổ chức của bạn, chẳng hạn như nhóm thực hiện chuyển giao, nhân sự phê duyệt các công cụ và kiến ​​trúc cũng như các bên liên quan trong kinh doanh, những người quan tâm đến giá trị và sự gián đoạn mà việc di chuyển dữ liệu có thể mang lại

- Chọn công cụ chuyển nhượng phù hợp dựa trên tài nguyên, chi phí, thời gian và các cân nhắc khác của dự án

- Vượt qua các thách thức về truyền dữ liệu, bao gồm các vấn đề về "tốc độ ánh sáng"(không đủ băng thông), di chuyển các bộ dữ liệu đang được sử dụng, bảo vệ và giám sát dữ liệu khi đang di chuyển và đảm bảo dữ liệu được truyền thành công

Tài liệu này nhằm mục đích giúp bạn bắt đầu một sáng kiến ​​chuyển giao thành công

 Các dự án khác liên quan đến truyền dữ liệu
Danh sách sau đây bao gồm các tài nguyên cho các loại dự án truyền dữ liệu khác không có trong tài liệu này:
- Nếu cần chuyển đổi dữ liệu của mình (chẳng hạn như kết hợp các hàng, tham gia bộ dữ liệu hoặc lọc thông tin nhận dạng cá nhân), bạn nên xem xét giải pháp trích xuất, chuyển đổi và tải (ETL) có thể gửi dữ liệu vào kho dữ liệu Google Cloud. Để biết ví dụ về kiến ​​trúc này, hãy xem hướng dẫn Dataflow này

- Nếu bạn cần di chuyển cơ sở dữ liệu và các ứng dụng liên quan (ví dụ: nâng và chuyển ứng dụng cơ sở dữ liệu), bạn có thể xem tài liệu về Cloud Spanner, giải pháp cho PostgreSQL và các tài liệu khác về loại cơ sở dữ liệu của bạn

- Nếu bạn muốn di chuyển dữ liệu của mình từ HBase sang dịch vụ cơ sở dữ liệu NoSQL được quản lý hoàn toàn, tương thích với API HBase và có thể xử lý khối lượng công việc lớn hơn, hãy xem Cloud Bigtable

- Nếu bạn cần di chuyển phiên bản máy ảo (VM), hãy cân nhắc sử dụng sản phẩm di chuyển VM của Google, Migrate to Virtual Machines

## Bước 1: Tập hợp nhóm của bạn
Lập kế hoạch chuyển giao thường yêu cầu nhân sự có các vai trò và trách nhiệm sau:
Kích hoạt các tài nguyên cần thiết để chuyển: Quản trị viên lưu trữ, CNTT và mạng, nhà tài trợ điều hành và các cố vấn khác (ví dụ: nhóm Tài khoản Google hoặc đối tác tích hợp) Phê duyệt quyết định chuyển: Chủ sở hữu hoặc người quản lý dữ liệu (đối với các chính sách nội bộ về việc ai là được phép chuyển dữ liệu nào), cố vấn pháp lý (đối với các quy định liên quan đến dữ liệu) và quản trị viên bảo mật (đối với các chính sách nội bộ về cách bảo vệ quyền truy cập dữ liệu) Thực hiện chuyển giao: Trưởng nhóm, người quản lý dự án (để thực hiện và theo dõi dự án ), một nhóm kỹ thuật, và nhận và vận chuyển tại chỗ (để nhận phần cứng của thiết bị)
Điều quan trọng là phải xác định ai là người chịu trách nhiệm trước đối với dự án chuyển nhượng của bạn và đưa họ vào các cuộc họp lập kế hoạch và quyết định khi thích hợp. Lập kế hoạch tổ chức kém thường là nguyên nhân của các sáng kiến ​​​​chuyển giao thất bại
Thu thập các yêu cầu của dự án và đầu vào từ các bên liên quan này có thể là một thách thức, nhưng việc lập kế hoạch và thiết lập vai trò và trách nhiệm rõ ràng sẽ được đền đáp. Bạn không thể mong đợi biết tất cả các chi tiết về dữ liệu của mình. Tập hợp một nhóm cung cấp cho bạn cái nhìn sâu sắc hơn về nhu cầu của doanh nghiệp. Đó là phương pháp hay nhất để xác định các vấn đề tiềm ẩn trước khi bạn đầu tư thời gian, tiền bạc và nguồn lực để hoàn tất việc chuyển tiền

## Bước 2: Thu thập yêu cầu và nguồn lực sẵn có
Khi bạn thiết kế kế hoạch chuyển, chúng tôi khuyên bạn trước tiên nên thu thập các yêu cầu đối với việc chuyển dữ liệu của mình rồi quyết định tùy chọn chuyển. Để thu thập các yêu cầu, bạn có thể sử dụng quy trình sau:
- Xác định những bộ dữ liệu bạn cần di chuyển

- Chọn các công cụ như Danh mục dữ liệu để sắp xếp dữ liệu của bạn thành các nhóm logic được di chuyển và sử dụng cùng nhau

- Làm việc với các nhóm trong tổ chức của bạn để xác thực hoặc cập nhật các nhóm này

- Xác định những bộ dữ liệu bạn
có thể di chuyển

- Xem xét liệu các yếu tố quy định, bảo mật hoặc các yếu tố khác có cấm chuyển một số bộ dữ liệu hay không

- Nếu bạn cần chuyển đổi một số dữ liệu trước khi di chuyển (ví dụ: để xóa dữ liệu nhạy cảm hoặc sắp xếp lại dữ liệu), hãy cân nhắc sử dụng sản phẩm tích hợp dữ liệu như Dataflow hoặc Cloud Data Fusion hoặc sản phẩm điều phối quy trình công việc như Cloud Composer

- Đối với các tập dữ liệu có thể di chuyển, xác định nơi chuyển từng tập dữ liệu

- Ghi lại tùy chọn lưu trữ nào bạn chọn để lưu trữ dữ liệu của mình. Thông thường, hệ thống lưu trữ mục tiêu trên Google Cloud là Cloud Storage. Ngay cả khi bạn cần các giải pháp phức tạp hơn sau khi ứng dụng của bạn được thiết lập và chạy, thì Cloud Storage vẫn là một tùy chọn lưu trữ lâu bền và có thể mở rộng

- Hiểu chính sách truy cập dữ liệu nào phải được duy trì sau khi di chuyển

- Xác định xem bạn có cần lưu trữ dữ liệu này ở các vùng cụ thể không

- Lập kế hoạch làm thế nào để cấu trúc dữ liệu này tại đích. Chẳng hạn, nó sẽ giống với nguồn hay khác?
- Xác định xem bạn có cần truyền dữ liệu liên tục không

- Đối với các bộ dữ liệu có thể di chuyển, hãy xác định những tài nguyên nào có sẵn
để di chuyển chúng

- Thời gian: Khi nào việc chuyển tiền cần hoàn thành?
- Chi phí: Ngân sách có sẵn cho nhóm và chi phí chuyển nhượng là bao nhiêu?
- Con người: Ai sẵn sàng thực hiện chuyển giao?
- Băng thông (đối với chuyển trực tuyến): Bao nhiêu băng thông hiện có của bạn cho Google Cloud có thể được phân bổ cho chuyển và trong khoảng thời gian nào?
Trước khi bạn đánh giá và chọn các tùy chọn chuyển giao trong giai đoạn lập kế hoạch tiếp theo, chúng tôi khuyên bạn nên đánh giá xem có thể cải thiện bất kỳ phần nào trong mô hình CNTT của mình hay không, chẳng hạn như quản trị dữ liệu, tổ chức và bảo mật

 Mô hình bảo mật của bạn
Nhiều thành viên của nhóm chuyển có thể được cấp các vai trò mới trong tổ chức Google Cloud của bạn như một phần của dự án chuyển dữ liệu của bạn.Lập kế hoạch truyền dữ liệu là thời điểm tuyệt vời để xem xét các quyền Quản lý danh tính và truy cập (IAM) của bạn cũng như các phương pháp hay nhất để sử dụng IAM một cách an toàn.Những sự cố này có thể ảnh hưởng đến cách bạn cấp quyền truy cập vào bộ nhớ của mình.Ví dụ: bạn có thể đặt giới hạn nghiêm ngặt đối với quyền ghi vào dữ liệu đã được lưu trữ vì lý do quy định, nhưng bạn có thể cho phép nhiều người dùng và ứng dụng ghi dữ liệu vào môi trường thử nghiệm của mìnhTổ chức Google Cloud của bạnCách bạn cấu trúc dữ liệu của mình trên Google Cloud tùy thuộc vào cách bạn định sử dụng Google Cloud.Lưu trữ dữ liệu của bạn trong cùng một dự án Đám mây nơi bạn chạy ứng dụng của mình là một cách tiếp cận đơn giản nhưng có thể không tối ưu từ góc độ quản lý.Một số nhà phát triển của bạn có thể không có đặc quyền xem dữ liệu sản xuất.Trong trường hợp đó, nhà phát triển có thể phát triển mã trên dữ liệu mẫu, trong khi tài khoản dịch vụ đặc quyền có thể truy cập dữ liệu sản xuất.Vì vậy, bạn có thể muốn giữ toàn bộ tập dữ liệu sản xuất của mình trong một dự án Đám mây riêng biệt, sau đó sử dụng tài khoản dịch vụ để cho phép truy cập vào dữ liệu từ từng dự án ứng dụngGoogle Cloud được tổ chức xung quanh các dự án.Các dự án có thể được nhóm thành các thư mục và các thư mục có thể được nhóm theo tổ chức của bạn.Vai trò được thiết lập ở cấp dự án và quyền truy cập được thêm vào các vai trò này ở cấp bộ chứa Cloud Storage.Cấu trúc này phù hợp với cấu trúc quyền của các nhà cung cấp cửa hàng đối tượng khácĐể biết các phương pháp hay nhất để cấu trúc tổ chức Google Cloud, hãy xem Quyết định phân cấp tài nguyên cho vùng đích Google Cloud của bạn## Bước 3: Đánh giá các tùy chọn chuyển dữ liệu của bạnĐể đánh giá các tùy chọn chuyển dữ liệu của bạn, nhóm chuyển cần xem xét một số yếu tố, bao gồm các yếu tố sau:- Chi phí- Thời gian- Tùy chọn chuyển giao ngoại tuyến so với trực tuyến- Công cụ và công nghệ chuyển giao- Bảo mậtChi phíHầu hết các chi phí liên quan với việc truyền dữ liệu bao gồm những điều sau:- Chi phí kết nối mạng- Miễn phí truy cập vào Cloud Storage.Tuy nhiên, nếu bạn đang lưu trữ dữ liệu của mình trên một nhà cung cấp đám mây công cộng, thì bạn có thể phải trả phí đầu ra và chi phí lưu trữ tiềm ẩn (ví dụ: thao tác đọc) để truyền dữ liệu của mình.Khoản phí này áp dụng cho dữ liệu đến từ Google hoặc nhà cung cấp dịch vụ đám mây khác- Nếu dữ liệu của bạn được lưu trữ trong một trung tâm dữ liệu riêng do bạn điều hành, bạn cũng có thể phải trả thêm chi phí cho việc cài đặt tăng thêm băng thông cho Google Cloud- Chi phí lưu trữ và vận hành cho Cloud Storage trong và sau khi chuyển dữ liệu- Chi phí sản phẩm (ví dụ: Công cụ chuyển)- Chi phí nhân sự để tập hợp nhóm của bạn và nhận hỗ trợ hậu cầnThời gianMột số điều trong máy tính làm nổi bật các hạn chế phần cứng của mạng khi truyền một lượng lớn dữ liệu.Lý tưởng nhất là bạn có thể chuyển 1 GB trong tám giây qua mạng 1 Gbps.Nếu bạn mở rộng quy mô đó lên một tập dữ liệu khổng lồ (ví dụ: 100 TB), thời gian chuyển là 12 ngày.Việc chuyển các bộ dữ liệu khổng lồ có thể kiểm tra các giới hạn của cơ sở hạ tầng và có khả năng gây ra sự cố cho doanh nghiệp của bạnBạn có thể sử dụng máy tính sau để biết thời gian chuyển có thể mất bao lâu, với điều kiện kích thước của tập dữ liệu bạn đang di chuyển và băng thông có sẵn để truyền.Một tỷ lệ phần trăm thời gian quản lý nhất định được đưa vào tính toán.Ngoài ra, còn bao gồm hiệu suất băng thông hiệu quả, do đó, các con số kết quả sẽ thực tế hơn và sẽ không đạt được các con số lý tưởngBạn có thể không muốn chuyển các bộ dữ liệu lớn ra khỏi công ty của mình mạng trong giờ làm việc cao điểm.Nếu quá trình truyền làm quá tải mạng, thì không ai khác có thể hoàn thành công việc cần thiết hoặc nhiệm vụ quan trọng.Vì lý do này, nhóm chuyển nhượng cần xem xét yếu tố thời gianSau khi dữ liệu được chuyển sang Lưu trữ đám mây, bạn có thể sử dụng một số công nghệ để xử lý các tệp mới khi chúng đến, chẳng hạn như DataflowTăng băng thông mạngCách bạn tăng băng thông mạng băng thông tùy thuộc vào cách bạn kết nối với Google CloudTrong quá trình chuyển từ đám mây sang đám mây giữa Google Cloud và các nhà cung cấp đám mây khác, Google cung cấp kết nối giữa các trung tâm dữ liệu của nhà cung cấp đám mây mà không yêu cầu bạn phải thiết lậpNếu bạn đang truyền dữ liệu giữa trung tâm dữ liệu riêng tư của mình và Google Cloud, có ba cách tiếp cận chính:- Kết nối internet công cộng bằng cách sử dụng API công cộng- Ngang hàng trực tiếp bằng cách sử dụng API công khai- Kết nối đám mây bằng cách sử dụng API riêng tưKhi đánh giá các phương pháp này, bạn nên xem xét nhu cầu kết nối lâu dài của mình.Bạn có thể kết luận rằng việc mua băng thông chỉ dành cho mục đích chuyển nhượng là quá đắt, nhưng khi tính đến việc sử dụng Google Cloud lâu dài và nhu cầu mạng trong toàn tổ chức của bạn, thì khoản đầu tư này có thể đáng giáKết nối với kết nối internet công cộngKhi bạn sử dụng kết nối internet công cộng, thông lượng mạng khó dự đoán hơn do bạn bị giới hạn bởi dung lượng và định tuyến của nhà cung cấp dịch vụ internet (ISP).ISP cũng có thể cung cấp Thỏa thuận cấp độ dịch vụ (SLA) hạn chế hoặc không có gì cả.Tuy nhiên, các kết nối này có chi phí tương đối thấp và với các thỏa thuận ngang hàng mở rộng của Google, ISP của bạn có thể định tuyến bạn vào mạng toàn cầu của Google trong một vài bước nhảy mạngChúng tôi khuyên bạn nên kiểm tra với quản trị viên bảo mật của bạn về việc chính sách công ty của bạn có cấm di chuyển một số tập dữ liệu qua internet công cộng hay không.Ngoài ra, hãy kiểm tra xem kết nối internet công cộng có được sử dụng cho lưu lượng sản xuất của bạn hay không.Truyền dữ liệu quy mô lớn có thể tác động tiêu cực đến mạng sản xuấtKết nối với ngang hàng trực tiếp
Để truy cập mạng Google với ít bước nhảy mạng hơn so với kết nối internet công cộng, bạn có thể sử dụng Ngang hàng trực tiếp. Bằng cách sử dụng Ngang hàng trực tiếp, bạn có thể trao đổi lưu lượng truy cập internet giữa mạng của mình và Điểm hiện diện biên (PoP) của Google, có nghĩa là dữ liệu của bạn không sử dụng internet công cộng. Làm như vậy cũng làm giảm số bước nhảy giữa mạng của bạn và mạng của Google. Ngang hàng với mạng của Google yêu cầu bạn thiết lập Số hệ thống tự trị (AS) đã đăng ký, kết nối với Google bằng trao đổi internet và cung cấp liên hệ 24/24 với trung tâm điều hành mạng của bạn

 Kết nối với Cloud Interconnect
Cloud Interconnect cung cấp kết nối trực tiếp tới Google Cloud thông qua Google hoặc một trong các nhà cung cấp dịch vụ Cloud Interconnect. Dịch vụ này giúp ngăn dữ liệu của bạn xuất hiện trên internet công cộng và có thể cung cấp thông lượng ổn định hơn cho các lần truyền dữ liệu lớn. Thông thường, Cloud Interconnect cung cấp SLA cho tính khả dụng của mạng và hiệu suất của mạng của họ. Liên hệ trực tiếp với nhà cung cấp dịch vụ để tìm hiểu thêm. Cloud Interconnect cũng hỗ trợ địa chỉ riêng, RFC 1918, để đám mây trở thành phần mở rộng của trung tâm dữ liệu riêng của bạn một cách hiệu quả mà không cần địa chỉ IP công cộng hoặc NAT

 Chuyển khoản trực tuyến so với ngoại tuyến
Một quyết định quan trọng là nên sử dụng quy trình ngoại tuyến hay trực tuyến để truyền dữ liệu của bạn. Nghĩa là, bạn phải chọn giữa chuyển qua mạng, cho dù đó là kết nối chuyên dụng hay internet công cộng hay chuyển bằng cách sử dụng phần cứng lưu trữ

Để giúp bạn đưa ra quyết định này, chúng tôi cung cấp một công cụ tính chuyển tiền để giúp bạn ước tính chênh lệch thời gian và chi phí giữa hai tùy chọn này. Biểu đồ sau đây cũng cho thấy một số tốc độ truyền đối với các kích thước và băng thông tập dữ liệu khác nhau. Một lượng chi phí quản lý nhất định được tích hợp vào các tính toán này

Như đã lưu ý trước đó, bạn có thể cần xem xét liệu chi phí để đạt được độ trễ thấp hơn cho quá trình truyền dữ liệu của mình (chẳng hạn như mua băng thông mạng) có được bù đắp bằng giá trị của khoản đầu tư đó cho tổ chức của bạn hay không

 Các tùy chọn có sẵn từ Google
Google cung cấp một số công cụ và công nghệ để giúp bạn thực hiện chuyển dữ liệu

 Quyết định giữa các tùy chọn chuyển của Google
Việc chọn tùy chọn chuyển tùy thuộc vào trường hợp sử dụng của bạn, như bảng sau đây hiển thị

|
|Bạn đang di chuyển dữ liệu từ đâu |
|Kịch bản |
|Sản phẩm gợi ý
|Một nhà cung cấp đám mây khác (ví dụ: Amazon Web Services hoặc Microsoft Azure) sang Dịch vụ chuyển Google CloudStorage|
|Lưu trữ đám mây sang Lưu trữ đám mây (hai nhóm khác nhauDịch vụ chuyển lưu trữ|
|Trung tâm dữ liệu riêng tư của bạn cho Google Cloud||Đủ băng thông để đáp ứng thời hạn dự án của bạn
|
cho ít hơn 1 TB dữ liệu
|
|
|Trung tâm dữ liệu riêng tư của bạn cho Google Cloud||Đủ băng thông để đáp ứng thời hạn dự án của bạn
|
cho hơn 1 TB dữ liệu
|Dịch vụ chuyển dung lượng cho dữ liệu tại chỗ|
|Trung tâm dữ liệu riêng tư của bạn sang Google Cloud||Không đủ băng thông để đáp ứng thời hạn dự án của bạn||Chuyển Công cụ|
gsutil để truyền dữ liệu tại chỗ nhỏ hơn
Các
công cụ gsutil
là công cụ tiêu chuẩn cho chuyển khoản vừa và nhỏ (ít hơn
1 TB) qua mạng quy mô doanh nghiệp điển hình, từ một trung tâm dữ liệu riêng
lên Google Cloud. Chúng tôi khuyên bạn nên bao gồm
gsutil trong đường dẫn mặc định của bạn
khi bạn sử dụng
vỏ mây

Nó cũng có sẵn theo mặc định khi bạn cài đặt
CLI đám mây của Google

Đó là một công cụ đáng tin cậy cung cấp tất cả các tính năng cơ bản mà bạn cần để quản lý
của bạn
Lưu trữ đám mây
các phiên bản, bao gồm sao chép dữ liệu của bạn đến và từ hệ thống tệp cục bộ và
Lưu trữ đám mây. Nó cũng có thể di chuyển và đổi tên các đối tượng và thực hiện
đồng bộ hóa gia tăng theo thời gian thực, như
rsync, vào nhóm Lưu trữ đám mây

gsutil đặc biệt hữu ích trong các trường hợp sau:
- Quá trình chuyển của bạn cần được thực hiện trên cơ sở khi cần thiết hoặc trong các phiên dòng lệnh của người dùng của bạn

- Bạn chỉ đang chuyển một vài tệp hoặc tệp rất lớn hoặc cả hai

- Bạn đang sử dụng đầu ra của một chương trình (truyền đầu ra tới Cloud Storage)

- Bạn cần xem một thư mục có số lượng tệp vừa phải và đồng bộ hóa mọi bản cập nhật với độ trễ rất thấp

Những điều cơ bản để bắt đầu với
gsutil là để
tạo nhóm Lưu trữ đám mây
và
sao chép dữ liệu
vào thùng đó. Để chuyển các bộ dữ liệu lớn hơn, có hai điều cần
xem xét:
Để truyền đa luồng, hãy sử dụng
gsutil -m

Một số tệp được xử lý song song, tăng tốc độ truyền của bạn

Đối với một tệp lớn, hãy sử dụng chuyển Tổng hợp

Phương pháp này chia các tệp lớn thành các phần nhỏ hơn để tăng tốc độ truyền. Các khối được chuyển và xác thực song song, gửi tất cả dữ liệu tới Google. Sau khi các khối đến Google, chúng được kết hợp lại (được gọi là
soạn thảo) để tạo thành một đối tượng duy nhất

Chuyển tổng hợp với gsutil có một số nhược điểm, bao gồm mỗi phần (không phải toàn bộ đối tượng) được kiểm tra tổng hợp riêng lẻ và thành phần của các lớp lưu trữ lạnh dẫn đến hình phạt xóa sớm

 Dịch vụ truyền lưu trữ để truyền dữ liệu tại chỗ với số lượng lớn
Thích
gsutil,
Dịch vụ chuyển lưu trữ cho dữ liệu tại chỗ
cho phép chuyển từ bộ lưu trữ hệ thống tệp mạng (NFS) sang
Lưu trữ đám mây. Mặc du
gsutil có thể hỗ trợ kích thước truyền nhỏ (tối đa
đến 1 TB), Dịch vụ Truyền Lưu trữ cho dữ liệu tại chỗ được thiết kế cho
chuyển giao quy mô lớn (lên đến petabyte dữ liệu, hàng tỷ tệp). Nó hỗ trợ
bản sao đầy đủ hoặc bản sao gia tăng và nó hoạt động trên tất cả các tùy chọn chuyển được liệt kê
sớm hơn trong
Quyết định giữa các tùy chọn chuyển của Google. Nó
cũng có giao diện người dùng đồ họa được quản lý đơn giản; thậm chí không hiểu biết về kỹ thuật
người dùng (sau khi thiết lập) có thể sử dụng nó để di chuyển dữ liệu

Dịch vụ truyền lưu trữ cho dữ liệu tại chỗ đặc biệt hữu ích trong các tình huống sau:
- Bạn có đủ băng thông khả dụng để di chuyển khối lượng dữ liệu (xem Công cụ tính toán truyền dữ liệu trên đám mây của Google)- Bạn hỗ trợ một lượng lớn người dùng nội bộ có thể tìm thấy dòng lệnhcông cụ nhưgsutilthử thách sử dụng- Bạn cần báo cáo lỗi mạnh mẽ và bản ghi tất cả các tệp và đối tượng được di chuyển- Bạn cần hạn chế tác động của quá trình truyền đối với khối lượng công việc khác trong trung tâm dữ liệu của mình (sản phẩm này có thể duy trì trong giới hạn băng thông do người dùng chỉ định)- Bạn muốn thực hiện truyền định kỳ theo lịch trìnhBạn thiết lập Dịch vụ truyền lưu trữ cho dữ liệu tại chỗ bằng cách cài đặt phần mềm tại chỗ[được gọi là *agents*] trên các máy tính trong trung tâm dữ liệu của bạn.Các tác nhânnày nằm trong bộ chứa Docker, giúp chạy nhiều tác nhân trong số chúng dễ dàng hơn hoặcsắp xếp chúng thông qua KubernetesSau khi thiết lập xong , người dùng có thể bắt đầu quá trình truyền trong bảng điều khiển Google Cloud bằng cáchcung cấp thư mục nguồn, bộ chứa đích và thời gian hoặc lịch trìnhDịch vụ truyền bộ nhớ thu thập dữ liệu đệ quy các thư mục con và tệp trongthư mục nguồn và tạo các đối tượng có tên tương ứng trongCloud Storage [đối tượng /dir/foo/file.txt trở thành một đối tượng trong bộ chứa đích có tên /dir/foo/file.txt].Dịch vụ truyền lưu trữtự động thử truyền lại khi gặp bất kỳ lỗi tạm thời nàoTrong khi quá trình truyền đang chạy, bạn có thể theo dõi số lượng tệp được di chuyển vàtốc độ truyền tổng thể và bạn có thể xem các mẫu lỗiKhi quá trình truyền hoàn tất, tệp được phân định bằng tab (TSV) được tạo với bản ghi đầy đủ của tất cả các tệp được chạm vào và bất kỳ thông báo lỗi nào nhận được.Các tác nhân có khả năng chịu lỗi, vì vậy nếu một tác nhân gặp sự cố, quá trình truyền sẽ tiếp tục với các tác nhân còn lại.Các tác nhân cũng tự cập nhật và tự phục hồi, vì vậy bạn không phải lo lắng về việc vá các phiên bản mới nhất hoặc khởi động lại quy trình nếu nó gặp sự cố ngoài ý muốnNhững điều cần xem xét khi sử dụng Dịch vụ truyền tải lưu trữ:Sử dụng thiết lập tác nhân giống hệt nhau trên mọi máy. Tất cả tác nhân sẽ thấy cùng một Hệ thống tệp mạng (NFS) gắn kết theo cùng một cách (cùng một đường dẫn tương đối).Thiết lập này là một yêu cầu để sản phẩm hoạt động.Nhiều tác nhân hơn dẫn đến tốc độ cao hơn. Vì quá trình truyền được tự động song song hóa trên tất cả các tác nhân, chúng tôi khuyên bạn nên triển khai nhiều tác nhân để sử dụng băng thông có sẵn của mình.Giới hạn băng thông có thể bảo vệ khối lượng công việc của bạn. Các khối lượng công việc khác của bạn có thể đang sử dụng băng thông trung tâm dữ liệu của bạn, vì vậy hãy đặt giới hạn băng thông để ngăn quá trình truyền ảnh hưởng đến SLA của bạn.Lập kế hoạch thời gian để xem xét lỗi. Chuyển khoản lớn thường có thể dẫn đến lỗi yêu cầu xem xét.Dịch vụ chuyển bộ nhớ cho phép bạn xem mẫu các lỗi gặp phải trực tiếp trong bảng điều khiển Google Cloud.Nếu cần, bạn có thể tải bản ghi đầy đủ tất cả các lỗi truyền sang BigQuery để kiểm tra tệp hoặc đánh giá các lỗi còn tồn tại ngay cả sau khi thử lại.Các lỗi này có thể do các ứng dụng đang chạy ghi vào nguồn trong khi quá trình truyền diễn ra hoặc các lỗi này có thể cho thấy sự cố cần khắc phục sự cố (ví dụ: lỗi về quyền).Thiết lập Giám sát đám mây cho quá trình truyền trong thời gian dài. Dịch vụ truyền dung lượng lưu trữ cho phép Giám sát theo dõi tình trạng và thông lượng của tác nhân, vì vậy, bạn có thể đặt cảnh báo để thông báo cho bạn khi tác nhân ngừng hoạt động hoặc cần chú ý.Xử lý lỗi của đại lý là rất quan trọng đối với quá trình chuyển mất vài ngày hoặc vài tuần, để bạn tránh bị chậm hoặc gián đoạn đáng kể có thể làm chậm tiến độ dự án của bạnCông cụ chuyển cho các lần chuyển lớn hơnĐối với truyền quy mô lớn (đặc biệt là truyền với băng thông mạng hạn chế), Công cụ truyền là một tùy chọn tuyệt vời, đặc biệt khi không có kết nối mạng nhanh và quá tốn kém để có thêm băng thôngTransfer Appliance đặc biệt hữu ích trong các trường hợp sau:- Trung tâm dữ liệu của bạn ở một địa điểm xa xôi bị hạn chế hoặc không có quyền truy cập vào băng thông- Có sẵn băng thông, nhưng không thể mua kịp thời để đáp ứng thời hạn của bạn- Bạn có quyền truy cập vào các tài nguyên hậu cần để nhận và kết nối các thiết bị với mạng của mìnhVới tùy chọn này, hãy xem xét những điều sau:- Công cụ chuyển giao yêu cầu bạn có thể nhận và gửi lại phần cứng do Google sở hữu- Tùy thuộc vào kết nối internet của bạn, Độ trễ khi truyền dữ liệu vào Google Cloud bằng Công cụ truyền dữ liệu thường cao hơn so với trực tuyến- Công cụ truyền dữ liệu chỉ khả dụng ở một số quốc giaHai tiêu chí chính cần xem xét với Transfer Appliance là chi phí và tốc độ.Với kết nối mạng hợp lý (ví dụ: 1 Gbps), việc truyền 100 TB dữ liệu trực tuyến mất hơn 10 ngày để hoàn tất.Nếu tỷ lệ này có thể chấp nhận được, chuyển khoản trực tuyến có thể là một giải pháp tốt cho nhu cầu của bạn.Nếu bạn chỉ có kết nối 100 Mb/giây (hoặc tệ hơn là từ một địa điểm ở xa), quá trình chuyển tương tự sẽ mất hơn 100 ngày.Tại thời điểm này, bạn nên xem xét tùy chọn chuyển ngoại tuyến chẳng hạn như Công cụ chuyểnMua Công cụ chuyển rất đơn giản.Trong bảng điều khiển Google Cloud, bạn yêu cầu Công cụ chuyển, cho biết lượng dữ liệu bạn có và sau đó Google sẽ gửi một hoặc nhiều thiết bị đến vị trí bạn yêu cầu.Bạn có một số ngày để chuyển dữ liệu của mình sang công cụ ("thu thập dữ liệu") và gửi lại cho GoogleThời gian quay vòng dự kiến ​​cho một công cụ mạng để được vận chuyển, tải dữ liệu của bạn, vận chuyển trở lại và bù nước trên Google Cloud là 20 ngày.Nếu khung thời gian chuyển tiền trực tuyến của bạn được tính toán nhiều hơn đáng kể so với khung thời gian này, hãy xem xét Công cụ chuyển tiền.Tổng chi phí cho quy trình thiết bị 300 TB ít hơn $2.500Dịch vụ truyền dung lượng lưu trữ để truyền từ đám mây sang đám mâyDịch vụ truyền dung lượng lưu trữ được quản lý hoàn toàn , dịch vụ có khả năng mở rộng cao để tự động chuyển từ công khai khác sang Lưu trữ đám mây.Nó hỗ trợ chuyển vào Cloud Storage từ Amazon S3 và HTTPĐối với Amazon S3, bạn có thể cung cấp khóa truy cập và bộ chứa S3 với bộ lọctùy chọn cho S3 các đối tượng để chọn, sau đó bạn sao chép các đối tượng S3 vào bất kỳ
Nhóm lưu trữ đám mây. Dịch vụ này cũng hỗ trợ các bản sao hàng ngày của bất kỳ
đối tượng sửa đổi. Dịch vụ hiện không hỗ trợ truyền dữ liệu
*đến*
amazon S3

Đối với HTTP, bạn có thể cung cấp cho Dịch vụ truyền dung lượng danh sách các URL công khai trong
một định dạng được chỉ định

Cách tiếp cận này yêu cầu bạn viết một kịch bản cung cấp kích thước của mỗi
tệp theo byte, cùng với hàm băm MD5 được mã hóa Base64 của nội dung tệp

Đôi khi kích thước tệp và hàm băm có sẵn từ trang web nguồn. Nếu
không, bạn cần truy cập cục bộ vào các tệp, trong trường hợp đó, có thể dễ dàng hơn
sử dụng
gsutil, như được mô tả trước đó

Nếu bạn đã chuyển xong, Dịch vụ chuyển lưu trữ là một cách tuyệt vời để lấy và giữ dữ liệu, đặc biệt khi chuyển từ một đám mây công cộng khác

 Bảo vệ
Đối với nhiều người dùng Google Cloud, bảo mật là trọng tâm chính của họ và có nhiều cấp độ bảo mật khác nhau. Một số khía cạnh bảo mật cần xem xét bao gồm bảo vệ dữ liệu ở trạng thái lưu trữ (ủy quyền và quyền truy cập vào hệ thống lưu trữ nguồn và đích), bảo vệ dữ liệu trong khi truyền và bảo vệ quyền truy cập vào sản phẩm truyền. Bảng sau đây phác thảo các khía cạnh bảo mật này theo sản phẩm

|
|Sản phẩm |
|Dữ liệu ở phần còn lại |
|Dữ liệu đang chuyển |
|Truy cập để chuyển nhượng sản phẩm
|Transfer Appliance||Tất cả dữ liệu được mã hóa khi lưu trữ Dữ liệu được bảo vệ bằng các khóa do khách hàng quản lý Bất kỳ ai cũng có thể đặt mua một thiết bị, nhưng để sử dụng nó, họ cần có quyền truy cập vào nguồn dữ liệu.|
|
||Cần có khóa truy cập để truy cập Cloud Storage, được mã hóa ở trạng thái nghỉ. Dữ liệu được gửi qua HTTPS và được mã hóa khi chuyển tiếp. Bất kỳ ai cũng có thể tải xuống và chạy
|
|Dịch vụ chuyển dung lượng lưu trữ cho dữ liệu tại chỗ||Cần có khóa truy cập để truy cập Cloud Storage, được mã hóa ở phần còn lại. Quy trình tác nhân có thể truy cập các tệp cục bộ vì quyền của hệ điều hành cho phépDữ liệu được gửi qua HTTPS và được mã hóa khi chuyển tiếp. Bạn phải có quyền của trình chỉnh sửa đối tượng để truy cập bộ chứa Cloud Storage.|
|Dịch vụ chuyển dung lượng lưu trữ||Cần có khóa truy cập đối với các tài nguyên không phải của Google Cloud (ví dụ: Amazon S3). Cần có khóa truy cập để truy cập vào Cloud Storage, được mã hóa ở trạng thái nghỉ. Dữ liệu được gửi qua HTTPS và được mã hóa khi chuyển tiếp. Bạn phải có quyền IAM đối với tài khoản dịch vụ để truy cập vào nguồn và quyền trình chỉnh sửa đối tượng cho bất kỳ bộ chứa Cloud Storage nào.|
Để đạt được các cải tiến bảo mật cơ bản, chuyển trực tuyến đến
Google Cloud sử dụng
gsutil
được thực hiện qua HTTPS, dữ liệu được mã hóa khi truyền và tất cả dữ liệu trong
Theo mặc định, Cloud Storage được mã hóa khi lưu trữ. Để biết thông tin về
các chương trình liên quan đến bảo mật phức tạp hơn, xem
Cân nhắc về bảo mật và quyền riêng tư

Nếu bạn dùng
thiết bị chuyển giao,
khóa bảo mật mà bạn kiểm soát có thể giúp bảo vệ dữ liệu của bạn. Nói chung, chúng tôi
khuyên bạn nên tham gia với nhóm bảo mật của mình để đảm bảo rằng kế hoạch chuyển nhượng của bạn
đáp ứng công ty của bạn và các yêu cầu quy định

 Sản phẩm chuyển nhượng của bên thứ ba
Để tối ưu hóa cấp độ mạng nâng cao hoặc quy trình truyền dữ liệu đang diễn ra, bạn có thể muốn sử dụng các công cụ nâng cao hơn. Để biết thông tin về các công cụ nâng cao hơn, hãy truy cập các đối tác của Google

Các liên kết sau nêu bật một số tùy chọn (được liệt kê ở đây theo thứ tự bảng chữ cái):
- Aspera On Cloud dựa trên giao thức được cấp bằng sáng chế của Aspera và phù hợp với quy trình công việc quy mô lớn. Nó có sẵn theo yêu cầu dưới dạng mô hình giấy phép đăng ký

- Có thể sử dụng Cloud FastPath của Tervela để xây dựng luồng dữ liệu được quản lý vào và ra khỏi Google Cloud. Để biết chi tiết, hãy xem Sử dụng Cloud FastPath để tạo luồng dữ liệu

- Signiant cung cấp Media Shuttle dưới dạng giải pháp phần mềm dưới dạng dịch vụ (SaaS) để chuyển bất kỳ tệp nào đến hoặc từ bất kỳ đâu. Signiant cũng cung cấp Flight dưới dạng tiện ích tự động thay đổi tỷ lệ dựa trên giao thức được tối ưu hóa cao và Signiant Flight Deck như một công cụ tự động hóa để chuyển giao quy mô lớn qua các vị trí phân tán về mặt địa lý

## Bước 4: Chuẩn bị cho việc chuyển tiền của bạn
Đối với chuyển khoản lớn hoặc chuyển khoản có các thành phần phụ thuộc quan trọng, điều quan trọng là phải hiểu cách vận hành sản phẩm chuyển giao của bạn. Khách hàng thường trải qua các bước sau:
Định giá và ước tính ROI. Bước này cung cấp nhiều tùy chọn để hỗ trợ việc ra quyết định. Kiểm tra chức năng. Trong bước này, bạn xác nhận rằng sản phẩm có thể được thiết lập thành công và kết nối mạng (nếu có) đang hoạt động. Bạn cũng kiểm tra xem bạn có thể di chuyển một mẫu dữ liệu đại diện của mình (bao gồm các bước không chuyển đi kèm, chẳng hạn như di chuyển phiên bản máy ảo) đến đích

Bạn thường có thể thực hiện bước này trước khi phân bổ tất cả các tài nguyên như máy truyền hoặc băng thông. Các mục tiêu của bước này bao gồm:
- Xác nhận rằng bạn có thể cài đặt và vận hành chuyển

- Xuất hiện các sự cố dừng dự án tiềm ẩn ngăn chặn chuyển động dữ liệu (ví dụ: tuyến mạng) hoặc hoạt động của bạn (ví dụ: cần đào tạo về bước không chuyển giao)

Kiểm tra hiệu suất. Trong bước này, bạn chạy chuyển trên một mẫu lớn dữ liệu của mình (thường là 3âÃÂÃÂ5%) sau khi tài nguyên sản xuất được phân bổ để thực hiện những việc sau:
- Xác nhận rằng bạn có thể sử dụng tất cả các tài nguyên được phân bổ và có thể đạt được tốc độ mà bạn mong đợi

- Bề mặt và khắc phục các tắc nghẽn (ví dụ: hệ thống lưu trữ nguồn chậm)

## Bước 5: Đảm bảo tính toàn vẹn của chuyển khoản của bạn
Để giúp đảm bảo tính toàn vẹn của dữ liệu trong quá trình chuyển, chúng tôi khuyên bạn nên thực hiện các biện pháp phòng ngừa sau:
- Cho phép lập phiên bản và sao lưu tại điểm đến của bạn để hạn chế thiệt hại do vô tình xóa

- Xác thực dữ liệu của bạn trước khi xóa dữ liệu nguồn

Đối với quá trình truyền dữ liệu quy mô lớn (với hàng petabyte dữ liệu và hàng tỷ tệp), tỷ lệ lỗi tiềm ẩn cơ bản của hệ thống lưu trữ nguồn cơ bản thấp tới 0,0001% vẫn dẫn đến mất dữ liệu hàng nghìn tệp và gigabyte. Thông thường, các ứng dụng đang chạy tại nguồn đã chịu được các lỗi này, trong trường hợp đó, không cần xác thực thêm. Trong một số trường hợp ngoại lệ (ví dụ: lưu trữ dài hạn), cần phải xác thực thêm trước khi xóa dữ liệu khỏi nguồn được coi là an toàn

Tùy thuộc vào yêu cầu của ứng dụng của bạn, chúng tôi khuyên bạn nên chạy một số kiểm tra tính toàn vẹn của dữ liệu sau khi quá trình chuyển hoàn tất để đảm bảo rằng ứng dụng tiếp tục hoạt động như dự định. Nhiều sản phẩm chuyển có tích hợp tính năng kiểm tra tính toàn vẹn của dữ liệu. Tuy nhiên, tùy thuộc vào hồ sơ rủi ro của bạn, bạn có thể muốn thực hiện thêm một loạt kiểm tra đối với dữ liệu và các ứng dụng đọc dữ liệu đó trước khi xóa dữ liệu khỏi nguồn. Ví dụ: bạn có thể muốn xác nhận xem tổng kiểm tra mà bạn đã ghi lại và tính toán độc lập có khớp với dữ liệu được ghi ở đích hay không hoặc xác nhận rằng tập dữ liệu được ứng dụng sử dụng đã được chuyển thành công

## Tìm trợ giúp
Google Cloud cung cấp nhiều tùy chọn và tài nguyên khác nhau để bạn tìm thấy sự trợ giúp và hỗ trợ cần thiết nhằm sử dụng tốt nhất các dịch vụ của Google Cloud:
Tài nguyên tự phục vụ. Nếu bạn không cần hỗ trợ riêng, bạn có nhiều tùy chọn khác nhau mà bạn có thể sử dụng theo tốc độ của riêng mình. Đối tác công nghệ.Google Cloud đã hợp tác với nhiều công ty để giúp bạn sử dụng các sản phẩm và dịch vụ của chúng tôi. Các dịch vụ chuyên nghiệp của Google Cloud. Các dịch vụ chuyên nghiệp của chúng tôi có thể giúp bạn tận dụng tối đa khoản đầu tư của mình vào Google Cloud

Có nhiều tài nguyên hơn để giúp di chuyển khối lượng công việc sang Google Cloud trong Trung tâm di chuyển Google Cloud

Để biết thêm thông tin về các tài nguyên này, hãy xem phần trợ giúp tìm kiếm của Di chuyển sang Google Cloud: Bắt đầu

## Cái gì tiếp theo
- Nếu có câu hỏi về việc lập kế hoạch chuyển nhượng hoặc về một trường hợp sử dụng cụ thể, bạn có thể liên hệ với bộ phận Hỗ trợ của Google Cloud hoặc liên hệ trực tiếp với nhóm Tài khoản Google của bạn

- Để bắt đầu quá trình chuyển tiền của bạn, chúng tôi cung cấp các hướng dẫn sau:
- Đối với các chiến lược di chuyển dữ liệu chung: Di chuyển ứng dụng nguyên khối sang vi dịch vụ trên Google Kubernetes Engine
- Đối với chuyển ngoại tuyến: Công cụ chuyển
- Đối với chuyển trực tuyến từ đám mây công cộng: Dịch vụ chuyển lưu trữ
- Khám phá kiến ​​trúc tham khảo, sơ đồ, hướng dẫn và các phương pháp hay nhất về Google Cloud. Hãy xem Trung tâm kiến ​​trúc đám mây của chúng tôi.