Migrasi ke Google Cloud: Memindahkan set data besar anda

Bagi kebanyakan pelanggan, langkah pertama dalam menggunakan produk Google Cloud ialah memasukkan data mereka ke dalam Google Cloud. Dokumen ini meneroka proses itu, daripada merancang pemindahan data kepada menggunakan amalan terbaik dalam melaksanakan rancangan Memindahkan set data yang besar melibatkan membina pasukan yang betul, merancang awal dan menguji pelan pemindahan anda sebelum melaksanakannya dalam persekitaran pengeluaran. Walaupun langkah ini boleh mengambil masa sebanyak pemindahan itu sendiri, persediaan sedemikian boleh membantu meminimumkan gangguan kepada operasi perniagaan anda semasa pemindahan Dokumen ini adalah sebahagian daripada siri berbilang bahagian tentang berhijrah ke Google Cloud. Jika anda berminat dengan gambaran keseluruhan siri ini, lihat Migrasi ke Google Cloud: Memilih laluan migrasi anda Artikel ini adalah sebahagian daripada siri: - Penghijrahan ke Google Cloud: Bermula - Migrasi ke Google Cloud: Menilai dan menemui beban kerja anda - Migrasi ke Google Cloud: Membina asas anda - Migrasi ke Google Cloud: Memindahkan set data besar anda (dokumen ini) - Penghijrahan ke Google Cloud: Meletakkan beban kerja anda - Penghijrahan ke Google Cloud: Berhijrah daripada penggunaan manual kepada penggunaan automatik dan kontena - Migrasi ke Google Cloud: Mengoptimumkan persekitaran anda - Migrasi ke Google Cloud: Amalan terbaik untuk mengesahkan pelan migrasi Rajah berikut menggambarkan laluan perjalanan penghijrahan anda Fasa penempatan ialah fasa ketiga dalam penghijrahan anda ke Google Cloud, di mana anda mereka bentuk proses penempatan untuk beban kerja anda Dokumen ini berguna jika anda merancang pemindahan daripada persekitaran di premis, daripada persekitaran pengehosan persendirian, daripada penyedia awan lain kepada Google Cloud atau jika anda menilai peluang untuk berhijrah dan ingin meneroka rupa yang mungkin kelihatan suka ## Apakah pemindahan data? Untuk tujuan dokumen ini, pemindahan data ialah proses memindahkan data tanpa mengubahnya, contohnya, memindahkan fail sebagaimana ia menjadi objek Pemindahan data tidak semudah yang disangkakan Sangat menggoda untuk memikirkan pemindahan data sebagai satu sesi FTP gergasi, di mana anda meletakkan fail anda di satu sisi dan menunggu mereka keluar dari sisi yang lain. Walau bagaimanapun, dalam kebanyakan persekitaran perusahaan, proses pemindahan melibatkan banyak faktor seperti berikut: - Merangka pelan pemindahan yang mengambil kira masa pentadbiran, termasuk masa untuk memutuskan pilihan pemindahan, mendapatkan kelulusan dan menangani isu yang tidak dijangka - Menyelaraskan orang dalam organisasi anda, seperti pasukan yang melaksanakan pemindahan, kakitangan yang meluluskan alatan dan seni bina, dan pihak berkepentingan perniagaan yang prihatin dengan nilai dan gangguan yang boleh dibawa oleh pemindahan data - Memilih alat pemindahan yang betul berdasarkan sumber, kos, masa dan pertimbangan projek anda yang lain - Mengatasi cabaran pemindahan data, termasuk isu "kelajuan cahaya"(lebar lebar tidak mencukupi), memindahkan set data yang sedang digunakan secara aktif, melindungi dan memantau data semasa dalam penerbangan dan memastikan data dipindahkan dengan jayanya Dokumen ini bertujuan untuk membantu anda memulakan inisiatif pemindahan yang berjaya Projek lain yang berkaitan dengan pemindahan data Senarai berikut termasuk sumber untuk jenis projek pemindahan data lain yang tidak diliputi dalam dokumen ini: - Jika anda perlu mengubah data anda (seperti menggabungkan baris, menyertai set data atau menapis maklumat peribadi yang boleh dikenal pasti), anda harus mempertimbangkan penyelesaian ekstrak, transformasi dan muat (ETL) yang boleh mendepositkan data ke dalam gudang data Google Cloud. Untuk contoh seni bina ini, lihat tutorial Aliran Data ini - Jika anda perlu memindahkan pangkalan data dan apl berkaitan (contohnya, untuk mengangkat dan mengalih apl pangkalan data), anda mungkin melihat dokumentasi untuk Cloud Spanner, penyelesaian untuk PostgreSQL dan dokumentasi lain tentang jenis pangkalan data anda - Jika anda ingin memindahkan data anda daripada HBase kepada perkhidmatan pangkalan data NoSQL terurus sepenuhnya yang serasi dengan API HBase dan boleh mengendalikan beban kerja yang lebih besar, lihat Cloud Bigtable - Jika anda perlu mengalihkan contoh mesin maya (VM), pertimbangkan untuk menggunakan produk migrasi VM Google, Migrate to Virtual Machines ## Langkah 1: Mengumpul pasukan anda Merancang pemindahan biasanya memerlukan kakitangan dengan peranan dan tanggungjawab berikut: Mendayakan sumber yang diperlukan untuk pemindahan: Pentadbir storan, IT dan rangkaian, penaja eksekutif dan penasihat lain (contohnya, pasukan Akaun Google atau rakan kongsi penyepaduan) Meluluskan keputusan pemindahan: Pemilik atau gabenor data (untuk dasar dalaman tentang siapa dibenarkan untuk memindahkan data apa), penasihat undang-undang (untuk peraturan berkaitan data) dan pentadbir keselamatan (untuk dasar dalaman tentang cara akses data dilindungi) Melaksanakan pemindahan:Seorang ketua pasukan, pengurus projek (untuk melaksanakan dan menjejaki projek ), pasukan kejuruteraan dan penerimaan dan penghantaran di tapak (untuk menerima perkakasan perkakas) Adalah penting untuk mengenal pasti siapa yang memiliki tanggungjawab terdahulu untuk projek pemindahan anda dan menyertakannya dalam mesyuarat perancangan dan keputusan apabila sesuai. Perancangan organisasi yang lemah sering menjadi punca kegagalan inisiatif pemindahan Mengumpul keperluan projek dan input daripada pihak berkepentingan ini boleh mencabar, tetapi membuat perancangan dan mewujudkan peranan dan tanggungjawab yang jelas membuahkan hasil. Anda tidak boleh dijangka mengetahui semua butiran data anda. Mengumpul pasukan memberi anda gambaran yang lebih mendalam tentang keperluan perniagaan. Amalan terbaik untuk mengenal pasti isu yang berpotensi sebelum anda melaburkan masa, wang dan sumber untuk menyelesaikan pemindahan ## Langkah 2: Mengumpul keperluan dan sumber yang tersedia Apabila anda mereka bentuk pelan pemindahan, kami mengesyorkan agar anda terlebih dahulu mengumpulkan keperluan untuk pemindahan data anda dan kemudian memutuskan pilihan pemindahan. Untuk mengumpul keperluan, anda boleh menggunakan proses berikut: - Kenal pasti set data yang anda perlu alihkan - Pilih alatan seperti Katalog Data untuk menyusun data anda ke dalam kumpulan logik yang dialihkan dan digunakan bersama - Bekerjasama dengan pasukan dalam organisasi anda untuk mengesahkan atau mengemas kini kumpulan ini - Kenal pasti set data anda boleh bergerak - Pertimbangkan sama ada faktor kawal selia, keselamatan atau lain-lain melarang sesetengah set data daripada dipindahkan - Jika anda perlu mengubah beberapa data anda sebelum anda mengalihkannya (contohnya, untuk mengalih keluar data sensitif atau menyusun semula data anda), pertimbangkan untuk menggunakan produk penyepaduan data seperti Aliran Data atau Cloud Data Fusion, atau produk orkestrasi aliran kerja seperti Cloud Composer - Untuk set data yang boleh dialihkan, tentukan tempat untuk memindahkan setiap set data - Rekod pilihan storan yang anda pilih untuk menyimpan data anda. Biasanya, sistem storan sasaran pada Google Cloud ialah Cloud Storage. Walaupun anda memerlukan penyelesaian yang lebih kompleks selepas aplikasi anda tersedia dan berjalan, Cloud Storage ialah pilihan storan yang berskala dan tahan lama - Fahami dasar capaian data yang mesti dikekalkan selepas penghijrahan - Tentukan sama ada anda perlu menyimpan data ini di kawasan tertentu - Rancang cara menstruktur data ini di destinasi. Sebagai contoh, adakah ia akan sama dengan sumber atau berbeza? - Tentukan sama ada anda perlu memindahkan data secara berterusan - Untuk set data yang boleh dialihkan, tentukan sumber yang tersedia untuk menggerakkan mereka - Masa: Bilakah pemindahan perlu diselesaikan? - Kos: Berapakah bajet yang tersedia untuk pasukan dan kos perpindahan? - Orang: Siapa yang tersedia untuk melaksanakan pemindahan? - Lebar Jalur (untuk pemindahan dalam talian): Berapa banyak lebar jalur anda yang tersedia pada masa ini untuk Google Cloud boleh diperuntukkan untuk pemindahan dan untuk tempoh masa berapa? Sebelum anda menilai dan memilih pilihan pemindahan dalam fasa perancangan seterusnya, kami mengesyorkan agar anda menilai sama ada mana-mana bahagian model IT anda boleh dipertingkatkan, seperti tadbir urus data, organisasi dan keselamatan Model keselamatan anda Ramai ahli pasukan pemindahan mungkin diberikan peranan baharu dalam organisasi Google Cloud anda sebagai sebahagian daripada projek pemindahan data anda. Perancangan pemindahan data ialah masa yang sesuai untuk menyemak kebenaran Pengurusan Identiti dan Akses (IAM) anda dan amalan terbaik untuk menggunakan IAM dengan selamat. Isu ini boleh menjejaskan cara anda memberikan akses kepada storan anda. Contohnya, anda mungkin meletakkan had yang ketat pada akses tulis kepada data yang telah diarkibkan atas sebab peraturan, tetapi anda mungkin membenarkan ramai pengguna dan aplikasi menulis data ke persekitaran ujian anda Organisasi Google Cloud anda Cara anda menstruktur data anda di Google Cloud bergantung pada cara anda merancang untuk menggunakan Google Cloud. Menyimpan data anda dalam projek Cloud yang sama di mana anda menjalankan aplikasi anda ialah pendekatan yang mudah, tetapi mungkin tidak optimum dari perspektif pengurusan. Sesetengah pembangun anda mungkin tidak mempunyai keistimewaan untuk melihat data pengeluaran. Dalam kes itu, pembangun boleh membangunkan kod pada data sampel, manakala akaun perkhidmatan istimewa boleh mengakses data pengeluaran. Oleh itu, anda mungkin mahu menyimpan keseluruhan set data pengeluaran anda dalam projek Awan yang berasingan, dan kemudian menggunakan akaun perkhidmatan untuk membenarkan akses kepada data daripada setiap projek aplikasi Google Cloud disusun mengikut projek. Projek boleh dikumpulkan ke dalam folder dan folder boleh dikumpulkan di bawah organisasi anda. Peranan ditetapkan pada peringkat projek dan kebenaran akses ditambahkan pada peranan ini pada peringkat baldi Storan Awan. Struktur ini sejajar dengan struktur kebenaran pembekal kedai objek lain Untuk amalan terbaik untuk menstruktur organisasi Awan Google, lihat Tentukan hierarki sumber untuk zon pendaratan Awan Google anda ## Langkah 3: Menilai pilihan pemindahan anda Untuk menilai pilihan pemindahan data anda, pasukan pemindahan perlu mempertimbangkan beberapa faktor, termasuk yang berikut: - Kos - Masa - Luar talian berbanding pilihan pemindahan dalam talian - Memindahkan alat dan teknologi - Keselamatan kos Kebanyakan kos yang berkaitan dengan pemindahan data termasuk yang berikut: - Kos rangkaian - Masuk ke Cloud Storage adalah percuma. Walau bagaimanapun, jika anda mengehos data anda pada pembekal awan awam, anda boleh mengharapkan untuk membayar caj keluar dan kemungkinan kos penyimpanan (contohnya, membaca operasi) untuk memindahkan data anda. Caj ini dikenakan untuk data yang datang daripada Google atau pembekal awan lain - Jika data anda dihoskan di pusat data peribadi yang anda kendalikan, anda mungkin juga menanggung kos tambahan untuk menyediakan lebih lebar jalur kepada Google Cloud - Kos penyimpanan dan operasi untuk Storan Awan semasa dan selepas pemindahan data - Kos produk (contohnya, Perkakas Pemindahan) - Kos kakitangan untuk memasang pasukan anda dan mendapatkan sokongan logistik Masa Beberapa perkara dalam pengkomputeran menyerlahkan had perkakasan rangkaian sebagai memindahkan sejumlah besar data. Sebaik-baiknya, anda boleh memindahkan 1 GB dalam lapan saat melalui rangkaian 1 Gbps. Jika anda menskalakannya kepada set data yang besar (contohnya, 100 TB), masa pemindahan ialah 12 hari. Memindahkan set data yang besar boleh menguji had infrastruktur anda dan berpotensi menyebabkan masalah untuk perniagaan anda Anda boleh menggunakan kalkulator berikut untuk memahami berapa lama masa pemindahan mungkin diambil, berdasarkan saiz set data yang anda alihkan dan lebar jalur yang tersedia untuk pemindahan. Peratusan masa pengurusan tertentu diambil kira dalam pengiraan. Selain itu, kecekapan jalur lebar yang berkesan disertakan, jadi nombor yang terhasil adalah lebih realistik dan nombor ideal tidak akan diperolehi Anda mungkin tidak mahu memindahkan set data yang besar daripada rangkaian syarikat anda semasa waktu kerja puncak. Jika pemindahan membebankan rangkaian, tiada orang lain akan dapat menyelesaikan kerja yang diperlukan atau kritikal misi. Atas sebab ini, pasukan perpindahan perlu mempertimbangkan faktor masaSelepas data dipindahkan ke Cloud Storage, anda boleh menggunakan beberapa teknologi untuk memproses fail baharu apabila ia tiba, seperti Dataflow Meningkatkan lebar jalur rangkaian Cara anda meningkatkan lebar jalur rangkaian bergantung pada cara anda menyambung ke Google Cloud Dalam pemindahan awan ke awan antara Google Cloud dan penyedia awan lain, Google memperuntukkan sambungan antara pusat data vendor awan, tidak memerlukan persediaan daripada anda Jika anda memindahkan data antara pusat data peribadi anda dan Google Cloud, terdapat tiga pendekatan utama: - Sambungan internet awam dengan menggunakan API awam - Peering Langsung dengan menggunakan API awam - Cloud Interconnect dengan menggunakan API peribadi Apabila menilai pendekatan ini, adalah berguna untuk mempertimbangkan keperluan sambungan jangka panjang anda. Anda mungkin membuat kesimpulan bahawa kos tinggi untuk memperoleh lebar jalur semata-mata untuk tujuan pemindahan, tetapi apabila mengambil kira penggunaan jangka panjang Google Cloud dan keperluan rangkaian merentas organisasi anda, pelaburan itu mungkin berbaloi Menyambung dengan sambungan internet awam Apabila anda menggunakan sambungan internet awam, daya pemprosesan rangkaian kurang boleh diramal kerana anda dihadkan oleh kapasiti dan penghalaan pembekal perkhidmatan Internet (ISP) anda. ISP mungkin juga menawarkan Perjanjian Tahap Perkhidmatan (SLA) terhad atau tidak sama sekali. Walau bagaimanapun, sambungan ini menawarkan kos yang agak rendah, dan dengan pengaturan peering Google yang meluas, ISP anda mungkin mengarahkan anda ke rangkaian global Google dalam beberapa lompatan rangkaian. Kami mengesyorkan agar anda menyemak dengan pentadbir keselamatan anda sama ada dasar syarikat anda melarang memindahkan beberapa set data melalui internet awam. Semak juga sama ada sambungan internet awam digunakan untuk trafik pengeluaran anda. Pemindahan data berskala besar mungkin memberi kesan negatif kepada rangkaian pengeluaran Berhubung dengan Peering Langsung Untuk mengakses rangkaian Google dengan lompatan rangkaian yang lebih sedikit berbanding dengan sambungan internet awam, anda boleh menggunakan Direct Peering. Dengan menggunakan Direct Peering, anda boleh bertukar-tukar trafik internet antara rangkaian anda dan Edge Points of Presence (PoPs) Google, yang bermaksud data anda tidak menggunakan internet awam. Melakukannya juga mengurangkan bilangan lompatan antara rangkaian anda dan rangkaian Google. Mengintai dengan rangkaian Google memerlukan anda menyediakan Nombor Sistem Autonomi (AS) berdaftar, menyambung kepada Google menggunakan pertukaran internet dan menyediakan hubungan sepanjang masa dengan pusat operasi rangkaian anda Menyambung dengan Cloud Interconnect Cloud Interconnect menawarkan sambungan terus ke Google Cloud melalui Google atau salah satu penyedia perkhidmatan Cloud Interconnect. Perkhidmatan ini membantu menghalang data anda daripada pergi ke internet awam dan boleh memberikan daya pemprosesan yang lebih konsisten untuk pemindahan data yang besar. Biasanya, Cloud Interconnect menyediakan SLA untuk ketersediaan rangkaian dan prestasi rangkaian mereka. Hubungi pembekal perkhidmatan terus untuk mengetahui lebih lanjut. Cloud Interconnect juga menyokong pengalamatan peribadi, RFC 1918, supaya awan secara berkesan menjadi lanjutan pusat data peribadi anda tanpa memerlukan alamat IP awam atau NAT Pemindahan dalam talian berbanding luar talian Keputusan penting ialah sama ada untuk menggunakan proses luar talian atau dalam talian untuk pemindahan data anda. Iaitu, anda mesti memilih antara memindahkan melalui rangkaian, sama ada interconnect khusus atau internet awam, atau memindahkan menggunakan perkakasan storan Untuk membantu dengan keputusan ini, kami menyediakan kalkulator pemindahan untuk membantu anda menganggarkan perbezaan masa dan kos antara kedua-dua pilihan ini. Carta berikut juga menunjukkan beberapa kelajuan pemindahan untuk pelbagai saiz set data dan lebar jalur. Jumlah overhed pengurusan tertentu terbina dalam pengiraan ini Seperti yang dinyatakan sebelum ini, anda mungkin perlu mempertimbangkan sama ada kos untuk mencapai latensi yang lebih rendah untuk pemindahan data anda (seperti memperoleh lebar jalur rangkaian) diimbangi oleh nilai pelaburan tersebut kepada organisasi anda Pilihan tersedia daripada Google Google menawarkan beberapa alatan dan teknologi untuk membantu anda melakukan pemindahan data Memutuskan antara pilihan pemindahan Google Memilih pilihan pemindahan bergantung pada kes penggunaan anda, seperti yang ditunjukkan oleh jadual berikut | |Tempat anda mengalihkan data dari | |Senario | |Produk yang dicadangkan |Pembekal awan lain (contohnya, Perkhidmatan Web Amazon atau Microsoft Azure) kepada Perkhidmatan Pemindahan CloudStorage Google| |Cloud Storage to Cloud Storage (dua baldi berbezaStorage Transfer Service| |Pusat data peribadi anda ke Google Cloud||Lebar lebar yang mencukupi untuk memenuhi tarikh akhir projek anda | untuk kurang daripada 1 TB data | | |Pusat data peribadi anda ke Google Cloud||Lebar lebar yang mencukupi untuk memenuhi tarikh akhir projek anda | untuk lebih daripada 1 TB data |Perkhidmatan Pemindahan Storan untuk data di premis| |Pusat data peribadi anda ke Google Cloud||Jalur lebar tidak mencukupi untuk memenuhi tarikh akhir projek anda||Perkakas Pemindahan| gsutil untuk pemindahan data di premis yang lebih kecil The alat gsutil ialah alat standard untuk pemindahan bersaiz kecil hingga sederhana (kurang daripada 1 TB) melalui rangkaian berskala perusahaan biasa, daripada pusat data persendirian kepada Google Cloud. Kami mengesyorkan anda sertakan gsutil dalam laluan lalai anda apabila anda menggunakan Cloud Shell Ia juga tersedia secara lalai apabila anda memasang CLI Awan Google Ia adalah alat yang boleh dipercayai yang menyediakan semua ciri asas yang anda perlukan untuk mengurus awak Storan Awan contoh, termasuk menyalin data anda ke dan dari sistem fail tempatan dan Storan Awan. Ia juga boleh memindahkan dan menamakan semula objek dan melakukan penyegerakan tambahan masa nyata, seperti rsync, ke baldi Storan Awan gsutil amat berguna dalam senario berikut: - Pemindahan anda perlu dilaksanakan mengikut keperluan, atau semasa sesi baris arahan oleh pengguna anda - Anda hanya memindahkan beberapa fail atau fail yang sangat besar, atau kedua-duanya - Anda menggunakan output program (menstrim output ke Cloud Storage) - Anda perlu menonton direktori dengan bilangan fail yang sederhana dan menyegerakkan sebarang kemas kini dengan latensi yang sangat rendah Asas untuk bermula dengan gsutil adalah untuk buat baldi Storan Awan dan menyalin data kepada baldi itu. Untuk pemindahan set data yang lebih besar, terdapat dua perkara yang perlu dilakukan pertimbangkan: Untuk pemindahan berbilang benang, gunakan gsutil -m Beberapa fail diproses secara selari, meningkatkan kelajuan pemindahan anda Untuk satu fail besar, gunakan pemindahan Komposit Kaedah ini memecahkan fail besar kepada ketulan yang lebih kecil untuk meningkatkan kelajuan pemindahan. Potongan dipindahkan dan disahkan secara selari, menghantar semua data kepada Google. Sebaik sahaja ketulan tiba di Google, ia digabungkan (dirujuk sebagai mengarang) untuk membentuk satu objek Pemindahan komposit dengan gsutil mempunyai beberapa kelemahan, termasuk setiap bahagian (bukan keseluruhan objek) disemak secara individu, dan komposisi kelas penyimpanan sejuk mengakibatkan penalti pemadaman awal Perkhidmatan Pemindahan Storan untuk pemindahan besar data di premis Suka gsutil, Perkhidmatan Pemindahan Storan untuk data di premis membolehkan pemindahan daripada storan sistem fail rangkaian (NFS) ke Storan Awan. Walaupun gsutil boleh menyokong saiz pemindahan kecil (up kepada 1 TB), Perkhidmatan Pemindahan Storan untuk data di premis direka untuk pemindahan berskala besar (sehingga petabait data, berbilion fail). Ia menyokong salinan penuh atau salinan tambahan, dan ia berfungsi pada semua pilihan pemindahan yang disenaraikan awal dalam Memutuskan antara pilihan pemindahan Google. Ia juga mempunyai antara muka pengguna grafik yang mudah dan terurus; malah tidak arif dari segi teknikal pengguna (selepas persediaan) boleh menggunakannya untuk memindahkan data Perkhidmatan Pemindahan Storan untuk data di premis amat berguna dalam senario berikut: - Anda mempunyai lebar jalur tersedia yang mencukupi untuk mengalihkan volum data (lihat Kalkulator Pemindahan Data Awan Google) - Anda menyokong pangkalan besar pengguna dalaman yang mungkin mencari baris arahan alat seperti gsutilchallenging untuk digunakan - Anda memerlukan pelaporan ralat yang mantap dan rekod semua fail dan objek yang dialihkan - Anda perlu mengehadkan kesan pemindahan pada beban kerja lain di pusat data anda (produk ini boleh kekal di bawah had lebar jalur yang ditentukan pengguna) - Anda mahu menjalankan pemindahan berulang mengikut jadual Anda menyediakan Perkhidmatan Pemindahan Storan untuk data di premis dengan memasang pada- perisian premis [dikenali sebagai *ejen*] ke komputer di pusat data anda. Ini ejen berada dalam bekas Docker, yang menjadikannya lebih mudah untuk menjalankan banyak daripada mereka atau mengatur mereka melalui Kubernetes Selepas persediaan selesai, pengguna boleh memulakan pemindahan dalam konsol Google Cloud dengan menyediakan direktori sumber, baldi destinasi dan masa atau jadual Perkhidmatan Pemindahan Storan secara rekursif merangkak subdirektori dan fail dalam direktori sumber dan mencipta objek dengan nama yang sepadan dalam Storan Awan [objek /dir/foo/file.txt menjadi objek dalam baldi destinasi bernama /dir/foo/file.txt]. Perkhidmatan Pemindahan Storan secara automatik cuba semula pemindahan apabila ia menghadapi sebarang ralat sementara Semasa pemindahan berjalan, anda boleh memantau bilangan fail yang dipindahkan dan kelajuan pemindahan keseluruhan, dan anda boleh melihat sampel ralat Apabila pemindahan selesai, fail tab-delimited (TSV) dijana dengan rekod penuh semua fail yang disentuh dan sebarang mesej ralat diterima. Ejen bertolak ansur dengan kesalahan, jadi jika ejen turun, pemindahan diteruskan dengan ejen yang tinggal. Ejen juga mengemas kini diri dan menyembuhkan diri, jadi anda tidak perlu risau tentang menampal versi terkini atau memulakan semula proses jika ia gagal kerana isu yang tidak dijangka Perkara yang perlu dipertimbangkan semasa menggunakan Perkhidmatan Pemindahan Storan: Gunakan persediaan ejen yang sama pada setiap mesin. Semua ejen harus melihat pemasangan Sistem Fail Rangkaian (NFS) yang sama dengan cara yang sama (laluan relatif yang sama). Persediaan ini adalah keperluan untuk produk berfungsi. Lebih banyak ejen menghasilkan lebih kelajuan.Oleh kerana pemindahan secara automatik selari pada semua ejen, kami mengesyorkan agar anda menggunakan banyak ejen supaya anda menggunakan lebar jalur yang tersedia. Had lebar jalur boleh melindungi beban kerja anda. Beban kerja anda yang lain mungkin menggunakan lebar jalur pusat data anda, jadi tetapkan had lebar jalur untuk mengelakkan pemindahan daripada memberi kesan kepada SLA anda. Rancang masa untuk menyemak ralat. Pemindahan besar selalunya boleh mengakibatkan ralat yang memerlukan semakan. Perkhidmatan Pemindahan Storan membolehkan anda melihat contoh ralat yang dihadapi terus dalam konsol Google Cloud. Jika perlu, anda boleh memuatkan rekod penuh semua ralat pemindahan ke BigQuery untuk menyemak fail atau menilai ralat yang kekal walaupun selepas mencuba semula. Ralat ini mungkin disebabkan oleh menjalankan apl yang menulis kepada sumber semasa pemindahan berlaku, atau ralat mungkin mendedahkan isu yang memerlukan penyelesaian masalah (contohnya, ralat kebenaran). Sediakan Pemantauan Awan untuk pemindahan yang berjalan lama. Perkhidmatan Pemindahan Storan membolehkan Pemantauan memantau kesihatan dan daya pengeluaran ejen, supaya anda boleh menetapkan makluman yang memberitahu anda apabila ejen tidak bekerja atau memerlukan perhatian. Bertindak atas kegagalan ejen adalah penting untuk pemindahan yang mengambil masa beberapa hari atau minggu, supaya anda mengelakkan kelembapan atau gangguan yang ketara yang boleh melambatkan garis masa projek anda Perkakas Pemindahan untuk pemindahan yang lebih besar Untuk pemindahan berskala besar (terutamanya pemindahan dengan lebar jalur rangkaian terhad), Transfer Appliance ialah pilihan yang sangat baik, terutamanya apabila sambungan rangkaian pantas tidak tersedia dan terlalu mahal untuk memperoleh lebih lebar jalur Perkakas Pemindahan amat berguna dalam senario berikut: - Pusat data anda berada di lokasi terpencil dengan akses terhad atau tiada akses kepada lebar jalur- Lebar jalur tersedia, tetapi tidak boleh diperoleh dalam masa untuk memenuhi tarikh akhir anda - Anda mempunyai akses kepada sumber logistik untuk menerima dan menyambungkan peralatan ke rangkaian anda Dengan pilihan ini, pertimbangkan perkara berikut: - Perkakas Pemindahan memerlukan anda menerima dan menghantar semula perkakasan milik Google - Bergantung pada sambungan internet anda, kependaman untuk memindahkan data ke Google Cloud biasanya lebih tinggi dengan Transfer Appliance daripada dalam talian - Perkakas Pemindahan hanya tersedia di negara tertentu Dua kriteria utama yang perlu dipertimbangkan dengan Perkakas Pemindahan ialah kos dan kelajuan. Dengan ketersambungan rangkaian yang munasabah (contohnya, 1 Gbps), pemindahan 100 TB data dalam talian mengambil masa lebih 10 hari untuk diselesaikan. Jika kadar ini boleh diterima, pemindahan dalam talian berkemungkinan merupakan penyelesaian yang baik untuk keperluan anda. Jika anda hanya mempunyai sambungan 100 Mbps (atau lebih teruk dari lokasi terpencil), pemindahan yang sama mengambil masa lebih 100 hari. Pada ketika ini, adalah wajar mempertimbangkan pilihan pemindahan luar talian seperti Transfer Appliance Memperoleh Perkakas Pemindahan adalah mudah. Dalam konsol Google Cloud, anda meminta Perkakas Pemindahan, nyatakan jumlah data yang anda miliki, dan kemudian Google menghantar satu atau lebih peralatan ke lokasi yang anda minta. Anda diberi beberapa hari untuk memindahkan data anda ke perkakas ("data capture") dan menghantarnya kembali kepada Google Jangka masa pemulihan untuk perkakas rangkaian dihantar, dimuatkan dengan data anda, dihantar balik dan dihidratkan semula pada Google Cloud ialah 20 hari. Jika tempoh masa pemindahan dalam talian anda dikira lebih banyak daripada jangka masa ini, pertimbangkan Perkakas Pemindahan. Jumlah kos untuk proses peranti 300 TB adalah kurang daripada $2,500 Perkhidmatan Pemindahan Storan untuk pemindahan awan ke awan Perkhidmatan Pemindahan Storan ialah perkhidmatan yang terurus sepenuhnya dan berskala tinggi untuk mengautomasikan pemindahan daripada publisiti lain ke Storan Awan. Ia menyokong pemindahan ke Storan Awan daripada Amazon S3 dan HTTP Untuk Amazon S3, anda boleh membekalkan kunci akses dan baldi S3 dengan pilihan penapis untuk objek S3 untuk dipilih, dan kemudian anda menyalin objek S3 ke mana-mana Baldi Storan Awan. Perkhidmatan ini juga menyokong salinan harian mana-mana objek yang diubah suai. Perkhidmatan ini tidak menyokong pemindahan data pada masa ini *kepada* Amazon S3 Untuk HTTP, anda boleh memberikan Perkhidmatan Pemindahan Storan senarai URL awam dalam format yang ditentukan Pendekatan ini memerlukan anda menulis skrip yang menyediakan saiz setiap satu fail dalam bait, bersama-sama dengan cincangan MD5 yang dikodkan Base64 bagi kandungan fail Kadangkala saiz fail dan cincang tersedia daripada tapak web sumber. Jika tidak, anda memerlukan akses setempat kepada fail, dalam hal ini, mungkin lebih mudah untuk guna gsutil, seperti yang diterangkan sebelum ini Jika anda mempunyai pemindahan, Perkhidmatan Pemindahan Storan ialah cara terbaik untuk mendapatkan data dan menyimpannya, terutamanya apabila memindahkan daripada awan awam yang lain Keselamatan Bagi kebanyakan pengguna Google Cloud, keselamatan adalah fokus utama mereka dan terdapat pelbagai tahap keselamatan yang tersedia. Beberapa aspek keselamatan yang perlu dipertimbangkan termasuk melindungi data semasa rehat (kebenaran dan akses kepada sumber dan sistem storan destinasi), melindungi data semasa dalam transit dan melindungi akses kepada produk pemindahan. Jadual berikut menggariskan aspek keselamatan mengikut produk ini | |Produk | |Data dalam keadaan rehat | |Data dalam transit | |Akses untuk memindahkan produk |Transfer Appliance||Semua data disulitkan di restData dilindungi dengan kunci yang diuruskan oleh pelangganSesiapa sahaja boleh memesan perkakas, tetapi untuk menggunakannya mereka memerlukan akses kepada sumber data.| | ||Kunci akses diperlukan untuk mengakses Cloud Storage, yang disulitkan di restData dihantar melalui HTTPS dan disulitkan dalam transitSesiapa sahaja boleh memuat turun dan menjalankan | |Perkhidmatan Pemindahan Storan untuk data di premis||Kunci akses diperlukan untuk mengakses Storan Awan, yang disulitkan semasa rehat. Proses ejen boleh mengakses fail setempat kerana kebenaran OS membenarkanData dihantar melalui HTTPS dan disulitkan dalam transitAnda mesti mempunyai kebenaran editor objek untuk mengakses baldi Storan Awan.| |Perkhidmatan Pemindahan Storan||Kunci akses diperlukan untuk sumber bukan Google Cloud (contohnya, Amazon S3). Kekunci akses diperlukan untuk mengakses Storan Awan, yang disulitkan pada restData dihantar melalui HTTPS dan disulitkan dalam transitAnda mesti mempunyai kebenaran IAM untuk akaun perkhidmatan untuk mengakses kebenaran editor sumber dan objek untuk mana-mana baldi Storan Awan.| Untuk mencapai peningkatan keselamatan garis dasar, pemindahan dalam talian ke Google Cloud menggunakan gsutil dicapai melalui HTTPS, data disulitkan dalam transit, dan semua data masuk Storan Awan, secara lalai, disulitkan semasa rehat. Untuk maklumat mengenai skim berkaitan keselamatan yang lebih canggih, lihat Pertimbangan keselamatan dan privasi Jika anda menggunakan Perkakas Pemindahan, kunci keselamatan yang anda kawal boleh membantu melindungi data anda. Secara umumnya, kami mengesyorkan agar anda melibatkan pasukan keselamatan anda untuk memastikan pelan pemindahan anda memenuhi keperluan syarikat dan peraturan anda Produk pemindahan pihak ketiga Untuk pengoptimuman peringkat rangkaian lanjutan atau aliran kerja pemindahan data yang berterusan, anda mungkin mahu menggunakan alat yang lebih maju. Untuk mendapatkan maklumat tentang alat yang lebih maju, lawati rakan kongsi Google Pautan berikut menyerlahkan beberapa daripada banyak pilihan (disenaraikan di sini dalam susunan abjad): - Aspera On Cloud adalah berdasarkan protokol Aspera yang dipatenkan dan sesuai untuk aliran kerja berskala besar. Ia tersedia atas permintaan sebagai model lesen langganan - Cloud FastPath oleh Tervela boleh digunakan untuk membina aliran data terurus masuk dan keluar dari Google Cloud. Untuk butiran, lihat Menggunakan Cloud FastPath untuk mencipta strim data - Signiant menawarkan Media Shuttle sebagai penyelesaian perisian-sebagai-perkhidmatan (SaaS) untuk memindahkan sebarang fail ke atau dari mana-mana sahaja. Signiant juga menawarkan Flight sebagai utiliti penskalaan auto berdasarkan protokol yang sangat dioptimumkan, dan Signiant Flight Deck sebagai alat automasi untuk pemindahan berskala besar merentasi lokasi yang tersebar secara geografi. ## Langkah 4: Bersedia untuk pemindahan anda Untuk pemindahan besar, atau pemindahan dengan kebergantungan yang ketara, adalah penting untuk memahami cara mengendalikan produk pemindahan anda. Pelanggan biasanya melalui langkah-langkah berikut: Harga dan anggaran ROI. Langkah ini menyediakan banyak pilihan untuk membantu dalam membuat keputusan. Ujian fungsional. Dalam langkah ini, anda mengesahkan bahawa produk boleh berjaya disediakan dan kesambungan rangkaian (jika berkenaan) berfungsi. Anda juga menguji bahawa anda boleh memindahkan sampel yang mewakili data anda (termasuk mengiringi langkah bukan pemindahan, seperti memindahkan tika VM) ke destinasi Anda biasanya boleh melakukan langkah ini sebelum memperuntukkan semua sumber seperti mesin pemindahan atau lebar jalur. Matlamat langkah ini termasuk yang berikut: - Sahkan bahawa anda boleh memasang dan mengendalikan pemindahan - Menghadapi isu pemberhentian projek yang berpotensi yang menyekat pergerakan data (contohnya, laluan rangkaian) atau operasi anda (contohnya, latihan diperlukan pada langkah bukan pemindahan) Ujian prestasi. Dalam langkah ini, anda menjalankan pemindahan pada sampel besar data anda (biasanya 3ÃÂ¢ÃÂÃÂ5%) selepas sumber pengeluaran diperuntukkan untuk melakukan perkara berikut: - Sahkan bahawa anda boleh menggunakan semua sumber yang diperuntukkan dan boleh mencapai kelajuan yang anda jangkakan - Mengatasi dan memperbaiki kesesakan (contohnya, sistem storan sumber perlahan) ## Langkah 5: Memastikan integriti pemindahan anda Untuk membantu memastikan integriti data anda semasa pemindahan, kami mengesyorkan anda mengambil langkah berjaga-jaga berikut: - Dayakan versi dan sandaran pada destinasi anda untuk mengehadkan kerosakan pemadaman tidak sengaja - Sahkan data anda sebelum mengalih keluar data sumber Untuk pemindahan data berskala besar (dengan petabait data dan berbilion-bilion fail), kadar ralat terpendam garis dasar sistem storan sumber asas serendah 0.0001% masih mengakibatkan kehilangan data beribu-ribu fail dan gigabait. Biasanya, aplikasi yang berjalan di sumber sudah bertolak ansur dengan ralat ini, dalam kes ini, pengesahan tambahan tidak diperlukan. Dalam beberapa senario luar biasa (contohnya, arkib jangka panjang), lebih banyak pengesahan diperlukan sebelum dianggap selamat untuk memadamkan data daripada sumber Bergantung pada keperluan aplikasi anda, kami mengesyorkan agar anda menjalankan beberapa ujian integriti data selepas pemindahan selesai untuk memastikan aplikasi itu terus berfungsi seperti yang dimaksudkan. Banyak produk pemindahan mempunyai semakan integriti data terbina dalam. Walau bagaimanapun, bergantung pada profil risiko anda, anda mungkin ingin melakukan satu set pemeriksaan tambahan pada data dan apl yang membaca data tersebut sebelum anda memadamkan data daripada sumber. Sebagai contoh, anda mungkin ingin mengesahkan sama ada jumlah semak yang anda rakam dan dikira secara bebas sepadan dengan data yang ditulis di destinasi atau mengesahkan bahawa set data yang digunakan oleh aplikasi berjaya dipindahkan ## Mencari bantuan Google Cloud menawarkan pelbagai pilihan dan sumber untuk anda mendapatkan bantuan dan sokongan yang diperlukan untuk menggunakan perkhidmatan Google Cloud dengan terbaik: Sumber layan diri. Jika anda tidak memerlukan sokongan khusus, anda mempunyai pelbagai pilihan yang boleh anda gunakan mengikut kadar anda sendiri. Rakan kongsi teknologi.Google Cloud telah bekerjasama dengan berbilang syarikat untuk membantu anda menggunakan produk dan perkhidmatan kami. Perkhidmatan profesional Google Cloud. Perkhidmatan profesional kami boleh membantu anda memanfaatkan sepenuhnya pelaburan anda dalam Google Cloud Terdapat lebih banyak sumber untuk membantu memindahkan beban kerja ke Google Cloud dalam Pusat Migrasi Awan Google Untuk mendapatkan maklumat lanjut tentang sumber ini, lihat bahagian bantuan mencari Migrasi ke Google Cloud: Bermula ## Apa yang akan datang - Jika anda mempunyai soalan tentang merangka pelan pemindahan atau tentang kes penggunaan tertentu, anda boleh menghubungi Sokongan Awan Google atau menghubungi terus pasukan Akaun Google anda - Untuk memulakan pemindahan anda, kami menyediakan panduan berikut: - Untuk strategi pemindahan data umum: Menghijrahkan aplikasi monolitik kepada perkhidmatan mikro di Google Kubernetes Engine - Untuk pemindahan luar talian: Transfer Appliance - Untuk pemindahan dalam talian dari awan awam: Perkhidmatan Pemindahan Storan - Terokai seni bina rujukan, rajah, tutorial dan amalan terbaik tentang Google Cloud. Lihatlah Pusat Seni Bina Awan kami.