Kanggo akeh pelanggan, langkah pisanan kanggo nggunakake produk Google Cloud yaiku njupuk data menyang Google Cloud. Dokumen iki nylidiki proses kasebut, saka ngrancang transfer data nganti nggunakake praktik paling apik kanggo ngetrapake rencana
Nransfer set data gedhe kalebu mbangun tim sing tepat, ngrancang awal, lan nguji rencana transfer sampeyan sadurunge dileksanakake ing lingkungan produksi. Sanajan langkah-langkah kasebut bisa njupuk wektu akeh tinimbang transfer kasebut, persiapan kasebut bisa mbantu nyuda gangguan ing operasi bisnis sajrone transfer kasebut.
Dokumen iki minangka bagéan saka seri multi-bagéan babagan migrasi menyang Google Cloud. Yen sampeyan kepengin weruh ringkesan seri kasebut, deleng Migrasi menyang Google Cloud: Milih jalur migrasi sampeyan
Artikel iki minangka bagéan saka seri:
- Migrasi menyang Google Cloud: Miwiti
- Migrasi menyang Google Cloud: Mbiji lan nemokake beban kerja sampeyan
- Migrasi menyang Google Cloud: Nggawe dhasar sampeyan
- Migrasi menyang Google Cloud: Transfer data gedhe (dokumen iki)
- Migrasi menyang Google Cloud: Nyebarake beban kerja sampeyan
- Migrasi menyang Google Cloud: Migrasi saka panyebaran manual menyang panyebaran wadhah kanthi otomatis
- Migrasi menyang Google Cloud: Ngoptimalake lingkungan sampeyan
- Migrasi menyang Google Cloud: Praktik paling apik kanggo validasi rencana migrasi
Diagram ing ngisor iki nggambarake dalan migrasi sampeyan
Fase panyebaran minangka fase katelu ing migrasi menyang Google Cloud, ing ngendi sampeyan ngrancang proses panyebaran kanggo beban kerja sampeyan.
Dokumen iki migunani yen sampeyan ngrancang migrasi saka lingkungan ing papan, saka lingkungan hosting pribadi, saka panyedhiya maya liyane menyang Google Cloud, utawa yen sampeyan ngevaluasi kesempatan kanggo migrasi lan pengin njelajah apa sing bakal katon. kaya
## Apa iku transfer data?
Kanggo tujuan dokumen iki, transfer data minangka proses mindhah data tanpa ngowahi, umpamane, mindhah file kaya obyek kasebut.
Transfer data ora kaya prasaja
Iku nggodho kanggo mikir transfer data minangka siji sesi FTP buta, ngendi sampeyan sijine file ing sisih siji lan ngenteni wong metu ing sisih liyane. Nanging, ing umume lingkungan perusahaan, proses transfer kalebu akeh faktor kayata:
- Nggawe rencana transfer sing nyathet wektu administratif, kalebu wektu kanggo mutusake pilihan transfer, entuk persetujuan, lan ngatasi masalah sing ora dikarepake.
- Koordinasi wong ing organisasi sampeyan, kayata tim sing nglakokake transfer, personel sing nyetujoni alat lan arsitektur, lan para pemangku kepentingan bisnis sing prihatin karo nilai lan gangguan sing bisa ditindakake dening data obah.
- Milih alat transfer sing tepat adhedhasar sumber daya, biaya, wektu, lan pertimbangan proyek liyane
- Ngatasi tantangan transfer data, kalebu masalah "kacepetan cahya"(bandwidth ora cukup), mindhah set data sing aktif digunakake, nglindhungi lan ngawasi data nalika lagi mabur, lan mesthekake yen data ditransfer kanthi sukses
Dokumen iki nduweni tujuan kanggo mbantu sampeyan miwiti inisiatif transfer sing sukses
Proyek liyane sing ana gandhengane karo transfer data
Dhaptar ing ngisor iki kalebu sumber daya kanggo jinis proyek transfer data liyane sing ora kalebu ing dokumen iki:
- Yen sampeyan kudu ngowahi data (kayata nggabungake baris, nggabungake set data, utawa nyaring informasi sing bisa dingerteni pribadhi), sampeyan kudu nimbang solusi ekstrak, transformasi, lan muat (ETL) sing bisa nyetor data menyang gudang data Google Cloud. Kanggo conto arsitektur iki, deleng tutorial Dataflow iki
- Yen sampeyan kudu migrasi database lan aplikasi sing gegandhengan (contone, kanggo ngangkat lan mindhah aplikasi database), sampeyan bisa ndeleng dokumentasi kanggo Cloud Spanner, solusi kanggo PostgreSQL, lan dokumentasi liyane babagan jinis database sampeyan.
- Yen sampeyan pengin mindhah data saka HBase menyang layanan database NoSQL sing dikelola kanthi lengkap sing kompatibel karo HBase API lan bisa nangani beban kerja sing luwih gedhe, deleng Cloud Bigtable
- Yen sampeyan kudu mindhah mesin virtual (VM), coba gunakake produk migrasi VM Google, Migrate to Virtual Machines
## Langkah 1: Nglumpukake tim sampeyan
Ngrencanakake transfer biasane mbutuhake personel kanthi peran lan tanggung jawab ing ngisor iki:
Ngaktifake sumber daya sing dibutuhake kanggo transfer: Panyimpenan, IT, lan admin jaringan, sponsor eksekutif, lan penasehat liyane (contone, tim Akun Google utawa mitra integrasi) Nyetujoni keputusan transfer: Pamilik utawa gubernur data (kanggo kabijakan internal babagan sapa diijini nransfer data apa), penasehat hukum (kanggo peraturan sing gegandhengan karo data), lan admin keamanan (kanggo kabijakan internal babagan cara akses data dilindhungi) Nglakokake transfer: Pimpinan tim, manajer proyek (kanggo nglakokake lan nglacak proyek ), tim teknik, lan nampa lan ngirim ing situs (kanggo nampa hardware piranti)
Penting kanggo ngenali sapa sing duwe tanggung jawab sadurunge kanggo proyek transfer sampeyan lan kalebu ing rapat perencanaan lan keputusan yen cocog. Perencanaan organisasi sing ora apik asring nyebabake inisiatif transfer gagal
Nglumpukake syarat lan masukan proyek saka para pemangku kepentingan iki bisa dadi tantangan, nanging nggawe rencana lan netepake peran lan tanggung jawab sing jelas bakal entuk manfaat. Sampeyan ora bisa samesthine ngerti kabeh rincian data sampeyan. Nglumpukake tim menehi wawasan luwih akeh babagan kabutuhan bisnis. Praktek paling apik kanggo ngenali masalah potensial sadurunge sampeyan nandur modal wektu, dhuwit, lan sumber daya kanggo ngrampungake transfer
## Langkah 2: Nglumpukake syarat lan sumber daya sing kasedhiya
Nalika sampeyan ngrancang rencana transfer, disaranake sampeyan ngumpulake syarat kanggo transfer data lan banjur mutusake pilihan transfer. Kanggo ngumpulake syarat, sampeyan bisa nggunakake proses ing ngisor iki:
- Ngenali dataset apa sing kudu dipindhah
- Pilih alat kaya Katalog Data kanggo ngatur data dadi klompok logis sing dipindhah lan digunakake bebarengan
- Makarya karo tim ing organisasi sampeyan kanggo validasi utawa nganyari panglompokan kasebut
- Ngenali dataset apa sampeyan
bisa ngalih
- Coba apa faktor regulasi, keamanan, utawa liyane nglarang sawetara set data ditransfer
- Yen sampeyan kudu ngowahi sawetara data sadurunge mindhah (contone, mbusak data sensitif utawa ngatur maneh data), coba gunakake produk integrasi data kaya Dataflow utawa Cloud Data Fusion, utawa produk orkestrasi alur kerja kaya Cloud Composer
- Kanggo dataset sing bisa dipindhah, nemtokake ngendi kanggo mindhah saben dataset
- Rekam pilihan panyimpenan sing sampeyan pilih kanggo nyimpen data. Biasane, sistem panyimpenan target ing Google Cloud yaiku Cloud Storage. Sanajan sampeyan butuh solusi sing luwih rumit sawise aplikasi sampeyan aktif, Cloud Storage minangka pilihan panyimpenan sing bisa diukur lan tahan lama.
- Ngerti kabijakan akses data apa sing kudu dijaga sawise migrasi
- Nemtokake yen sampeyan kudu nyimpen data iki ing wilayah tartamtu
- Rencana carane struktur data iki ing panggonan. Contone, bakal padha karo sumber utawa beda?
- Nemtokake yen sampeyan kudu nransfer data kanthi terus-terusan
- Kanggo dataset sing bisa dipindhah, nemtokake sumber daya sing kasedhiya
kanggo mindhah wong-wong mau
- Wektu: Kapan transfer kudu rampung?
- Biaya: Apa anggaran sing kasedhiya kanggo tim lan biaya transfer?
- Wong: Sapa sing kasedhiya kanggo nglakokake transfer kasebut?
- Bandwidth (kanggo transfer online): Pira bandwidth sampeyan saiki kasedhiya kanggo Google Cloud bisa dialokasikan kanggo transfer, lan kanggo wektu apa?
Sadurunge ngevaluasi lan milih opsi transfer ing tahap perencanaan sabanjure, disaranake sampeyan netepake manawa ana bagean saka model IT sampeyan bisa ditingkatake, kayata tata kelola data, organisasi, lan keamanan.
Model keamanan sampeyan
Akeh anggota tim transfer bisa uga diwenehi peran anyar ing organisasi Google Cloud minangka bagean saka proyek transfer data. Perencanaan transfer data minangka wektu sing paling apik kanggo mriksa ijin Identity and Access Management (IAM) lan praktik paling apik kanggo nggunakake IAM kanthi aman. Masalah kasebut bisa mengaruhi cara sampeyan menehi akses menyang panyimpenan. Contone, sampeyan bisa mbatesi akses nulis menyang data sing wis diarsipake amarga alasan peraturan, nanging sampeyan bisa ngidini akeh pangguna lan aplikasi nulis data menyang lingkungan tes sampeyan. Organisasi Google Cloud sampeyan Cara sampeyan ngatur data ing Google Cloud gumantung carane sampeyan nggunakake Google Cloud. Nyimpen data ing proyek Cloud sing padha ing ngendi sampeyan mbukak aplikasi minangka pendekatan sing gampang, nanging bisa uga ora optimal saka perspektif manajemen. Sawetara pangembang sampeyan bisa uga ora duwe hak istimewa kanggo ndeleng data produksi. Ing kasus kasebut, pangembang bisa ngembangake kode ing data sampel, dene akun layanan sing duwe hak istimewa bisa ngakses data produksi. Dadi, sampeyan bisa uga pengin nyimpen kabeh set data produksi ing proyek Cloud sing kapisah, banjur gunakake akun layanan kanggo ngidini akses menyang data saka saben proyek aplikasi. Google Cloud diatur babagan proyek. Proyek bisa diklompokaké dadi folder, lan folder bisa diklompokaké miturut organisasi sampeyan. Peran ditetepake ing tingkat proyek lan ijin akses ditambahake menyang peran kasebut ing tingkat ember Cloud Storage. Struktur iki selaras karo struktur ijin panyedhiya toko obyek liyane Kanggo praktik paling apik kanggo nyusun organisasi Google Cloud, deleng Nemtokake hierarki sumber daya kanggo zona landing Google Cloud sampeyan ## Langkah 3: Evaluasi opsi transfer sampeyan Kanggo ngevaluasi opsi transfer data, tim transfer kudu nimbang sawetara faktor, kalebu ing ngisor iki: - Biaya - Wektu - Offline mungsuh opsi transfer online - Alat lan teknologi transfer - Keamanan biaya Umume biaya sing ana gandhengane karo transfer data kalebu: - Biaya jaringan - Ingress menyang Cloud Storage gratis. Nanging, yen sampeyan hosting data ing panyedhiya maya umum, sampeyan bisa ngarep-arep kanggo mbayar biaya egress lan potensial biaya panyimpenan (contone, maca operasi) kanggo nransfer data. Biaya iki ditrapake kanggo data sing teka saka Google utawa panyedhiya awan liyane - Yen data sampeyan di-host ing pusat data pribadi sing dioperasikake, sampeyan bisa uga kena biaya tambahan kanggo nyetel bandwidth luwih akeh menyang Google Cloud - Biaya panyimpenan lan operasi kanggo Cloud Storage sajrone lan sawise transfer data - Biaya produk (contone, Alat Transfer) - Biaya personel kanggo ngumpulake tim lan entuk dhukungan logistik Wektu Sawetara perkara ing komputasi nyoroti watesan hardware jaringan minangka nransfer data sing akeh. Saenipun, sampeyan bisa nransfer 1 GB ing wolung detik liwat jaringan 1 Gbps. Yen sampeyan nggedhekake data kasebut kanthi jumlah data gedhe (contone, 100 TB), wektu transfer yaiku 12 dina. Nransfer set data gedhe bisa nguji watesan infrastruktur sampeyan lan bisa nyebabake masalah kanggo bisnis sampeyan Sampeyan bisa nggunakake kalkulator ing ngisor iki kanggo mangerteni sepira suwene transfer, amarga ukuran set data sing dipindhah lan bandwidth sing kasedhiya kanggo transfer kasebut. Persentase tartamtu saka wektu manajemen dianggep ing petungan. Kajaba iku, efisiensi bandwidth sing efektif kalebu, saengga angka sing diasilake luwih nyata lan angka sing cocog ora bakal dipikolehi Sampeyan bisa uga ora pengin nransfer set data gedhe metu saka jaringan perusahaan nalika jam kerja sibuk. Yen transfer kakehan jaringan, ora ana wong liya sing bisa ngrampungake tugas sing penting utawa penting. Mulane, tim transfer kudu nimbang faktor wektuSawise data ditransfer menyang Cloud Storage, sampeyan bisa nggunakake sawetara teknologi kanggo ngolah file anyar nalika teka, kayata DataflowNambah bandwidth jaringanCarane nambah jaringan bandwidth gumantung carane sampeyan nyambung menyang Google CloudIng transfer cloud-to-cloud antarane Google Cloud lan panyedhiya awan liyane, Google nyedhiyakake sambungan antarane pusat data vendor awan, ora mbutuhake persiyapan saka sampeyanYen sampeyan nransfer data antarane pusat data pribadi lan Google Cloud, ana telung pendekatan utama:- Sambungan internet umum kanthi nggunakake API umum- Direct Peering kanthi nggunakake API umum- Cloud Interconnect kanthi nggunakake API pribadiNalika ngevaluasi pendekatan kasebut, penting kanggo nimbang kabutuhan konektivitas jangka panjang.Sampeyan bisa nyimpulake yen ndarbeni bandwidth mung larang regane mung kanggo tujuan transfer, nanging nalika nggunakake jangka panjang Google Cloud lan kabutuhan jaringan ing organisasi sampeyan, investasi kasebut bisa uga migunaniNyambungake karo sambungan internet umumYen sampeyan nggunakake sambungan internet umum, throughput jaringan kurang bisa diprediksi amarga sampeyan diwatesi karo kapasitas lan rute panyedhiya layanan Internet (ISP).ISP bisa uga nawakake Perjanjian Tingkat Layanan (SLA) winates utawa ora ana.Nanging, sambungan iki menehi biaya sing relatif murah, lan kanthi pengaturan peering Google sing ekstensif, ISP sampeyan bisa nuntun sampeyan menyang jaringan global Google sajrone sawetara lompatan jaringanDisaranake sampeyan mriksa karo admin keamanan babagan apa kabijakan perusahaan sampeyan nglarang mindhah sawetara set data liwat internet umum.Uga priksa manawa sambungan internet umum digunakake kanggo lalu lintas produksi sampeyan. #Transfer data skala gedhe bisa uga duwe pengaruh negatif marang jaringan produksiNyambung karo Direct Peering
Kanggo ngakses jaringan Google kanthi hop jaringan luwih sithik tinimbang sambungan internet umum, sampeyan bisa nggunakake Direct Peering. Kanthi nggunakake Direct Peering, sampeyan bisa ngganti lalu lintas internet antarane jaringan lan Google's Edge Points of Presence (PoPs), tegese data sampeyan ora nggunakake internet umum. Mengkono uga nyuda jumlah hop ing antarane jaringan lan jaringan Google. Nggoleki jaringan Google mbutuhake sampeyan nyiyapake Nomer Sistem Otonomi (AS) sing kadhaptar, nyambung menyang Google nggunakake ijol-ijolan internet, lan menehi kontak saben jam karo pusat operasi jaringan.
Nyambung karo Cloud Interconnect
Cloud Interconnect nawakake sambungan langsung menyang Google Cloud liwat Google utawa salah siji panyedhiya layanan Cloud Interconnect. Layanan iki mbantu nyegah data supaya ora ana ing internet umum lan bisa nyedhiyakake throughput sing luwih konsisten kanggo transfer data sing gedhe. Biasane, Cloud Interconnect nyedhiyakake SLA kanggo kasedhiyan jaringan lan kinerja jaringan. Hubungi panyedhiya layanan langsung kanggo mangerteni sing luwih lengkap. Cloud Interconnect uga ndhukung alamat pribadi, RFC 1918, supaya awan kanthi efektif dadi ekstensi pusat data pribadi tanpa perlu alamat IP umum utawa NAT.
Transfer online lawan offline
Kaputusan kritis yaiku nggunakake proses offline utawa online kanggo transfer data sampeyan. Yaiku, sampeyan kudu milih antarane nransfer liwat jaringan, apa iku interkoneksi khusus utawa internet umum, utawa nransfer kanthi nggunakake piranti keras panyimpenan.
Kanggo bantuan karo kaputusan iki, kita nyedhiyani kalkulator transfer kanggo mbantu ngira wektu lan biaya beda antarane rong pilihan iki. Bagan ing ngisor iki uga nuduhake sawetara kacepetan transfer kanggo macem-macem ukuran dataset lan bandwidth. Jumlah overhead manajemen tartamtu dibangun ing petungan kasebut
Kaya sing wis kasebut sadurunge, sampeyan bisa uga kudu nimbang manawa biaya kanggo entuk latensi sing luwih murah kanggo transfer data (kayata entuk bandwidth jaringan) diimbangi karo nilai investasi kasebut kanggo organisasi sampeyan.
Pilihan kasedhiya saka Google
Google nawakake sawetara alat lan teknologi kanggo mbantu sampeyan nindakake transfer data
Nemtokake antarane opsi transfer Google
Milih opsi transfer gumantung saka kasus panggunaan, kaya sing ditampilake ing tabel ing ngisor iki
|
|Saka ngendi sampeyan mindhah data |
| Skenario |
| Produk sing disaranake
|Panyedhiya maya liyane (contone, Layanan Web Amazon utawa Microsoft Azure) menyang Layanan Transfer CloudStorage Google|
| Cloud Storage menyang Cloud Storage (loro bucketsStorage Transfer Service|
|Pusat data pribadi sampeyan menyang Google Cloud||Bandwidth sing cukup kanggo nyukupi tenggat wektu proyek sampeyan
|
kurang saka 1 TB data
|
|
|Pusat data pribadi sampeyan menyang Google Cloud||Bandwidth sing cukup kanggo nyukupi tenggat wektu proyek sampeyan
|
kanggo luwih saka 1 TB data
|Layanan Transfer Panyimpenan kanggo data ing panggonan|
|Pusat data pribadi sampeyan menyang Google Cloud||Redwidth ora cukup kanggo nyukupi tenggat wektu proyek sampeyan||Transfer Appliance|
gsutil kanggo transfer data ing panggonan sing luwih cilik
Ing
alat gsutil
minangka alat standar kanggo transfer cilik nganti medium (kurang saka
1 TB) liwat jaringan skala perusahaan sing khas, saka pusat data pribadi
menyang Google Cloud. Disaranake sampeyan kalebu
gsutil ing path standar sampeyan
nalika sampeyan nggunakake
Cangkang Awan
Iki uga kasedhiya kanthi gawan nalika sampeyan nginstal
Google Cloud CLI
Iku alat dipercaya sing nyedhiyani kabeh fitur dhasar sing perlu kanggo ngatur
Panjenengan
Panyimpenan awan
kedadean, kalebu nyalin data menyang lan saka sistem file lokal lan
Panyimpenan awan. Uga bisa mindhah lan ngganti jeneng obyek lan nindakake
sinkronisasi tambahan wektu nyata, kaya
rsync, menyang ember Cloud Storage
gsutil utamané migunani ing skenario ing ngisor iki:
- Transfer sampeyan kudu ditindakake miturut kabutuhan, utawa sajrone sesi baris perintah dening pangguna sampeyan
- Sampeyan mung nransfer sawetara file utawa file gedhe banget, utawa loro-lorone
- Sampeyan nggunakake output program (streaming output menyang Cloud Storage)
- Sampeyan kudu nonton direktori kanthi jumlah file sing moderat lan nyelarasake nganyari apa wae kanthi latensi sing sithik
Dasar kanggo miwiti karo
gsutil iku kanggo
nggawe ember Cloud Storage
lan
salinan data
menyang ember kasebut. Kanggo transfer data sing luwih gedhe, ana rong perkara
nimbang:
Kanggo transfer multi-Utas, gunakake
gsutil -m
Sawetara file diproses kanthi paralel, nambah kecepatan transfer sampeyan
Kanggo file gedhe siji, gunakake Transfer Komposit
Cara iki ngilangi file gedhe dadi potongan cilik kanggo nambah kacepetan transfer. Potongan ditransfer lan divalidasi kanthi paralel, ngirim kabeh data menyang Google. Sawise potongan kasebut teka ing Google, padha digabungake (disebut minangka
ngarang) kanggo mbentuk obyek tunggal
Transfer komposit karo gsutil duwe sawetara kekurangan, kalebu saben potongan (ora kabeh obyek) dicenthang kanthi individu, lan komposisi kelas panyimpenan adhem nyebabake denda pambusakan awal.
Layanan Transfer Panyimpenan kanggo transfer data ing panggonan gedhe
Kaya
gsutil,
Layanan Transfer Panyimpenan kanggo data ing papan
mbisakake transfer saka sistem file jaringan (NFS) panyimpenan kanggo
Panyimpenan awan. sanadyan
gsutil bisa ndhukung ukuran transfer cilik (munggah
kanggo 1 TB), Layanan Transfer Storage kanggo data ing panggonan dirancang kanggo
transfer skala gedhe (nganti petabyte data, milyaran file). Iku ndhukung
salinan lengkap utawa salinan tambahan, lan bisa digunakake ing kabeh opsi transfer kadhaptar
sadurungé ing
Nemtokake antarane opsi transfer Google. Iku
uga nduweni antarmuka panganggo grafis sing prasaja lan dikelola; malah non-teknis pinter
pangguna (sawise persiyapan) bisa digunakake kanggo mindhah data
Layanan Transfer Panyimpenan kanggo data ing papan utamane migunani ing skenario ing ngisor iki:
- Sampeyan duwe bandwidth sing kasedhiya kanggo mindhah volume data (ndeleng Kalkulator Transfer Data Awan Google) - Sampeyan ndhukung basis akeh pangguna internal sing bisa nemokake baris printah alat kaya gsutilchallenging kanggo nggunakake - Sampeyan butuh laporan kesalahan sing kuat lan rekaman kabeh file lan obyek sing dipindhah - Sampeyan kudu mbatesi pengaruh transfer ing beban kerja liyane ing pusat data sampeyan (produk iki bisa tetep ing watesan bandwidth sing ditemtokake pangguna) - Sampeyan pengin mbukak transfer ambalan ing jadwal Sampeyan nyiyapake Layanan Transfer Panyimpenan kanggo data ing panggonan kanthi nginstal ing- piranti lunak premis [dikenal minangka *agen*] menyang komputer ing pusat data sampeyan. Iki agen ing kontaner Docker, kang nggampangake kanggo mbukak akeh mau utawa ngatur dheweke liwat Kubernetes Sawise persiyapan rampung, pangguna bisa miwiti transfer ing konsol Google Cloud kanthi nyedhiyakake direktori sumber, ember tujuan, lan wektu utawa jadwal Layanan Transfer Panyimpenan kanthi rekursif crawls subdirektori lan file ing direktori sumber lan nggawe obyek kanthi jeneng sing cocog ing Cloud Storage [obyek /dir/foo/file.txt dadi obyek ing ember tujuan sing jenenge /dir/foo/file.txt]. Layanan Transfer Panyimpenan kanthi otomatis nyoba maneh transfer nalika nemoni kasalahan sementara Nalika transfer mlaku, sampeyan bisa ngawasi carane akeh file sing dipindhah lan kacepetan transfer sakabèhé, lan sampeyan bisa ndeleng conto kesalahan Nalika transfer rampung, file tab-delimited (TSV) digawe kanthi rekaman lengkap kabeh file sing disentuh lan pesen kesalahan sing ditampa. Agen toleran kesalahan, dadi yen agen mudhun, transfer terus karo agen sing isih ana. Agen uga nganyari dhewe lan marasake awak dhewe, dadi sampeyan ora perlu kuwatir babagan nambal versi paling anyar utawa miwiti maneh proses yen mudhun amarga ana masalah sing ora diantisipasi. Bab sing kudu ditimbang nalika nggunakake Layanan Transfer Panyimpenan: Gunakake persiyapan agen sing padha ing saben mesin. Kabeh agen kudu ndeleng Sistem File Jaringan (NFS) dipasang kanthi cara sing padha (path relatif padha). Persiyapan iki minangka syarat supaya produk bisa digunakake. Agen liyane nyebabake kacepetan luwih akeh. Amarga transfer otomatis diparalelake ing kabeh agen, disaranake sampeyan nyebarake akeh agen supaya sampeyan nggunakake bandwidth sing kasedhiya. Tutup bandwidth bisa nglindhungi beban kerja sampeyan. Beban kerja liyane bisa uga nggunakake bandwidth pusat data, mula nyetel tutup bandwidth kanggo nyegah transfer supaya ora mengaruhi SLA sampeyan. Rencana wektu kanggo mriksa kesalahan.Transfer gedhe bisa asring nyebabake kesalahan sing mbutuhake ditinjau. Layanan Transfer Panyimpenan ngidini sampeyan ndeleng conto kesalahan sing ditemoni langsung ing konsol Google Cloud. Yen perlu, sampeyan bisa mbukak rekaman lengkap kabeh kesalahan transfer menyang BigQuery kanggo mriksa file utawa ngevaluasi kesalahan sing isih ana sanajan sawise nyoba maneh. Kesalahan kasebut bisa uga disebabake dening aplikasi sing mbukak sing nulis menyang sumber nalika transfer kasebut, utawa kesalahan kasebut bisa uga nuduhake masalah sing mbutuhake pemecahan masalah (contone, kesalahan ijin). Nggawe Cloud Monitoring kanggo transfer sing wis suwe. Layanan Transfer Panyimpen ngidini Ngawasi ngawasi kesehatan lan throughput agen, supaya sampeyan bisa nyetel tandha sing menehi kabar yen agen mudhun utawa mbutuhake perhatian. Tumindak kegagalan agen iku penting kanggo transfer sing njupuk sawetara dina utawa minggu, supaya sampeyan bisa ngindhari kalem utawa interupsi sing signifikan sing bisa nundha garis wektu proyek. Transfer Appliance kanggo transfer luwih gedhe Kanggo transfer skala gedhe (utamane transfer kanthi bandwidth jaringan winates), Transfer Appliance minangka pilihan sing apik, utamane yen sambungan jaringan sing cepet ora kasedhiya lan larang banget kanggo entuk bandwidth luwih akeh. Transfer Appliance utamané migunani ing skenario ing ngisor iki: - Pusat data sampeyan ana ing lokasi sing adoh kanthi akses bandwidth sing winates utawa ora ana- Bandwidth kasedhiya, nanging ora bisa angsal ing wektu kanggo ketemu deadline - Sampeyan duwe akses menyang sumber logistik kanggo nampa lan nyambungake piranti menyang jaringan Kanthi pilihan iki, nimbang ing ngisor iki: - Transfer Appliance mbutuhake sampeyan bisa nampa lan ngirim maneh hardware sing diduweni Google - Gumantung saka sambungan internet sampeyan, latensi kanggo mindhah data menyang Google Cloud biasane luwih dhuwur nganggo Transfer Appliance tinimbang online - Transfer Appliance mung kasedhiya ing negara tartamtu Loro kritéria utama sing kudu ditimbang karo Transfer Appliance yaiku biaya lan kacepetan. Kanthi panyambungan jaringan sing cukup (contone, 1 Gbps), nransfer 100 TB data online mbutuhake luwih saka 10 dina kanggo ngrampungake. Yen tarif iki ditrima, transfer online bisa dadi solusi sing apik kanggo kabutuhan sampeyan. Yen sampeyan mung duwe sambungan 100 Mbps (utawa luwih elek saka lokasi sing adoh), transfer sing padha njupuk luwih saka 100 dina. Ing wektu iki, sampeyan kudu nimbang opsi transfer offline kayata Transfer Appliance Entuk Perkakas Transfer iku gampang. Ing konsol Google Cloud, sampeyan njaluk Transfer Appliance, nuduhake jumlah data sing sampeyan duwe, banjur Google ngirim siji utawa luwih piranti menyang lokasi sing dijaluk. Sampeyan diwenehi sawetara dina kanggo ngirim data menyang piranti ("capture data") lan dikirim maneh menyang Google Wektu sing dikarepake kanggo piranti jaringan dikirim, diisi karo data sampeyan, dikirim maneh, lan rehidrasi ing Google Cloud yaiku 20 dina. Yen jangka wektu transfer online diwilang luwih akeh tinimbang jangka wektu iki, nimbang Transfer Appliance. Biaya total kanggo proses piranti 300 TB kurang saka $2,500 Layanan Transfer Panyimpenan kanggo transfer awan menyang awan Layanan Transfer Panyimpenan minangka layanan sing dikelola kanthi lengkap lan bisa diukur kanthi otomatis kanggo ngotomatisasi transfer saka publik liyane menyang Cloud Storage. Ndhukung transfer menyang Cloud Storage saka Amazon S3 lan HTTP Kanggo Amazon S3, sampeyan bisa nyedhiyakake kunci akses lan ember S3 kanthi opsional saringan kanggo obyek S3 milih, banjur sampeyan nyalin obyek S3 sembarang
Ember Cloud Storage. Layanan kasebut uga ndhukung salinan saben dina
obyek sing diowahi. Layanan saiki ora ndhukung transfer data
*kanggo*
Amazon S3
Kanggo HTTP, sampeyan bisa menehi Layanan Transfer Panyimpenan dhaptar URL umum ing
format tartamtu
Pendekatan iki mbutuhake sampeyan nulis skrip sing nyedhiyakake ukuran saben
file ing bita, bebarengan karo Base64-encoded MD5 hash saka isi file
Kadhangkala ukuran file lan hash kasedhiya saka situs web sumber. Yen
ora, sampeyan kudu akses lokal kanggo file, ing cilik, iku bisa dadi luwih gampang kanggo
nggunakake
gsutil, minangka diterangake sadurunge
Yen sampeyan duwe transfer, Layanan Transfer Panyimpenan minangka cara sing apik kanggo njupuk data lan nyimpen, utamane nalika mindhah saka awan umum liyane
Keamanan
Kanggo akeh pangguna Google Cloud, keamanan minangka fokus utama, lan ana macem-macem tingkat keamanan sing kasedhiya. Sawetara aspek keamanan sing kudu ditimbang kalebu nglindhungi data nalika istirahat (wewenang lan akses menyang sumber lan sistem panyimpenan tujuan), nglindhungi data nalika transit, lan nglindhungi akses menyang produk transfer. Tabel ing ngisor iki njlentrehake aspek keamanan miturut produk
|
|Produk |
|Data ing ngaso |
|Data ing transit |
| Akses kanggo mindhah produk
|Transfer Appliance||Kabeh data dienkripsi ing restData dilindhungi karo kunci sing dikelola pelangganSapa wae bisa mrentah piranti, nanging kanggo nggunakake piranti kasebut butuh akses menyang sumber data.|
|
||Tombol akses sing dibutuhake kanggo ngakses Cloud Storage, sing dienkripsi ing restData dikirim liwat HTTPS lan dienkripsi ing transitSapa wae bisa ngundhuh lan mbukak
|
|Layanan Transfer Panyimpenan kanggo data ing panggonan||Tombol akses sing dibutuhake kanggo ngakses Panyimpenan Awan, sing dienkripsi nalika isih ana. Proses agen bisa ngakses file lokal amarga ijin OS ngidiniData dikirim liwat HTTPS lan dienkripsi ing transitSampeyan kudu duwe ijin editor obyek kanggo ngakses ember Cloud Storage.|
|Layanan Transfer Panyimpenan||Tombol akses dibutuhake kanggo sumber daya non-Google Cloud (contone, Amazon S3). Tombol akses dibutuhake kanggo ngakses Cloud Storage, sing dienkripsi ing restData dikirim liwat HTTPS lan dienkripsi ing transitSampeyan kudu duwe idin IAM kanggo akun layanan kanggo ngakses ijin editor sumber lan obyek kanggo ember Cloud Storage.|
Kanggo entuk dandan keamanan baseline, transfer online menyang
Google Cloud nggunakake
gsutil
wis rampung liwat HTTPS, data dienkripsi ing transit, lan kabeh data mlebu
Panyimpenan Awan, kanthi standar, dienkripsi nalika isih ana. Kanggo informasi ing
rencana related keamanan luwih canggih, ndeleng
Pertimbangan keamanan lan privasi
Yen sampeyan nggunakake
Piranti Transfer,
kunci keamanan sing sampeyan kontrol bisa mbantu nglindhungi data sampeyan. Umumé, kita
nyaranake sampeyan melu tim keamanan kanggo mesthekake yen rencana transfer
nyukupi syarat perusahaan lan peraturan sampeyan
Produk transfer pihak katelu
Kanggo optimasi tingkat jaringan sing luwih maju utawa alur kerja transfer data sing terus-terusan, sampeyan bisa uga pengin nggunakake alat sing luwih maju. Kanggo informasi babagan alat sing luwih maju, bukak mitra Google
Pranala ing ngisor iki nyorot sawetara saka akeh opsi (dhaptar ing kene miturut urutan abjad):
- Aspera On Cloud adhedhasar protokol paten Aspera lan cocok kanggo alur kerja skala gedhe. Kasedhiya yen dikarepake minangka model lisensi langganan
- Cloud FastPath dening Tervela bisa digunakake kanggo mbangun aliran data sing dikelola menyang lan metu saka Google Cloud. Kanggo rincian, deleng Nggunakake Cloud FastPath kanggo nggawe aliran data
- Signiant nawakake Media Shuttle minangka solusi software-as-a-service (SaaS) kanggo nransfer file apa wae menyang utawa saka ngendi wae. Signiant uga nawakake Flight minangka sarana autoscaling adhedhasar protokol sing dioptimalake banget, lan Signiant Flight Deck minangka alat otomatisasi kanggo transfer skala gedhe ing lokasi sing kasebar sacara geografis.
## Langkah 4: Nyiapake transfer sampeyan
Kanggo transfer gedhe, utawa transfer kanthi dependensi sing signifikan, penting kanggo ngerti cara ngoperasikake produk transfer sampeyan. Pelanggan biasane ngliwati langkah-langkah ing ngisor iki:
Estimasi rega lan ROI.Langkah iki nyedhiyakake akeh opsi kanggo mbantu nggawe keputusan. Pengujian fungsional. Ing langkah iki, sampeyan konfirmasi manawa produk bisa disiyapake kanthi sukses lan konektivitas jaringan (yen ana) bisa digunakake. Sampeyan uga nguji manawa sampeyan bisa mindhah conto perwakilan data sampeyan (kalebu langkah non-transfer, kayata mindhah conto VM) menyang tujuan.
Sampeyan biasane bisa nindakake langkah iki sadurunge nyedhiyakake kabeh sumber daya kayata mesin transfer utawa bandwidth. Tujuan saka langkah iki kalebu ing ngisor iki:
- Konfirmasi yen sampeyan bisa nginstal lan ngoperasikake transfer kasebut
- Ndhuwur masalah sing bisa mandheg proyek sing ngalangi gerakan data (umpamane, rute jaringan) utawa operasi sampeyan (umpamane, latihan sing dibutuhake kanggo langkah non-transfer)
Pengujian kinerja.Ing langkah iki, sampeyan mbukak transfer ing sampel akeh data (biasane 3âÃÂÃÂ5%) sawise sumber daya produksi dialokasikan kanggo nindakake ing ngisor iki:
- Konfirmasi yen sampeyan bisa nggunakake kabeh sumber daya sing diparengake lan bisa entuk kecepatan sing dikarepake
- Lumahing lan ndandani bottlenecks (contone, sistem panyimpenan sumber alon)
## Langkah 5: Njamin integritas transfer sampeyan
Kanggo mbantu njamin integritas data sajrone transfer, disaranake njupuk pancegahan ing ngisor iki:
- Aktifake versi lan serep ing panggonan sampeyan kanggo matesi karusakan saka pambusakan ora sengaja
- Validasi data sadurunge mbusak data sumber
Kanggo transfer data skala gedhe (karo petabyte data lan milyaran file), tingkat kesalahan laten baseline saka sistem panyimpenan sumber dhasar nganti 0,0001% isih nyebabake mundhut data nganti ewonan file lan gigabyte. Biasane, aplikasi sing mlaku ing sumber kasebut wis toleran karo kesalahan kasebut, mula validasi ekstra ora dibutuhake. Ing sawetara skenario sing luar biasa (contone, arsip jangka panjang), validasi luwih akeh dibutuhake sadurunge dianggep aman kanggo mbusak data saka sumber.
Gumantung saka syarat aplikasi sampeyan, disaranake sampeyan nindakake sawetara tes integritas data sawise transfer rampung kanggo mesthekake yen aplikasi terus bisa digunakake kaya sing dikarepake. Akeh produk transfer duwe pamriksa integritas data sing dibangun. Nanging, gumantung saka profil risiko sampeyan, sampeyan bisa uga pengin mriksa tambahan data lan aplikasi sing maca data kasebut sadurunge mbusak data saka sumber kasebut. Contone, sampeyan bisa uga pengin konfirmasi manawa checksum sing sampeyan cathet lan diitung kanthi mandiri cocog karo data sing ditulis ing panggonan sing dituju, utawa konfirmasi manawa set data sing digunakake aplikasi kasebut sukses ditransfer.
## Golek pitulungan
Google Cloud nawakake macem-macem pilihan lan sumber daya kanggo sampeyan nemokake pitulungan lan dhukungan sing dibutuhake supaya bisa nggunakake layanan Google Cloud paling apik:
Sumber daya mandhiri.Yen sampeyan ora mbutuhake dhukungan khusus, sampeyan duwe macem-macem pilihan sing bisa digunakake kanthi cepet. Mitra teknologi.Google Cloud wis kerja sama karo pirang-pirang perusahaan kanggo mbantu sampeyan nggunakake produk lan layanan kita. Layanan profesional Google Cloud.Layanan profesional kita bisa mbantu sampeyan ngoptimalake investasi ing Google Cloud
Ana luwih akeh sumber daya kanggo mbantu migrasi beban kerja menyang Google Cloud ing Pusat Migrasi Awan Google
Kanggo informasi luwih lengkap babagan sumber daya iki, waca bagean bantuan nemokake Migrasi menyang Google Cloud: Miwiti
## Apa maneh
- Yen sampeyan duwe pitakon babagan nggawe rencana transfer utawa babagan kasus panggunaan tartamtu, sampeyan bisa ngubungi Dhukungan Google Cloud, utawa langsung hubungi tim Akun Google.
- Kanggo miwiti transfer sampeyan, kita nyedhiyakake pandhuan ing ngisor iki:
- Kanggo strategi migrasi data umum: Migrasi aplikasi monolitik menyang layanan mikro ing Google Kubernetes Engine
- Kanggo transfer offline: Transfer Appliance
- Kanggo transfer online saka awan umum: Layanan Transfer Panyimpenan
- Jelajahi arsitektur referensi, diagram, tutorial, lan praktik paling apik babagan Google Cloud. Deleng ing Pusat Arsitektur Cloud kita.
Google Cloud
HOSTING WEB DIBAGI#60
