الترحيل إلى Google Cloud: نقل مجموعات البيانات الكبيرة الخاصة بك

بالنسبة للعديد من العملاء ، تتمثل الخطوة الأولى في اعتماد منتج Google Cloud في نقل بياناتهم إلى Google Cloud. يستكشف هذا المستند هذه العملية ، من التخطيط لنقل البيانات إلى استخدام أفضل الممارسات في تنفيذ الخطة يتضمن نقل مجموعات البيانات الكبيرة بناء الفريق المناسب والتخطيط مبكرًا واختبار خطة النقل قبل تنفيذها في بيئة إنتاج. على الرغم من أن هذه الخطوات قد تستغرق وقتًا طويلاً مثل التحويل نفسه ، إلا أن مثل هذه الاستعدادات يمكن أن تساعد في تقليل تعطيل عمليات عملك أثناء النقل هذا المستند جزء من سلسلة متعددة الأجزاء حول الترحيل إلى Google Cloud. إذا كنت مهتمًا بإلقاء نظرة عامة على السلسلة ، فراجع الترحيل إلى Google Cloud: اختيار مسار الترحيل هذا المقال جزء من سلسلة: - الترحيل إلى Google Cloud: الشروع في العمل - الترحيل إلى Google Cloud: تقييم واكتشاف أعباء العمل لديك - الهجرة إلى Google Cloud: بناء مؤسستك - الترحيل إلى Google Cloud: نقل مجموعات البيانات الكبيرة (هذا المستند) - الترحيل إلى Google Cloud: نشر أعباء العمل الخاصة بك - الترحيل إلى Google Cloud: الانتقال من عمليات النشر اليدوية إلى عمليات النشر المؤتمتة في حاويات - الهجرة إلى جوجل كلاود: تحسين بيئتك - الترحيل إلى Google Cloud: أفضل الممارسات للتحقق من صحة خطة الترحيل يوضح الرسم البياني التالي مسار رحلة الهجرة الخاصة بك مرحلة النشر هي المرحلة الثالثة في ترحيلك إلى Google Cloud ، حيث تقوم بتصميم عملية نشر لأعباء عملك يعتبر هذا المستند مفيدًا إذا كنت تخطط للترحيل من بيئة محلية ، أو من بيئة استضافة خاصة ، أو من مزود خدمة سحابية آخر إلى Google Cloud ، أو إذا كنت تقوم بتقييم فرصة الترحيل وترغب في استكشاف ما قد يبدو عليه مثل ## ما هو نقل البيانات؟ لأغراض هذا المستند ، فإن نقل البيانات هو عملية نقل البيانات دون تحويلها ، على سبيل المثال ، نقل الملفات كما هي إلى كائنات نقل البيانات ليس بالبساطة التي يبدو عليها من المغري التفكير في نقل البيانات كجلسة FTP عملاقة ، حيث تضع ملفاتك في جانب وتنتظر ظهورها في الجانب الآخر. ومع ذلك ، في معظم بيئات المؤسسات ، تتضمن عملية النقل العديد من العوامل مثل ما يلي: - وضع خطة نقل تمثل الوقت الإداري ، بما في ذلك الوقت لاتخاذ قرار بشأن خيار التحويل ، والحصول على الموافقات ، والتعامل مع المشكلات غير المتوقعة - تنسيق الأشخاص في مؤسستك ، مثل الفريق الذي ينفذ النقل ، والموظفين الذين يوافقون على الأدوات والبنية ، وأصحاب المصلحة في الأعمال المهتمين بالقيمة والاضطرابات التي يمكن أن تحدثها البيانات المنقولة - اختيار أداة النقل الصحيحة بناءً على الموارد والتكلفة والوقت واعتبارات المشروع الأخرى - التغلب على تحديات نقل البيانات ، بما في ذلك مشكلات "سرعة الضوء"(عرض النطاق الترددي غير الكافي) ، ونقل مجموعات البيانات قيد الاستخدام النشط ، وحماية البيانات ومراقبتها أثناء الطيران ، وضمان نقل البيانات بنجاح يهدف هذا المستند إلى مساعدتك على البدء في مبادرة تحويل ناجحة مشاريع أخرى متعلقة بنقل البيانات تتضمن القائمة التالية موارد لأنواع أخرى من مشاريع نقل البيانات غير المشمولة في هذا المستند: - إذا كنت بحاجة إلى تحويل بياناتك (مثل الجمع بين الصفوف أو الانضمام إلى مجموعات البيانات أو تصفية معلومات التعريف الشخصية) ، فيجب أن تفكر في استخراج وتحويل وتحميل حل (ETL) يمكنه إيداع البيانات في مستودع بيانات Google Cloud. للحصول على مثال لهذه البنية ، راجع هذا البرنامج التعليمي Dataflow - إذا كنت بحاجة إلى ترحيل قاعدة بيانات والتطبيقات ذات الصلة (على سبيل المثال ، لرفع تطبيق قاعدة البيانات وتحويله) ، فقد تبحث في وثائق Cloud Spanner ، وحلول PostgreSQL ، ووثائق أخرى حول نوع قاعدة البيانات الخاصة بك - إذا كنت ترغب في ترحيل بياناتك من HBase إلى خدمة قاعدة بيانات NoSQL مُدارة بالكامل ومتوافقة مع HBase API ويمكنها التعامل مع أعباء عمل أكبر ، فقم بإلقاء نظرة على Cloud Bigtable - إذا كنت بحاجة إلى نقل مثيل جهاز افتراضي (VM) ، ففكر في استخدام منتج ترحيل VM من Google ، أو الترحيل إلى الأجهزة الافتراضية ## الخطوة 1: تجميع فريقك يتطلب التخطيط للنقل عادةً موظفين لديهم الأدوار والمسؤوليات التالية: تمكين الموارد اللازمة للنقل: التخزين ، ومسؤولو تكنولوجيا المعلومات ، والشبكات ، والراعي التنفيذي ، والمستشارون الآخرون (على سبيل المثال ، فريق حساب Google أو شركاء التكامل) الموافقة على قرار النقل: مالكو البيانات أو المحافظون (للسياسات الداخلية حول من هو يسمح بنقل البيانات) ، والمستشارين القانونيين (للوائح المتعلقة بالبيانات) ، ومسؤول الأمان (للسياسات الداخلية حول كيفية حماية الوصول إلى البيانات) تنفيذ النقل: قائد الفريق ، مدير المشروع (لتنفيذ وتتبع المشروع ) ، وفريق هندسي ، والاستلام والشحن في الموقع (لاستلام أجهزة الأجهزة) من الأهمية بمكان تحديد من يتحمل المسؤوليات السابقة لمشروع النقل الخاص بك وإدراجهم في اجتماعات التخطيط واتخاذ القرار عند الاقتضاء. غالبًا ما يكون التخطيط التنظيمي السيئ هو سبب فشل مبادرات النقل قد يكون جمع متطلبات المشروع والمدخلات من أصحاب المصلحة هؤلاء أمرًا صعبًا ، لكن وضع خطة وتحديد أدوار ومسؤوليات واضحة يؤتي ثماره. لا يُتوقع منك معرفة كل تفاصيل بياناتك. يمنحك تجميع الفريق نظرة ثاقبة لاحتياجات العمل. من أفضل الممارسات تحديد المشكلات المحتملة قبل استثمار الوقت والمال والموارد لإكمال التحويلات ## الخطوة 2: جمع المتطلبات والموارد المتاحة عند تصميم خطة نقل ، نوصيك أولاً بجمع متطلبات نقل البيانات الخاصة بك ثم تحديد خيار النقل. لتجميع المتطلبات ، يمكنك استخدام العملية التالية: - حدد مجموعات البيانات التي تحتاج إلى نقلها - حدد أدوات مثل كتالوج البيانات لتنظيم بياناتك في مجموعات منطقية يتم نقلها واستخدامها معًا - العمل مع فرق داخل مؤسستك للتحقق من صحة هذه المجموعات أو تحديثها - تحديد مجموعات البيانات الخاصة بك يمكن ان تتحرك - ضع في اعتبارك ما إذا كانت العوامل التنظيمية أو الأمنية أو غيرها من العوامل تمنع نقل بعض مجموعات البيانات - إذا كنت بحاجة إلى تحويل بعض بياناتك قبل نقلها (على سبيل المثال ، لإزالة البيانات الحساسة أو إعادة تنظيم بياناتك) ، ففكر في استخدام منتج تكامل البيانات مثل Dataflow أو Cloud Data Fusion ، أو منتج تنسيق سير العمل مثل Cloud Composer - بالنسبة لمجموعات البيانات المنقولة ، حدد مكان نقل كل مجموعة بيانات - سجل خيار التخزين الذي تحدده لتخزين بياناتك. عادةً ما يكون نظام التخزين المستهدف على Google Cloud هو Cloud Storage. حتى إذا كنت بحاجة إلى حلول أكثر تعقيدًا بعد تشغيل التطبيقات الخاصة بك ، فإن التخزين السحابي هو خيار تخزين قابل للتطوير ودائم - فهم سياسات الوصول إلى البيانات التي يجب الحفاظ عليها بعد الترحيل - تحديد ما إذا كنت بحاجة لتخزين هذه البيانات في مناطق معينة - تخطيط كيفية تنظيم هذه البيانات في الوجهة. على سبيل المثال ، هل سيكون هو نفسه المصدر أم مختلفًا؟ - تحديد ما إذا كنت بحاجة إلى نقل البيانات بشكل مستمر - بالنسبة لمجموعات البيانات المنقولة ، حدد الموارد المتاحة لنقلهم - الوقت: متى يجب إتمام التحويل؟ - التكلفة: ما هي الميزانية المتاحة للفريق وتكاليف النقل؟ - الناس: من هو المتاح لتنفيذ التحويل؟ - النطاق الترددي (لعمليات النقل عبر الإنترنت): ما مقدار النطاق الترددي المتاح حاليًا لـ Google Cloud الذي يمكن تخصيصه لعملية النقل ، ولأي فترة زمنية؟ قبل تقييم خيارات النقل وتحديدها في المرحلة التالية من التخطيط ، نوصي بتقييم ما إذا كان يمكن تحسين أي جزء من نموذج تكنولوجيا المعلومات لديك ، مثل إدارة البيانات والتنظيم والأمان نموذج الأمان الخاص بك قد يتم منح العديد من أعضاء فريق النقل أدوارًا جديدة في مؤسسة Google Cloud كجزء من مشروع نقل البيانات الخاص بك. يعد تخطيط نقل البيانات وقتًا رائعًا لمراجعة أذونات إدارة الهوية والوصول (IAM) وأفضل الممارسات لاستخدام IAM بشكل آمن. يمكن أن تؤثر هذه المشكلات على كيفية منحك حق الوصول إلى مساحة التخزين الخاصة بك. على سبيل المثال ، قد تضع قيودًا صارمة على الوصول للكتابة إلى البيانات التي تم أرشفتها لأسباب تنظيمية ، ولكن قد تسمح للعديد من المستخدمين والتطبيقات بكتابة البيانات في بيئة الاختبار الخاصة بك مؤسستك على Google Cloud تعتمد كيفية هيكلة بياناتك على Google Cloud على كيفية تخطيطك لاستخدام Google Cloud. يعد تخزين بياناتك في نفس مشروع Cloud حيث تقوم بتشغيل التطبيق الخاص بك أسلوبًا بسيطًا ، ولكنه قد لا يكون هو الأمثل من منظور الإدارة. قد لا يتمتع بعض مطوريك بامتياز لعرض بيانات الإنتاج. في هذه الحالة ، يمكن للمطور تطوير رمز على عينة بيانات ، بينما يمكن لحساب الخدمة المميز الوصول إلى بيانات الإنتاج. وبالتالي ، قد ترغب في الاحتفاظ بمجموعة بيانات الإنتاج بالكامل في مشروع Cloud منفصل ، ثم استخدام حساب خدمة للسماح بالوصول إلى البيانات من كل مشروع تطبيق يتم تنظيم Google Cloud حول المشاريع. يمكن تجميع المشاريع في مجلدات ، ويمكن تجميع المجلدات ضمن مؤسستك. يتم إنشاء الأدوار على مستوى المشروع وتتم إضافة أذونات الوصول إلى هذه الأدوار على مستويات حاوية التخزين السحابي. تتوافق هذه البنية مع هيكل الأذونات لموفري تخزين الكائنات الآخرين للحصول على أفضل الممارسات لهيكلة مؤسسة Google Cloud ، راجع تحديد التسلسل الهرمي للموارد لمنطقة هبوط Google Cloud ## الخطوة الثالثة: تقييم خيارات التحويل الخاصة بك لتقييم خيارات نقل البيانات الخاصة بك ، يحتاج فريق النقل إلى مراعاة عدة عوامل ، بما في ذلك ما يلي: - كلفة - وقت - خيارات النقل دون اتصال بالإنترنت مقابل خيارات النقل عبر الإنترنت - أدوات وتقنيات النقل - حماية كلفة تشمل معظم التكاليف المرتبطة بنقل البيانات ما يلي: - تكاليف الشبكات - الدخول إلى التخزين السحابي مجاني. ومع ذلك ، إذا كنت تستضيف بياناتك على مزود خدمة سحابي عام ، فيمكنك توقع دفع رسوم خروج وتكاليف تخزين محتملة (على سبيل المثال ، عمليات القراءة) لنقل بياناتك. تنطبق هذه الرسوم على البيانات الواردة من Google أو مزود خدمة سحابي آخر - إذا كانت بياناتك مستضافة في مركز بيانات خاص تديره ، فقد تتحمل أيضًا تكاليف إضافية لإعداد المزيد من النطاق الترددي لـ Google Cloud - تكاليف التخزين والتشغيل للتخزين السحابي أثناء وبعد نقل البيانات - تكاليف المنتج (على سبيل المثال ، جهاز نقل) - تكاليف الموظفين لتجميع فريقك والحصول على الدعم اللوجستي وقت القليل من الأشياء في الحوسبة تسلط الضوء على قيود الأجهزة للشبكات مثل نقل كميات كبيرة من البيانات. من الناحية المثالية ، يمكنك نقل 1 جيجا بايت في ثماني ثوان عبر شبكة 1 جيجا بايت في الثانية. إذا قمت بتوسيع ذلك إلى مجموعة بيانات ضخمة (على سبيل المثال ، 100 تيرابايت) ، فإن وقت النقل هو 12 يومًا. يمكن أن يؤدي نقل مجموعات البيانات الضخمة إلى اختبار حدود بنيتك التحتية وقد يتسبب في حدوث مشكلات لعملك يمكنك استخدام الآلة الحاسبة التالية لفهم مقدار الوقت الذي قد تستغرقه عملية النقل ، بالنظر إلى حجم مجموعة البيانات التي تقوم بنقلها والنطاق الترددي المتاح للنقل. يتم أخذ نسبة معينة من وقت الإدارة في الاعتبار في الحسابات. بالإضافة إلى ذلك ، يتم تضمين كفاءة عرض النطاق الترددي الفعال ، وبالتالي فإن الأرقام الناتجة أكثر واقعية ولن يتم الحصول على الأرقام المثالية قد لا ترغب في نقل مجموعات كبيرة من البيانات خارج شبكة شركتك خلال ساعات الذروة من العمل. إذا كان النقل يثقل كاهل الشبكة ، فلن يتمكن أي شخص آخر من إنجاز العمل الضروري أو المهم للغاية. لهذا السبب ، يحتاج فريق النقل إلى مراعاة عامل الوقتبعد نقل البيانات إلى Cloud Storage ، يمكنك استخدام عدد من التقنيات لمعالجة الملفات الجديدة فور وصولها ، مثل Dataflowزيادة عرض النطاق الترددي للشبكةتعتمد كيفية زيادة عرض النطاق الترددي للشبكة على كيفية اتصالك بـ Google Cloudفي النقل من السحابة إلى السحابة بين Google Cloud وموفري السحابة الآخرين ، توفر Google الاتصال بين لا تتطلب مراكز بيانات موردي السحابة الإلكترونية أي إعداد منكإذا كنت تنقل البيانات بين مركز البيانات الخاص بك و Google Cloud ، فهناك ثلاث طرق رئيسية:- اتصال إنترنت عام باستخدام واجهة برمجة تطبيقات عامة- التناظر المباشر باستخدام واجهة برمجة تطبيقات عامة- الربط السحابي باستخدام واجهة برمجة تطبيقات خاصةمتى بتقييم هذه الأساليب ، من المفيد مراعاة احتياجات الاتصال طويلة المدى.قد تستنتج أن الحصول على النطاق الترددي لأغراض النقل فقط أمر باهظ التكلفة ، ولكن عند أخذ الاستخدام طويل المدى لـ Google Cloud واحتياجات الشبكة عبر مؤسستك ، قد يكون الاستثمار مفيدًاالاتصال باتصال إنترنت عامعند استخدام اتصال إنترنت عام ، يكون معدل نقل البيانات أقل قابلية للتنبؤ به لأنك مقيد بقدرة مزود خدمة الإنترنت (ISP). والتوجيه.قد يعرض مزود خدمة الإنترنت أيضًا اتفاقية مستوى خدمة محدودة (SLA) أو لا يقدمها على الإطلاق.مع ذلك ، توفر هذه الاتصالات تكاليف منخفضة نسبيًا ، ومع ترتيبات التناظر الشاملة من Google ، قد يوجهك مزود خدمة الإنترنت إلى شبكة Google العالمية في غضون بضع قفزات من الشبكةنوصي بمراجعة مسؤول الأمان لديك لمعرفة ما إذا كانت سياسة شركتك تحظر نقل بعض مجموعات البيانات عبر الإنترنت العام.تحقق أيضًا مما إذا كان اتصال الإنترنت العام مستخدمًا لحركة مرور الإنتاج.نقل البيانات على نطاق واسع قد يؤثر سلبًا على شبكة الإنتاجالاتصال بـ Direct Peering للوصول إلى شبكة Google باستخدام قفزات شبكة أقل من اتصال الإنترنت العام ، يمكنك استخدام Direct Peering. باستخدام Direct Peering ، يمكنك تبادل حركة المرور على الإنترنت بين شبكتك ونقاط التواجد على Google (PoPs) ، مما يعني أن بياناتك لا تستخدم الإنترنت العام. يؤدي القيام بذلك أيضًا إلى تقليل عدد القفزات بين شبكتك وشبكة Google. يتطلب منك التناظر مع شبكة Google إعداد رقم نظام مستقل (AS) مسجل ، والاتصال بـ Google باستخدام تبادل الإنترنت ، وتوفير اتصال على مدار الساعة مع مركز عمليات الشبكة الخاص بك الاتصال بـ Cloud Interconnect يوفر Cloud Interconnect اتصالاً مباشرًا بـ Google Cloud من خلال Google أو أحد مزودي خدمة Cloud Interconnect. تساعد هذه الخدمة في منع وصول بياناتك إلى الإنترنت العام ويمكن أن توفر معدل نقل أكثر اتساقًا لعمليات نقل البيانات الكبيرة. عادةً ما يوفر Cloud Interconnect اتفاقيات مستوى الخدمة (SLA) لتوافر الشبكة وأداء الشبكة الخاصة بهم. اتصل بمزود الخدمة مباشرة لمعرفة المزيد. يدعم Cloud Interconnect أيضًا العنونة الخاصة ، RFC 1918 ، بحيث تصبح السحابة بشكل فعال امتدادًا لمركز البيانات الخاص بك دون الحاجة إلى عناوين IP العامة أو NATs النقل عبر الإنترنت مقابل النقل دون اتصال القرار الحاسم هو ما إذا كنت تريد استخدام عملية غير متصلة بالإنترنت أو عبر الإنترنت لنقل البيانات الخاصة بك. بمعنى أنه يجب عليك الاختيار بين النقل عبر شبكة ، سواء كانت اتصالاً داخليًا مخصصًا أو الإنترنت العام ، أو النقل باستخدام أجهزة التخزين للمساعدة في هذا القرار ، نقدم حاسبة تحويل لمساعدتك في تقدير الوقت والتكلفة بين هذين الخيارين. يُظهر الرسم البياني التالي أيضًا بعض سرعات النقل لأحجام مجموعات البيانات المختلفة والنطاق الترددي. تم تضمين قدر معين من النفقات العامة للإدارة في هذه الحسابات كما ذكرنا سابقًا ، قد تحتاج إلى التفكير فيما إذا كانت تكلفة تحقيق زمن انتقال أقل لنقل البيانات (مثل الحصول على النطاق الترددي للشبكة) يتم تعويضها بقيمة هذا الاستثمار لمؤسستك الخيارات المتاحة من جوجل تقدم Google العديد من الأدوات والتقنيات لمساعدتك في إجراء نقل البيانات الاختيار من بين خيارات التحويل الخاصة بـ Google يعتمد اختيار خيار النقل على حالة الاستخدام الخاصة بك ، كما هو موضح في الجدول التالي | | أين تقوم بنقل البيانات من | | سيناريو | | المنتجات المقترحة | مزود سحابة آخر (على سبيل المثال ، Amazon Web Services أو Microsoft Azure) لخدمة Google CloudStorage Transfer Service | | التخزين السحابي إلى التخزين السحابي (دلاء مختلفانخدمة نقل التخزين | | مركز البيانات الخاص بك إلى Google Cloud || النطاق الترددي الكافي للوفاء بالموعد النهائي لمشروعك | لأقل من 1 تيرابايت من البيانات | | | مركز البيانات الخاص بك إلى Google Cloud || النطاق الترددي الكافي للوفاء بالموعد النهائي لمشروعك | لأكثر من 1 تيرابايت من البيانات | خدمة نقل التخزين للبيانات المحلية | | مركز بياناتك الخاص إلى Google Cloud || لا يوجد نطاق ترددي كافٍ للوفاء بالموعد النهائي لمشروعك || نقل الجهاز | gsutil لعمليات نقل أصغر للبيانات المحلية ال أداة gsutil هي الأداة القياسية لعمليات النقل الصغيرة إلى المتوسطة الحجم (أقل من 1 تيرابايت) عبر شبكة نموذجية على مستوى المؤسسة ، من مركز بيانات خاص إلى Google Cloud. نوصي بتضمين gsutil في مسارك الافتراضي عندما تستخدم شل السحابة يتوفر أيضًا بشكل افتراضي عند تثبيت ملف Google Cloud CLI إنها أداة موثوقة توفر جميع الميزات الأساسية التي تحتاج إلى إدارتها لك سحابة التخزين المثيلات ، بما في ذلك نسخ بياناتك من وإلى نظام الملفات المحلي و سحابة التخزين. يمكنه أيضًا نقل الكائنات وإعادة تسميتها وتنفيذها عمليات المزامنة المتزايدة في الوقت الفعلي ، مثل rsync ، إلى حاوية التخزين السحابي gsutil مفيد بشكل خاص في السيناريوهات التالية: - يجب تنفيذ عمليات النقل الخاصة بك على أساس الحاجة ، أو أثناء جلسات سطر الأوامر من قبل المستخدمين لديك - أنت تقوم بنقل ملفات قليلة فقط أو ملفات كبيرة جدًا أو كليهما - أنت تستهلك إخراج البرنامج (إخراج البث إلى التخزين السحابي) - تحتاج إلى مشاهدة دليل يحتوي على عدد معتدل من الملفات ومزامنة أي تحديثات بزمن انتقال منخفض جدًا أساسيات البدء gsutil إنشاء حاوية التخزين السحابي و نسخ البيانات إلى هذا الدلو. بالنسبة لعمليات نقل مجموعات البيانات الأكبر حجمًا ، هناك شيئان يجب القيام بهما انصح: لعمليات النقل متعددة الخيوط ، استخدم غسوتيل -م تتم معالجة العديد من الملفات بالتوازي ، مما يزيد من سرعات النقل لملف واحد كبير ، استخدم عمليات النقل المركبة تقسم هذه الطريقة الملفات الكبيرة إلى أجزاء أصغر لزيادة سرعة النقل. يتم نقل القطع والتحقق من صحتها بشكل متوازٍ ، وإرسال جميع البيانات إلى Google. بمجرد وصول القطع إلى Google ، يتم دمجها (يشار إليها باسم يؤلف) لتشكيل كائن واحد عمليات النقل المركبة باستخدام gsutil لها بعض العيوب ، بما في ذلك أن كل قطعة (وليس الكائن بأكمله) يتم فحصها بشكل فردي ، ويؤدي تكوين فئات التخزين البارد إلى عقوبات الحذف المبكر خدمة نقل التخزين لعمليات النقل الكبيرة للبيانات المحلية يحب غسوتيل خدمة نقل التخزين للبيانات المحلية يتيح عمليات النقل من تخزين نظام ملفات الشبكة (NFS) إلى سحابة التخزين. بالرغم ان يمكن أن يدعم gsutil أحجام النقل الصغيرة (حتى إلى 1 تيرابايت) ، تم تصميم خدمة نقل التخزين للبيانات المحلية من أجل عمليات نقل على نطاق واسع (تصل إلى بيتابايت من البيانات ، ومليارات الملفات). انها تؤيد نسخ كاملة أو نسخ تزايدية ، وتعمل على جميع خيارات النقل المدرجة في وقت سابق الاختيار من بين خيارات التحويل الخاصة بـ Google. هو - هي يحتوي أيضًا على واجهة مستخدم رسومية بسيطة ومُدارة ؛ حتى غير البارعين من الناحية الفنية يمكن للمستخدمين (بعد الإعداد) استخدامه لنقل البيانات تعد خدمة نقل التخزين للبيانات المحلية مفيدة بشكل خاص في السيناريوهات التالية: - لديك نطاق ترددي كافٍ متاح لنقل أحجام البيانات (انظر Google Cloud Data Transfer Calculator) - أنت تدعم قاعدة كبيرة من المستخدمين الداخليين الذين قد يجدون سطر أوامر أداة مثل gsutilc تحدي للاستخدام - أنت بحاجة إلى تقارير قوية عن الأخطاء وسجل لجميع الملفات والكائنات التي يتم نقلها - تحتاج إلى الحد من تأثير عمليات النقل على أحمال العمل الأخرى في مركز البيانات الخاص بك (يمكن أن يظل هذا المنتج أقل من حد النطاق الترددي الذي يحدده المستخدم) - تريد تشغيل عمليات النقل المتكررة وفقًا لجدول زمني تقوم بإعداد Storage Transfer Service للبيانات المحلية عن طريق التثبيت على- برنامج أماكن العمل [المعروف باسم * الوكلاء *] على أجهزة الكمبيوتر في مركز البيانات الخاص بك. هؤلاء الوكلاء في حاويات Docker ، مما يسهل تشغيل العديد منها أو ملفات نسقهم من خلال Kubernetes بعد انتهاء الإعداد ، يمكن للمستخدمين بدء عمليات النقل في Google Cloud console عن طريق توفير دليل المصدر ، ودلو الوجهة ، والوقت أو الجدول الزمني تقوم خدمة نقل التخزين بالزحف بشكل متكرر إلى الدلائل الفرعية والملفات الموجودة في ملف مصدر الدليل ويقوم بإنشاء كائنات ذات اسم مطابق بتنسيق التخزين السحابي [يصبح الكائن /dir/foo/file.txt كائنًا في حاوية الوجهة المسماة /dir/foo/file.txt]. خدمة نقل التخزين يعيد تلقائيًا محاولات النقل عندما يواجه أي أخطاء عابرة أثناء تشغيل عمليات النقل ، يمكنك مراقبة عدد الملفات التي يتم نقلها وملفات سرعة النقل الإجمالية ، ويمكنك عرض عينات الخطأ عند الانتهاء من النقل ، يتم إنشاء ملف محدد بعلامات جدولة (TSV) مع سجل كامل لجميع الملفات التي تم لمسها وأي رسائل خطأ يتم استلامها. يتسامح الوكلاء مع الخطأ ، لذلك إذا تعطل الوكيل ، يستمر النقل مع العوامل المتبقية. يقوم الوكلاء أيضًا بالتحديث الذاتي والشفاء الذاتي ، لذلك لا داعي للقلق بشأن تصحيح أحدث الإصدارات أو إعادة تشغيل العملية إذا تعطلت بسبب مشكلة غير متوقعة الأشياء التي يجب مراعاتها عند استخدام خدمة نقل التخزين: استخدم إعداد وكيل متطابق على كل جهاز ، يجب أن يرى جميع الوكلاء نفس نظام ملفات الشبكة (NFS) يتصاعد بنفس الطريقة (نفس المسارات النسبية). هذا الإعداد هو مطلب للمنتج لكي يعمل. يؤدي المزيد من الوكلاء إلى زيادة السرعة. نظرًا لأن عمليات النقل تتم بشكل متوازٍ تلقائيًا عبر جميع الوكلاء ، فإننا نوصي بنشر العديد من الوكلاء بحيث تستخدم النطاق الترددي المتاح لديك. يمكن أن تحمي حدود النطاق الترددي أعباء العمل. قد تستخدم أحمال العمل الأخرى النطاق الترددي لمركز البيانات الخاص بك ، لذلك قم بتعيين حد أقصى للنطاق الترددي لمنع عمليات النقل من التأثير على اتفاقيات مستوى الخدمة الخاصة بك. خطط لوقت لمراجعة الأخطاء: يمكن أن تؤدي عمليات النقل الكبيرة غالبًا إلى أخطاء تتطلب المراجعة. تتيح لك خدمة نقل التخزين الاطلاع على عينة من الأخطاء التي تمت مواجهتها مباشرةً في وحدة تحكم Google Cloud. إذا لزم الأمر ، يمكنك تحميل السجل الكامل لجميع أخطاء النقل إلى BigQuery للتحقق من الملفات أو تقييم الأخطاء المتبقية حتى بعد إعادة المحاولة. قد تكون هذه الأخطاء ناتجة عن تشغيل التطبيقات التي كانت تكتب إلى المصدر أثناء حدوث النقل ، أو قد تكشف الأخطاء عن مشكلة تتطلب استكشاف الأخطاء وإصلاحها (على سبيل المثال ، خطأ في الأذونات). قم بإعداد المراقبة السحابية لعمليات النقل طويلة المدى. تتيح خدمة نقل التخزين إمكانية مراقبة صحة الوكيل والإنتاجية ، بحيث يمكنك تعيين التنبيهات التي تُعلمك عندما يكون الوكلاء معطلين أو يحتاجون إلى الاهتمام. يعد التعامل مع حالات فشل الوكيل أمرًا مهمًا لعمليات النقل التي تستغرق عدة أيام أو أسابيع ، بحيث تتجنب حالات التباطؤ أو الانقطاعات الكبيرة التي يمكن أن تؤخر الجدول الزمني لمشروعك جهاز نقل لنقل أكبر بالنسبة لعمليات النقل على نطاق واسع (خاصة عمليات النقل ذات النطاق الترددي المحدود للشبكة) ، يعد Transfer Appliance خيارًا ممتازًا ، خاصةً عندما يكون اتصال الشبكة السريع غير متوفر ويكون الحصول على مزيد من النطاق الترددي مكلفًا للغاية تُعد أداة النقل مفيدة بشكل خاص في السيناريوهات التالية: - يقع مركز البيانات الخاص بك في موقع بعيد مع إمكانية وصول محدودة أو معدومة لعرض النطاق الترددي- عرض النطاق الترددي متاح ، ولكن لا يمكن الحصول عليه في الوقت المناسب للوفاء بالموعد النهائي الخاص بك- لديك حق الوصول إلى الموارد اللوجستية لتلقي الأجهزة وتوصيلها بشبكتكمع هذا الخيار ، ضع في اعتبارك ما يلي:- تتطلب Transfer Appliance أن تتمكن من استلام الأجهزة المملوكة لشركة Google وإعادة شحنها- اعتمادًا على اتصالك بالإنترنت ، يكون زمن انتقال البيانات إلى Google Cloud عادةً أعلى مع Transfer Appliance منه عبر الإنترنت- لا يتوفر جهاز النقل إلا في بعض البلدانالمعياران الأساسيان اللذان يجب مراعاتهما مع Transfer Appliance هما التكلفة والسرعة.مع اتصال شبكة معقول (على سبيل المثال ، 1 جيجابت في الثانية) ، يستغرق نقل 100 تيرابايت من البيانات عبر الإنترنت أكثر من 10 أيام حتى يكتمل.إذا كان هذا السعر مقبولاً ، فمن المحتمل أن يكون التحويل عبر الإنترنت حلاً جيدًا لاحتياجاتك.إذا كان لديك اتصال 100 ميجابت في الثانية فقط (أو أسوأ من ذلك من موقع بعيد) ، فإن نفس النقل يستغرق أكثر من 100 يوم.في هذه المرحلة ، يجدر التفكير في خيار النقل دون اتصال بالإنترنت مثل Transfer Applianceيعد الحصول على جهاز نقل أمرًا سهلاً.في وحدة تحكم Google Cloud ، تطلب جهاز نقل ، وتشير إلى مقدار البيانات لديك ، ثم تقوم Google بشحن جهاز واحد أو أكثر إلى موقعك المطلوب.أمامك عدد من الأيام لنقل بياناتك إلى الجهاز ("التقاط البيانات") وإعادة شحنها إلى Googleالمتوقع الوقت المستغرق لشحن جهاز الشبكة وتحميله ببياناتك وشحنه مرة أخرى وإعادة ترطيبه على Google Cloud هو 20 يومًا.إذا تم حساب الإطار الزمني للتحويل عبر الإنترنت ليكون أكبر بكثير من هذا الإطار الزمني ، ففكر في Transfer Appliance.التكلفة الإجمالية لعملية الجهاز 300 تيرابايت أقل من 2500 دولارخدمة نقل التخزين لعمليات النقل من السحابة إلى السحابةStorage Transfer Service هي خدمة مُدارة بالكامل وقابلة للتطوير بدرجة كبيرة لأتمتة عمليات النقل من التخزين السحابي العام الآخر.يدعم عمليات النقل إلى Cloud Storage من Amazon S3 و HTTPبالنسبة إلى Amazon S3 ، يمكنك توفير مفتاح وصول وحاوية S3 معلتصفية كائنات S3 لتحديدها ، ثم تقوم بنسخ كائنات S3 إلى أي دلو التخزين السحابي. تدعم الخدمة أيضًا نسخًا يومية من أي ملفات كائنات معدلة. الخدمة لا تدعم حاليًا عمليات نقل البيانات *ل* أمازون S3 بالنسبة إلى HTTP ، يمكنك منح Storage Transfer Service قائمة بعناوين URL العامة بتنسيق تنسيق محدد يتطلب هذا الأسلوب كتابة نص يوضح حجم كل منها ملف بالبايت ، مع تجزئة MD5 بتشفير Base64 لمحتويات الملف في بعض الأحيان ، يتوفر حجم الملف والتجزئة من موقع الويب المصدر. لو لا ، فأنت بحاجة إلى وصول محلي إلى الملفات ، وفي هذه الحالة ، قد يكون من الأسهل القيام بذلك استعمال gsutil ، كما هو موضح سابقًا إذا كان لديك نقل في مكانه ، فإن Storage Transfer Service هي طريقة رائعة للحصول على البيانات والاحتفاظ بها ، لا سيما عند النقل من سحابة عامة أخرى حماية بالنسبة للعديد من مستخدمي Google Cloud ، فإن الأمان هو محور تركيزهم الأساسي ، وهناك مستويات مختلفة من الأمان المتاحة. تتضمن بعض جوانب الأمان التي يجب مراعاتها حماية البيانات غير النشطة (الترخيص والوصول إلى نظام تخزين المصدر والوجهة) ، وحماية البيانات أثناء النقل ، وحماية الوصول إلى منتج النقل. يوضح الجدول التالي جوانب الأمان هذه حسب المنتج | | المنتج | | البيانات في حالة الراحة | | البيانات العابرة | | الوصول إلى نقل المنتج | جهاز النقل || يتم تشفير كافة البيانات في وضع الراحة البيانات محمية بمفاتيح يديرها العميل ويمكن لأي شخص طلب جهاز ، ولكن لاستخدامه يحتاج إلى الوصول إلى مصدر البيانات. | || مفاتيح الوصول المطلوبة للوصول إلى التخزين السحابي ، والتي يتم تشفيرها في وضع الراحة ، يتم إرسال البيانات عبر HTTPS وتشفيرها أثناء النقل ، ويمكن لأي شخص التنزيل والتشغيل | | خدمة نقل التخزين للبيانات المحلية || مفاتيح الوصول مطلوبة للوصول إلى التخزين السحابي ، المشفر في حالة عدم التشغيل. يمكن لعملية الوكيل الوصول إلى الملفات المحلية حيث تسمح أذونات نظام التشغيل بإرسال البيانات عبر HTTPS وتشفيرها أثناء النقل يجب أن يكون لديك أذونات محرر الكائنات للوصول إلى حاويات التخزين السحابي. | خدمة نقل التخزين || مفاتيح الوصول مطلوبة لموارد غير Google Cloud (على سبيل المثال ، Amazon S3). مفاتيح الوصول مطلوبة للوصول إلى التخزين السحابي ، الذي يتم تشفيره في وضع الراحة ، يتم إرسال البيانات عبر HTTPS وتشفيرها أثناء النقل ، ويجب أن يكون لديك أذونات IAM لحساب الخدمة للوصول إلى أذونات المصدر ومحرر الكائن لأي من مستودعات التخزين السحابي. لتحقيق تحسينات أمان أساسية ، نقل عبر الإنترنت إلى جوجل كلاود باستخدام غسوتيل يتم إنجازها عبر HTTPS ، ويتم تشفير البيانات أثناء النقل ، وجميع البيانات بتنسيق التخزين السحابي ، افتراضيًا ، مشفر في حالة سكون. للحصول على معلومات حول أنظمة أمنية أكثر تعقيدًا ، انظر اعتبارات الأمان والخصوصية إذا كنت تستخدم جهاز نقل ، يمكن أن تساعد مفاتيح الأمان التي تتحكم فيها في حماية بياناتك. بشكل عام ، نحن نوصيك بإشراك فريق الأمان الخاص بك للتأكد من أن خطة النقل الخاصة بك يلبي شركتك والمتطلبات التنظيمية منتجات نقل الطرف الثالث لتحسين مستوى الشبكة المتقدم أو سير عمل نقل البيانات المستمر ، قد ترغب في استخدام أدوات أكثر تقدمًا. للحصول على معلومات حول المزيد من الأدوات المتقدمة ، تفضل بزيارة شركاء Google تسلط الروابط التالية الضوء على بعض الخيارات العديدة (المدرجة هنا بالترتيب الأبجدي): - يعتمد Aspera On Cloud على بروتوكول Aspera الحاصل على براءة اختراع ومناسب لسير العمل على نطاق واسع. إنه متاح عند الطلب كنموذج ترخيص اشتراك - يمكن استخدام Cloud FastPath بواسطة Tervela لإنشاء تدفق بيانات مُدار من وإلى Google Cloud. للحصول على التفاصيل ، راجع استخدام Cloud FastPath لإنشاء تدفقات البيانات - تقدم Signiant Media Shuttle كحل برمجي كخدمة (SaaS) لنقل أي ملف من وإلى أي مكان. تقدم Signiant أيضًا Flight كأداة مساعدة للقياس التلقائي استنادًا إلى بروتوكول مُحسَّن للغاية ، و Signiant Flight Deck كأداة أتمتة لعمليات النقل على نطاق واسع عبر مواقع متفرقة جغرافيًا ## الخطوة 4: التحضير للتحويل بالنسبة لعملية نقل كبيرة ، أو عملية نقل ذات تبعيات كبيرة ، من المهم أن تفهم كيفية تشغيل منتج النقل الخاص بك. يمر العملاء عادةً بالخطوات التالية: التسعير وتقدير العائد على الاستثمار: توفر هذه الخطوة العديد من الخيارات للمساعدة في اتخاذ القرار. الاختبار الوظيفي: في هذه الخطوة ، أنت تؤكد أنه يمكن إعداد المنتج بنجاح وأن اتصال الشبكة (إن أمكن) يعمل. يمكنك أيضًا اختبار أنه يمكنك نقل عينة تمثيلية من بياناتك (بما في ذلك خطوات عدم النقل المصاحبة ، مثل نقل مثيل VM) إلى الوجهة يمكنك عادةً القيام بهذه الخطوة قبل تخصيص جميع الموارد مثل آلات النقل أو النطاق الترددي. تتضمن أهداف هذه الخطوة ما يلي: - تأكد من أنه يمكنك تثبيت وتشغيل النقل - مشكلات السطح المحتملة لإيقاف المشروع التي تمنع حركة البيانات (على سبيل المثال ، مسارات الشبكة) أو عملياتك (على سبيل المثال ، التدريب المطلوب على خطوة عدم النقل) اختبار الأداء: في هذه الخطوة ، تقوم بتشغيل نقل على عينة كبيرة من بياناتك (عادةً 3 Â ¢ Ã Â Ã Â 5٪) بعد تخصيص موارد الإنتاج للقيام بما يلي: - تأكد من أنه يمكنك استهلاك جميع الموارد المخصصة ويمكنك تحقيق السرعة التي تتوقعها - الاختناقات السطحية والإصلاحية (على سبيل المثال ، نظام التخزين البطيء المصدر) ## الخطوة الخامسة: التأكد من سلامة التحويل الخاص بك للمساعدة في ضمان سلامة بياناتك أثناء النقل ، نوصي باتخاذ الاحتياطات التالية: - قم بتمكين تعيين الإصدار والنسخ الاحتياطي على وجهتك للحد من تلف عمليات الحذف العرضية - تحقق من صحة بياناتك قبل إزالة بيانات المصدر بالنسبة لعمليات نقل البيانات على نطاق واسع (مع بيتابايت من البيانات ومليارات الملفات) ، لا يزال معدل الخطأ الأساسي الكامن لنظام تخزين المصدر الأساسي منخفضًا يصل إلى 0.0001٪ يؤدي إلى فقدان البيانات لآلاف الملفات والجيجابايت. عادةً ما تكون التطبيقات التي تعمل من المصدر متسامحة بالفعل مع هذه الأخطاء ، وفي هذه الحالة ، لا يلزم إجراء مزيد من التحقق من الصحة. في بعض السيناريوهات الاستثنائية (على سبيل المثال ، الأرشفة طويلة المدى) ، يلزم إجراء المزيد من التحقق قبل اعتبار حذف البيانات من المصدر آمنًا بناءً على متطلبات التطبيق الخاص بك ، نوصي بإجراء بعض اختبارات سلامة البيانات بعد اكتمال النقل لضمان استمرار التطبيق في العمل على النحو المنشود. تحتوي العديد من منتجات النقل على فحوصات سلامة البيانات المضمنة. ومع ذلك ، بناءً على ملف تعريف المخاطر الخاص بك ، قد ترغب في إجراء مجموعة إضافية من عمليات التحقق على البيانات والتطبيقات التي تقرأ تلك البيانات قبل حذف البيانات من المصدر. على سبيل المثال ، قد ترغب في تأكيد ما إذا كان المجموع الاختباري الذي قمت بتسجيله وحسابه بشكل مستقل يتطابق مع البيانات المكتوبة في الوجهة ، أو تأكيد أن مجموعة البيانات التي يستخدمها التطبيق قد تم نقلها بنجاح ## العثور على المساعدة تقدم Google Cloud خيارات وموارد متنوعة لك للعثور على المساعدة والدعم اللازمين لاستخدام خدمات Google Cloud على أفضل وجه: موارد الخدمة الذاتية: إذا لم تكن بحاجة إلى دعم مخصص ، فلديك خيارات متنوعة يمكنك استخدامها وفقًا لسرعتك الخاصة. شركاء التكنولوجيا: دخلت Google Cloud في شراكة مع العديد من الشركات لمساعدتك في استخدام منتجاتنا وخدماتنا. خدمات Google Cloud الاحترافية: يمكن أن تساعدك خدماتنا الاحترافية في تحقيق أقصى استفادة من استثمارك في Google Cloud هناك المزيد من الموارد للمساعدة في ترحيل أعباء العمل إلى Google Cloud في Google Cloud Migration Center لمزيد من المعلومات حول هذه الموارد ، راجع قسم البحث عن المساعدة في الترحيل إلى Google Cloud: البدء ## ماذا بعد - إذا كانت لديك أسئلة حول وضع خطة نقل أو حول حالة استخدام معينة ، يمكنك الاتصال بدعم Google Cloud ، أو الاتصال بفريق حساب Google الخاص بك مباشرةً - للبدء في التحويل الخاص بك ، نقدم الأدلة التالية: - للاستراتيجيات العامة لترحيل البيانات: ترحيل تطبيق monolithic إلى microservices على Google Kubernetes Engine - للتحويل دون اتصال بالإنترنت: Transfer Appliance - للتحويل عبر الإنترنت من سحابة عامة: Storage Transfer Service - استكشف الهياكل المرجعية والرسوم التخطيطية والبرامج التعليمية وأفضل الممارسات حول Google Cloud. ألق نظرة على مركز Cloud Architecture.