الأنماط الموصى بها لبحيرات البيانات المستندة إلى السحابة

تبعًا لحالة الاستخدام الخاصة بك، يمكن إنشاء بحيرات البيانات على تخزين الكائنات أو Hadoop. ويمكن لكليهما توسيع نطاق البيانات والأدوات المؤسسية القائمة وإدماجها بسلاسة. ضع في اعتبارك إما حقل Greenfield أو أنماط الترحيل للتنظيم. اختر حقل Greenfield أو نمط الترحيل استنادًا إلى ما إذا كنت تخطط لتنفيذ جديد تمامًا أم تريد ترحيل حل البيانات الكبيرة الموجود إلى Oracle Cloud.

يعرض سير العمل التالي الأنماط الموصى بها استنادًا إلى متطلباتك.

ما يلي هو وصف data-lake-solution-pattern.png

وصف الشكل التوضيحي data-lake-solution-pattern.png

ملاحظة:

في هذا المستند، نركز على ترحيل مجموعات Big Data Appliance (BDA) وBig Data Cloud Services (BDCS) إلى OCI استنادًا إلى توزيع Cloudera لـ Hadoop (CDH). ومع ذلك، تنطبق التوصيات هنا على توزيعات Hadoop السحابية والمحلية الأخرى.

إنشاء نظام أساسي جديد للبيانات على Oracle Cloud (Greenfield)

لديك خياران لإنشاء بحيرات بيانات في Oracle Cloud لمشروعات Greenfield. استخدم خدمة البيانات الكبيرة (BDS) لبحيرات البيانات المستندة إلى HDFS. استخدم خدمات البيانات المحلية لسحابة OCI لبحيرات البيانات المستندة إلى تخزين الكائنات دون استخدام HDFS.

خدمات البيانات المحلية للسحابة

إنشاء بحيرة بيانات في تخزين كائنات OCI واستخدام البيانات الأصلية السحابية وخدمات الذكاء الاصطناعي. تتضمن هذه الخدمات تدفق البيانات وتكامل البيانات وAutonomous Data Warehouse وكتالوج البيانات وعلوم البيانات إلى جانب بضع خدمات أخرى.

يوصي Oracle هذه الخدمات بإنشاء بحيرة بيانات جديدة:

تخزين الكائنات كمخزن بحيرة البيانات لكل أنواع البيانات الأولية
خدمة تدفق البيانات لعمليات مجموعة معالجة Spark ومجموعات Spark المدمجة
خدمة تكامل البيانات لاستيعاب البيانات ووظائف ETL
Autonomous Data Warehouse (ADW) لخدمة وعرض بيانات الطبقة
دليل البيانات لاكتشاف البيانات وإدارتها

يوصي Oracle بهذه الخدمات الإضافية لإنشاء بحيرة بيانات جديدة:

تدفق الخدمة للاستيعاب المدار للبيانات في الوقت الفعلي
خدمة جهاز نقل البيانات (DTA) للنقل المجمع للبيانات لمرة واحدة
خدمة GoldenGate لبيانات تغيير التقاط البيانات (CDC) ولتدفق التحليلات
خدمة علوم البيانات لمتطلبات التعلم الآلي
خدمة Oracle Analytics Cloud (OAC) لمتطلبات التحليل الذكي للأعمال والتقارير

خدمة البيانات الكبيرة

أنشئ بحيرة بياناتك في HDFS باستخدام Oracle Big Data Service (BDS). يوفر BDS مكونات Hadoop الأكثر استخدامًا بما في ذلك HDFS وHive وHBase وSpark وOozie.

يوصي Oracle هذه الخدمات بإنشاء بحيرة بيانات جديدة باستخدام مجموعات Hadoop:

خدمة تكامل البيانات لاستيعاب البيانات ووظائف ETL
خدمة جهاز نقل البيانات (DTA) للنقل المجمع للبيانات لمرة واحدة
خدمة GoldenGate لبيانات CDC ولتدفق التحليلات
خدمة كتالوج البيانات لاكتشاف البيانات وإدارتها
خدمة علوم البيانات لمتطلبات التعلم الآلي
خدمة OAC لمتطلبات التحليل الذكي للأعمال والتقارير
BDS لمكونات HDFS ومكونات Hadoop الأخرى

سير عمل نمط Greenfield

عند إنشاء بحيرة بيانات جديدة، اتبع سير العمل هذا من المتطلبات من خلال الاختبار والتحقق:

المتطلبات: سرد متطلبات البيئات الجديدة في OCI
التقييم: تقييم خدمات وأدوات OCI المطلوبة
التصميم: تصميم بنية الحل وحجم OCI
الخطة: تكوين تخطيط خطة تفصيلي للوقت والموارد
تزويد: تزويد الموارد المطلوبة وتكوينها في OCI
تنفيذ: تنفيذ أحمال عمل التطبيقات والبيانات
أتمتة التوجيه: تنظيم وجدولة خطوط سير العمل للتشغيل الآلي
الاختبار والمراجعة: إجراء المراجعة والاختبار الوظيفي واختبار الأداء للحل الشامل

ترحيل نظام البيانات الأساسي الموجود في Oracle Cloud

يمكنك ترحيل BDA وBDCS ومجموعات Hadoop الأخرى الموجودة من بيئة محلية أو سحابية إلى Oracle Cloud Infrastructure (OCI). اختر أحد أنماط الترحيل التي تم فحصها: إعادة البناء أو إعادة التكوين أو إعادة المضيف لترحيل مجموعات Hadoop الموجودة إلى بحيرات البيانات المستندة إلى سحابة Oracle.

نمط إعادة البناء

استخدم نمط إعادة البناء إذا كنت لا تريد استخدام مجموعات Hadoop وترغب في الترحيل إلى الخدمات المحلية السحابية في Oracle Cloud Infrastructure (OCI). ابدأ بقائمة نظيفة للمهندس المعماري وبدء التنفيذ من البداية في OCI. الاستفادة من الخدمات السحابية الأصلية المدارة لجميع المكونات الرئيسية في مكدستك. على سبيل المثال، قم بإنشاء مكدس باستخدام تدفق البيانات وكتالوج البيانات وتكامل البيانات والتدفق وعلوم البيانات وADW وOAC.

يوصي Oracle بترحيل هذه الخدمات إلى بحيرة بيانات مستندة إلى السحابة بدون مجموعات Hadoop:

خدمة تخزين الكائنات كمخزن بحيرة البيانات لكل أنواع البيانات الأولية

ملاحظة:
يمكنك استخدام تخزين الكائنات مع موصل HDFS كمخزن HDFS بدلاً من HDFS في مجموعة Hadoop أو Spark.
خدمة تكامل البيانات لاستيعاب البيانات ووظائف ETL
خدمة تدفق للاستيعاب المدار للبيانات في الوقت الفعلي، والتي يمكن أن تحل محل خدمات Kafka أو Flume المدارة ذاتيًا
جهاز نقل البيانات للتحويل المجمع للبيانات لمرة واحدة
GoldenGate لبيانات CDC ولتدفق التحليلات
خدمة تدفق البيانات لعمليات مجموعة معالجة Spark ومجموعات Spark المدمجة
ADW لخدمة وعرض بيانات الطبقة
خدمة كتالوج البيانات لاكتشاف البيانات وإدارتها
خدمة علوم البيانات لمتطلبات التعلم الآلي
خدمة OAC لمتطلبات التحليل الذكي للأعمال والتقارير

نمط إعادة النموذج

استخدم نمط ترحيل إعادة النموذج إذا أردت استخدام مجموعات Hadoop على السحابة واستبدال بعض المكونات بخدمات السحابة الأصلية. استخدم خدمة البيانات الكبيرة لـ HDFS ومكونات Hadoop الأخرى، وقم بإعادة تصميم جزء من المكدس باستخدام خدماتنا السحابية الأصلية المدارة الإضافية.

قد تحتاج إلى إعادة تصميم المكدس لاستخدام نمط إعادة التصميم.

تضمين الخدمات المحلية للسحابة بدون خادم إلى جانب BDS في OCI
الاستفادة من الخدمات السحابية المحلية المدارة حيثما أمكن

يمكنك استبدال بعض هذه المكونات وفقًا لاحتياجاتك.

BDS لمكونات HDFS ومكونات Hadoop الأخرى مثل Hive وHBaseو Kafka وOozie
خدمة تكامل البيانات لاستيعاب البيانات ووظائف ETL
خدمة جهاز نقل البيانات للتحويل المجمع للبيانات لمرة واحدة
خدمة GoldenGate لبيانات CDC ولتدفق التحليلات
خدمة كتالوج البيانات لاكتشاف البيانات وإدارتها
خدمة علوم البيانات لمتطلبات التعلم الآلي
خدمة OAC لمتطلبات التحليل الذكي للأعمال والتقارير

نمط إعادة المضيف

قم بترحيل BDA وBDCS ومجموعات Hadoop الأخرى لإنشاء بحيرة البيانات في HDFS باستخدام خدمة البيانات الكبيرة (BDS). يمكنك استخدام طريقة النقل والوردية عند استخدام نمط إعادة المضيف. تتوفر كل مكونات Hadoop الشائعة الاستخدام بما في ذلك HDFS وHive وHBase وSpark وOozie في مجموعات Hadoop المدارة التي توفرها BDS.

سير عمل نمط الترحيل

عند ترحيل بحيرة البيانات إلى Oracle Cloud، اتبع سير العمل هذا من المتطلبات خلال القطع إلى البيئة الجديدة.

الاكتشاف والمتطلبات: اكتشف النظام الحالي وقم بكتابته لسرد متطلبات بيئة OCI الجديدة
التقييم: تقييم خدمات وأدوات OCI المطلوبة
التصميم: تصميم بنية الحل وحجم OCI
الخطة: تكوين تخطيط خطة تفصيلي للوقت والموارد
تزويد: تزويد الموارد المطلوبة وتكوينها في OCI
ترحيل البيانات: نقل البيانات والبيانات الوصفية إلى مخزن بيانات خدمات OCI المحدد
ترحيل حمل العمل: ترحيل أحمال العمل والتطبيقات إلى خدمات OCI باستخدام نمط الترحيل الذي حددته
أتمتة التوجيه: تنظيم وجدولة خطوط سير العمل للتشغيل الآلي
اختبار ومراجعة: تخطيط اختبار الأداء والاختبار الوظيفي لبيئة OCI النهائية
إيقاف التشغيل: قم بإيقاف تشغيل البيئة المصدر وقطع الاتصال باستخدام البيئة المستندة إلى OCI الجديدة فقط