النظام الأساسي للبيانات - Data Lakehouse

يمكنك جمع بيانات الحدث وتحليلها بفعالية وتدفق البيانات من إنترنت الأشياء (IoT) ومصادر الوسائط الاجتماعية، ولكن كيف تربطها بمجموعة واسعة من موارد بيانات المؤسسة للاستفادة من استثمارك واكتساب الرؤى التي تريدها؟

استفد من مستودع البيانات السحابي الذي يجمع بين قدرات بحيرة البيانات ومستودع البيانات لمعالجة مجموعة واسعة من المؤسسة وتدفق البيانات لتحليل الأعمال والتعلم الآلي.

تضع هذه البنية المرجعية حل التكنولوجيا في سياق الأعمال العام:

وصف الشكل التوضيحي data-driven-business-context.png

تمكّن بحيرة البيانات المؤسسة من تخزين جميع بياناتها في بيئة مرنة وفعالة من حيث التكلفة مع توفير الخدمات اللازمة للمعالجة والاستمرارية والتحليلية لاكتشاف رؤى جديدة للأعمال. تخزن بحيرة البيانات وتنظم البيانات المهيكلة وغير المهيكلة وتوفر طرقًا لتنظيم كميات كبيرة من البيانات شديدة التنوع من مصادر متعددة.

باستخدام مخزن البيانات، يمكنك إجراء تحويل البيانات وتنقيحها قبل تثبيت البيانات في المستودع. باستخدام بحيرة بيانات، يمكنك استيعاب البيانات بسرعة وإعدادها بسرعة أثناء وصول الأشخاص إليها. تدعم بحيرة البيانات إعداد التقارير التشغيلية ومراقبة الأعمال التي تتطلب الوصول الفوري إلى البيانات والتحليل المرن لفهم ما يحدث في الأعمال أثناء حدوثها.

بنية وظيفية

تجمع هذه البنية بين قدرات بحيرة البيانات ومستودع البيانات لتوفير نظام أساسي حديث لمركز البيانات يقوم بمعالجة تدفق البيانات وأنواع البيانات الأخرى من مجموعة واسعة من موارد بيانات المؤسسة. استخدم هذه البنية للاستفادة من البيانات لتحليل الأعمال والتعلم الآلي وخدمات البيانات ومنتجات البيانات.

تجمع بنية مستودع البيانات بين إمكانات مستودع البيانات ومستودع البيانات لزيادة الكفاءة التشغيلية وتقديم إمكانات محسنة تسمح بما يلي:

• استخدام سلس للبيانات والمعلومات من دون الحاجة إلى تكرارها عبر بحيرة البيانات ومستودع البيانات
• دعم نوع البيانات المتنوعة في بنية محسّنة متعددة النماذج ومتعددة اللغات
• حوكمة وأمان بيانات دقيق يستفيد من نموذج أمان انعدام الثقة
• القدرة على فصل موارد التخزين والحوسبة بشكل كامل واستهلاك الموارد اللازمة في أي وقت فقط
• القدرة على الاستفادة من محركات الحوسبة المتعددة، بما في ذلك محركات المصدر المفتوح، لمعالجة نفس البيانات لحالات الاستخدام المختلفة لتحقيق الحد الأقصى من إعادة توزيع البيانات والسيولة والاستخدام
• القدرة على الاستفادة من خدمات Oracle Cloud Infrastructure (OCI) الأصلية التي تديرها Oracle والتي تقلل من النفقات العامة التشغيلية
• اقتصاديات سحابية أفضل مع التوسع التلقائي الذي يضبط البنية الأساسية للموارد السحابية لتتناسب مع الطلب الفعلي
• وحدات نمطية بحيث يعتمد استخدام الخدمة على حالة الاستخدام
• إمكانية التشغيل التفاعلي مع أي نظام أو سحابة تلتزم بالمعايير المفتوحة
• دعم مجموعة متنوعة من حالات الاستخدام، بما في ذلك البث والتحليلات وعلوم البيانات والتعلم الآلي
• دعم النُهج المعمارية المختلفة، بدءًا من مستودع مركزي إلى شبكة بيانات لا مركزية

يوضح الشكل التالي البنية الوظيفية.

وصف الشكل التوضيحي lakehouse-functional.png

بحيرة-وظيفة-oracle.zip

يركز الهيكل على الأقسام المنطقية التالية:

• استيعاب، تحويل

  يستوعب البيانات ويحسنها لاستخدامها في كل طبقة من طبقات البيانات في البنية.

• الاحتفاظ، التوقع، الإنشاء

  تسهيل الوصول إلى البيانات واستكشافها لعرض طريقة عرض الأعمال الحالية. بالنسبة للتقنيات العلائقية، قد تكون البيانات منظمة منطقيًا أو ماديًا في أشكال بسيطة علائقية أو طولية أو بُعدية أو OLAP. بالنسبة للبيانات غير العلائقية، تحتوي هذه الطبقة على مجمع بيانات واحد أو أكثر، إما مخرجات من عملية تحليلية أو بيانات محسنة لمهمة تحليلية محددة.

• التحليل والتعلم والتنبؤ

  تلخيص عرض الأعمال المنطقي لبيانات المستهلكين. ويسهل هذا التجريد اتباع نُهج مرنة للتنمية، والترحيل إلى الهيكل المستهدف، وتوفير طبقة تقرير واحدة من مصادر موحدة متعددة.

تشتمل البنية على المكونات الوظيفية التالية:

• استيعاب الدفعة

  استيعاب الدفعة مفيد للبيانات التي لا يمكن استيعابها في الوقت الفعلي أو التي تعد باهظة التكلفة للتكيف مع الاستيعاب في الوقت الفعلي. ومن المهم أيضا تحويل البيانات إلى معلومات موثوقة وجديرة بالثقة يمكن تنسيقها واستمرارها للاستهلاك المنتظم. يمكنك استخدام الخدمات التالية معًا أو بشكل مستقل لتحقيق سير عمل عالي المرونة والفعالية لتكامل البيانات وتحويلها.

  • Oracle Cloud Infrastructure Data Integration هي خدمة سحابية مُدارة بالكامل ومن دون خادم، وتقوم باستخراج البيانات وتحميلها وتحويلها وتصحيحها وإعادة تشكيلها من مجموعة متنوعة من مصادر البيانات إلى خدمات Oracle Cloud Infrastructure المستهدفة، مثل Autonomous Data Warehouse وOracle Cloud Infrastructure Object Storage. تستفيد ETL (تحميل التحويل الخارجي) من معالجة التوسع المدارة بالكامل على Spark، وتستفيد ELT (تحويل استخراج التحميل) من إمكانات SQL المتدرجة الكاملة لـ Autonomous Data Warehouse من أجل تقليل حركة البيانات وتحسين وقت الحصول على قيمة للبيانات المستحدثة. يقوم المستخدمون بتصميم عمليات تكامل البيانات باستخدام واجهة مستخدم سهلة الاستخدام وغير قابلة للترميز تعمل على تحسين تدفقات التكامل لإنشاء أكثر المحركات والتنسيق كفاءة، وتخصيص بيئة التنفيذ وتوسيعها تلقائيًا. يوفر Oracle Cloud Infrastructure Data Integration الاستكشاف التفاعلي وإعداد البيانات ويساعد مهندسي البيانات على الحماية من انحراف المخطط من خلال تحديد القواعد لمعالجة تغييرات المخطط.

  • يوفر Oracle Data Integrator تكاملاً شاملاً للبيانات مع خدمات البيانات بدءًا من التحميلات الدفعية عالية الأداء والأحجام الكبيرة، وحتى عمليات التكامل القائمة على الأحداث والتغذية بالتلاعب، وحتى خدمات البيانات التي تدعم SOA. يضمن نهج التصميم التصريحي التطوير والصيانة الأسرع والأبسط ويوفر نهجًا فريدًا لاستخراج تحويل الحمل (ELT) الذي يساعد على ضمان أعلى مستوى من الأداء الممكن لعمليات تحويل البيانات والتحقق منها. تستخدم تحويلات بيانات Oracle واجهة ويب لتبسيط تكوين ELT وتنفيذها ولمساعدة المستخدمين على إنشاء البيانات وتدفقات العمل وجدولتها باستخدام نهج تصميم توضيحي.

  • تعمل تحويلات البيانات من Oracle على تمكين ELT للتقنيات المدعومة المحددة، مما يعمل على تبسيط تكوين خطوط أنابيب البيانات وتنفيذها باستخدام واجهة مستخدم الويب التي تتيح للمستخدمين إنشاء تدفقات البيانات وسير العمل وجدولتها بشكل تصريحي. تتوفر Oracle Data Transforms كبيئة مُدارة بالكامل داخل Oracle Autonomous Data Warehouse (ADW) لتحميل البيانات وتحويلها من عدة مصادر بيانات إلى طبعة ADW.

  اعتمادًا على حالة الاستخدام، يمكن استخدام هذه المكونات بشكل مستقل أو معًا لتحقيق تكامل البيانات وتحويلها عالي المرونة والأداء.

• استيعاب الوقت الفعلي

  Oracle Cloud Infrastructure GoldenGate هي خدمة مدارة بالكامل تسمح باستيعاب البيانات من المصادر الموجودة في أماكن العمل أو في أي سحابة. وتستفيد من تقنية CDC GoldenGate لتسجيل البيانات وتسليمها بشكل غير تطفلي وفعال إلى Oracle Autonomous Data Warehouse أو Oracle Cloud Infrastructure Object Storage أو Oracle Cloud Infrastructure Streaming في الوقت الفعلي وعلى نطاق واسع لتوفير المعلومات ذات الصلة للمستهلكين في أسرع وقت ممكن.

• تحويل مجمع

  يسمح لك النقل المجمع بنقل كميات كبيرة من البيانات دفعة باستخدام أساليب مختلفة. بالنسبة لمراكز البيانات واسعة النطاق، نوصي بخدمات Oracle Cloud Infrastructure FastConnect ونقل البيانات.

  • يوفر Oracle Cloud Infrastructure FastConnect طريقة سهلة لإنشاء اتصال خاص مخصص بين مركز بياناتك وOracle Cloud Infrastructure. يوفر موقع FastConnect خيارات نطاق ترددي أعلى وتجربة شبكات أكثر موثوقية مقارنة بالاتصالات المستندة إلى الإنترنت.

  • تتيح لك واجهة سطر أوامر Oracle Cloud Infrastructure (CLI) تنفيذ نقل البيانات من مكان العمل إلى OCI وأتمتته من خلال الاستفادة من دائرة Oracle Cloud Infrastructure FastConnect الخاصة. تتيح لك OCI SDK كتابة التعليمات البرمجية لنسخ البيانات والملفات من أماكن العمل أو من السحابات الأخرى إلى Oracle Cloud Infrastructure Object Storage، مع الاستفادة من مجموعة متنوعة من لغات البرمجة مثل Python أو Java أو الذهاب إلى عدد قليل. تسمح لك واجهات برمجة تطبيقات REST بالربط مع خدمات OCI والتحكم فيها، مثل نقل البيانات إلى تخزين الكائنات باستخدام واجهة برمجة تطبيقات خدمة تخزين الكائنات.
  • بوابة التخزين هي بوابة تخزين سحابية تتيح الاتصال بالتطبيقات المحلية بـ OCI. يمكن للتطبيقات كتابة البيانات إلى هدف NFS محدد الموقع والذي سيقوم بتحميل هذه الملفات إلى تخزين كائنات OCI دون الحاجة إلى تعديلات التطبيق لاستيعاب واجهات برمجة تطبيقات REST.
  • Oracle Cloud Infrastructure Data Transfer هي خدمة ترحيل بيانات غير متصلة تتيح لك نقل مجموعات البيانات بحجم بيتابايت بأمان من مركز البيانات إلى Oracle Cloud Infrastructure Object Storage أو Archive Storage. لا يمكن دائمًا استخدام الإنترنت العام لنقل البيانات إلى السحابة نظرًا لارتفاع تكاليف الشبكة والاتصال بالشبكة غير الموثوق به وأوقات النقل الطويلة والمخاوف الأمنية. تتغلب خدمة نقل البيانات على هذه التحديات ويمكنها أن تقلل بشكل كبير من الوقت المستغرق لترحيل البيانات إلى السحابة. يمكن نقل البيانات إما من خلال القرص أو الجهاز. يعتمد اختيار أحدهما على الآخر في الغالب على كمية البيانات، حيث يدعم جهاز نقل البيانات مجموعات أكبر من البيانات لكل جهاز.
• استيعاب التدفق

  يتم دعم استيعاب التدفق باستخدام خدمات OCI الأصلية التي تسمح باستيعاب مجموعات البيانات الكبيرة في الوقت الفعلي من مجموعة واسعة من منتجي البيانات. يستمر تدفق الإدخال في تخزين الكائنات ويقوم بمزامنته، وهو في قلب مستودع البيانات. تتيح لك مزامنة البيانات مع تخزين الكائنات الاحتفاظ بالبيانات القديمة التي يمكن تصحيحها وتحويلها إلى المزيد لاستخلاص رؤى قيمة.

  • يوفر تدفق Oracle Cloud Infrastructure حلاً تخزينًا كاملاً وقابلاً للتطوير ودائمًا لاستيعاب تدفقات البيانات المستمرة بكميات كبيرة والتي يمكنك استهلاكها ومعالجتها في الوقت الفعلي. يمكن استخدام البث للمراسلة أو سجلات التطبيقات كبيرة الحجم أو القياس عن بُعد التشغيلي أو بيانات النقر الفرعي على الويب أو حالات استخدام نموذج مراسلة النشر والاشتراك الأخرى التي يتم فيها إنتاج البيانات ومعالجتها باستمرار وبشكل متسلسل. تتم مزامنة البيانات مع Oracle Cloud Infrastructure Object Storage ويمكن تنسيقها وتحويلها بشكل أكبر لاستخلاص رؤى قيمة.

  • مركز موصل خدمة Oracle Cloud Infrastructure هو نظام أساسي لأناقل الرسائل السحابية يوفر جزءًا واحدًا من الزجاج لوصف حركة البيانات بين الخدمات في Oracle Cloud Infrastructure وتنفيذها ومراقبتها. بالنسبة لهذه البنية المرجعية الخاصة، سيتم استخدامها لنقل البيانات من Oracle Cloud Infrastructure الدفق إلى Oracle Cloud Infrastructure Object Storage لاستمرار البيانات الأولية والمُعدة في طبقة ثبات مستودع البيانات.

• معالجة التدفق

  تعمل المعالجة المتدفقة على إثراء البيانات المتدفقة، واكتشاف أنماط الأحداث، وإنشاء مجموعة مختلفة من التدفقات المستمرة في مركز البيانات.

  GoldenGate تقوم Stream Analytics (GGSA) بمعالجة وتحليل المعلومات واسعة النطاق في الوقت الفعلي باستخدام أنماط الارتباط المتطورة وإثراء البيانات والتعلم الآلي. يمكن للمستخدمين استكشاف البيانات في الوقت الفعلي من خلال الرسوم البيانية والخرائط والتمثيلات المرئية المباشرة وإنشاء خطوط أنابيب التدفق بشكل رسومي دون الحاجة إلى ترميز يدوي. يتم تنفيذ خطوط الأنابيب هذه في بيئة بيانات كبيرة مجمعة قابلة للتوسع وعالية التوافر باستخدام Spark المتكاملة مع محرك الاستعلام المستمر من Oracle لمعالجة حالات الاستخدام الحرجة في الوقت الفعلي للمؤسسات الحديثة.

  GoldenGate يمكن أن يستفيد Stream Analytics من مجموعة Spark التي يتم نشرها مع Oracle Cloud Infrastructure خدمة البيانات الكبيرة لمعالجة التدفقات بطريقة قابلة للتوسع ومرنة للغاية.

• نظام بيئي مفتوح المصدر

  يمكنك استخدام النظام البيئي للمصدر المفتوح:

  • لمعالجة الدفعات والتدفق الاستفادة من العديد من المحركات مفتوحة المصدر الشائعة مثل Hadoop، أو Spark، أو Flink، أو Trino.
  • مع Oracle Cloud Infrastructure تدفق كل من المنتج والمستهلك
  • باستخدام Oracle Cloud Infrastructure Object Storage حيث يمكن أن يواصل كلاً من البيانات ويستهلك البيانات.

  يمكنك استخدام Oracle Cloud Infrastructure Object Storage كبحيرة بيانات لاستمرار مجموعات البيانات التي تريد مشاركتها بين خدمات Oracle Cloud Infrastructure المختلفة في أوقات مختلفة.

  توفر Oracle Big Data Cloud مجموعات Hadoop أو Spark أو Flink أو تتسم بالتكوين والأمان والتوفر العالي والمخصصة بشكل كامل، بين التقنيات الأخرى عند الطلب. قم بتوسيع المجموعة لتناسب أحمال عمل البيانات الضخمة والتحليلات باستخدام مجموعة من أشكال حوسبة Oracle Cloud Infrastructure التي تدعم كل شيء بدءًا من مجموعات الاختبار والتطوير الصغيرة وحتى مجموعات الإنتاج الكبيرة. اضبط سرعة الطلب على الأعمال وحسِّن التكاليف من خلال الاستفادة من تكوينات التوسع التلقائي سواء بناءً على المقاييس أو وفقًا للجدول الزمني. استفد من ملفات تعريف المجموعات لإنشاء مجموعات مثالية لحمل عمل أو تقنية محددة.
• معالجة الدفعة

  تحول المعالجة الدفعية مجموعات البيانات الكبيرة الحجم المخزنة في مستودع البيانات. تستفيد المعالجة الدفعية من خدمات Oracle Cloud Infrastructure الأصلية التي تتكامل بسلاسة مع Oracle Cloud Infrastructure Object Storage وتسمح لك بإنشاء بيانات منسقة لحالات الاستخدام مثل تجميع البيانات وإثرائها واستيعاب مستودع البيانات واستخدام التعلم الآلي وبيانات الذكاء الاصطناعي على نطاق واسع.

  • Oracle Cloud Infrastructure Data Integration، المبين أعلاه، خدمة مدارة بالكامل ومن دون خادم ومدمجة بالسحابة، وتقوم باستخراج البيانات وتحميلها وتحويلها وتصفيتها وإعادة تشكيلها من مجموعة متنوعة من مصادر البيانات إلى خدمات Oracle Cloud Infrastructure المستهدفة، مثل Autonomous Data Warehouse وOracle Cloud Infrastructure Object Storage.

  • Oracle Cloud Infrastructure Data Flow هي خدمة بيانات كبيرة مدارة بالكامل تتيح لك تشغيل تطبيقات Apache Spark دون الحاجة إلى نشر البنية الأساسية أو إدارتها. فهو يتيح لك توفير البيانات الكبيرة وتطبيقات الذكاء الاصطناعي بشكل أسرع، لأنه يمكنك التركيز على تطبيقاتك دون الحاجة إلى إدارة العمليات. تطبيقات تدفق البيانات هي قوالب قابلة لإعادة الاستخدام تتكون من تطبيق Spark وتبعياته والمعلمات الافتراضية ومواصفات مورد وقت التشغيل الافتراضية.

• مقدار الطعام

  Oracle Autonomous Data Warehouse هي خدمة قاعدة بيانات ذاتية التوجيه والتأمين والإصلاح مُحسّنة لأحمال عمل تخزين البيانات. لست بحاجة إلى تكوين أي جهاز أو إدارته، أو تثبيت أي برنامج. يتعامل Oracle Cloud Infrastructure مع إنشاء قاعدة البيانات، بالإضافة إلى النسخ الاحتياطي وتصحيح وترقية وضبط قاعدة البيانات.

  بعد التزويد، يمكنك توسيع عدد مراكز وحدات المعالجة المركزية أو سعة تخزين قاعدة البيانات في أي وقت دون التأثير على التوفر أو الأداء.

  يمكن لـ Oracle Autonomous Data Warehouse أيضًا فرضنة على البيانات الموجودة في تخزين الكائنات كجداول مقسمة خارجية ومختلطة بحيث يمكنك ربط البيانات المشتقة من مصادر أخرى مع بيانات المستودع واستهلاكها. يمكنك أيضًا نقل البيانات التاريخية من المستودع إلى تخزين الكائنات ثم استهلاكها بسلاسة باستخدام الجداول المقسمة المختلطة.

  يمكن لـ Oracle Autonomous Data Warehouse استخدام بيانات التعريف التي تم جمعها مسبقًا والمخزنة في كتالوج البيانات لتكوين جداول خارجية، ويمكنها مزامنة تحديثات بيانات التعريف تلقائيًا في كتالوج البيانات مع تعريف الجداول الخارجية للحفاظ على الاتساق وتبسيط الإدارة وتقليل الجهد.

  توفر طرق العرض التحليلية، وهي ميزة Autonomous Database، طريقة سريعة وفعالة لإنشاء استعلامات تحليلية للبيانات المخزنة في جداول وطرق عرض قاعدة البيانات الحالية. تقوم طرق العرض التحليلية بتنظيم البيانات باستخدام نموذج بُعد. تتيح لك إضافة تجميعات وعمليات حسابية إلى مجموعات البيانات وعرض البيانات في طرق عرض يمكن الاستعلام عنها باستخدام SQL بسيط. تسمح لك هذه الميزة بنمذجة مخطط قاعدة البيانات النجمية أو مخطط قاعدة البيانات غير المتزامن تمامًا في ADW، باستخدام البيانات المخزنة داخليًا وخارجيًا، كما تسمح باستهلاك النموذج باستخدام SQL وأي مستهلك بيانات متوافق مع SQL.

  بالإضافة إلى ذلك، يمكن لـ Autonomous Data Lake Accelerator، وهو مكون من مكونات Autonomous Database، استهلاك بيانات تخزين الكائنات بسلاسة، وتوسيع المعالجة لتقديم استعلامات سريعة، وتوسيع نطاق مثيل حوسبة قاعدة البيانات تلقائيًا عند الحاجة، وتقليل التأثير على حمل عمل قاعدة البيانات من خلال عزل استعلامات تخزين الكائنات عن مثيل قاعدة البيانات.

• تخزين السحابة

  Oracle Cloud Infrastructure Object Storage هو نظام أساسي للتخزين عالي الأداء وعالي الأداء على نطاق الإنترنت يوفر متانة بيانات موثوقة وفعالة من حيث التكلفة. Oracle Cloud Infrastructure Object Storage يمكن أن يخزن كمية غير محدودة من البيانات غير المهيكلة من أي نوع محتوى، بما في ذلك البيانات التحليلية. يمكنك تخزين البيانات أو استرجاعها بأمان وأمان مباشرة من الإنترنت أو من داخل النظام الأساسي السحابي. تتيح لك واجهات الإدارة المتعددة البدء بسهولة على نطاق صغير والتوسع بسلاسة، دون التعرض لأي تدهور في الأداء أو موثوقية الخدمة.

  يمكن أيضًا استخدام Oracle Cloud Infrastructure Object Storage كطبقة تخزين باردة لمخزن البيانات من خلال تخزين البيانات التي يتم استخدامها بشكل غير متكرر ثم الانضمام إليها بسلاسة مع أحدث البيانات باستخدام الجداول المختلطة في Oracle Autonomous Data Warehouse.

• التمثيل المرئي والتعلم

  Oracle Analytics Cloud هي خدمة سحابية عامة آمنة وقابلة للتوسع توفر مجموعة كاملة من الإمكانات لاستكشاف التحليلات التعاونية وتنفيذها لك ومجموعات العمل ومؤسستك. وهي تدعم علماء بيانات المواطنين وتدريب محللي الأعمال المتقدمين وتنفيذ نماذج التعلم الآلي (ML). يمكن تنفيذ نماذج التعلم الآلي على خدمة التحليلات أو مباشرة على Oracle Autonomous Data Warehouse كنماذج مضمنة لـ OML للتنبؤات الدفعية الواسعة النطاق التي تستفيد من قوة المعالجة وقابلية التوسع ومرونة المستودع وخدمات الذكاء الاصطناعي لـ OCI، مثل رؤية Oracle Cloud Infrastructure.

  مع Oracle Analytics Cloud يمكنك أيضًا الحصول على إمكانات إدارة خدمة مرنة، بما في ذلك الإعداد السريع والقياس السهل والتصحيح وإدارة دورة الحياة المؤتمتة.

• التعلم والتنبؤ

  • يوفر علم البيانات أدوات للبنية الأساسية والتقنيات مفتوحة المصدر والمكتبات والحزم وعلم البيانات لفرق علوم البيانات لإنشاء نماذج التعلم الآلي (ML) والتدريب عليها وإدارتها في Oracle Cloud Infrastructure. توفر مساحة العمل التعاونية والقائمة على المشروعات تجربة مستخدم متماسكة شاملة وتدعم دورة حياة النماذج التنبؤية. تتيح علوم البيانات لعلماء البيانات ومهندسي التعلم الآلي تنزيل الحزم وتثبيتها مباشرة من مستودع Anaconda دون تكلفة، مما يتيح لهم الابتكار في مشاريعهم باستخدام نظام بيئي لعلم البيانات منسق لمكتبات التعلم الآلي.

    تتيح ميزة وظائف علم البيانات لعلماء البيانات تحديد مهام التعلم الآلي القابلة للتكرار وتشغيلها على بنية تحتية مُدارة بالكامل.

    تتيح ميزة نشر النماذج علم البيانات لعلماء البيانات نشر نماذج مدربة كنقاط نهاية HTTP مُدارة بالكامل يمكنها توفير تنبؤات في الوقت الفعلي، مع تضمين المعلومات في العمليات والتطبيقات، والسماح للشركة بالرد على الأحداث ذات الصلة عند حدوثها.

  • يوفر Oracle Machine Learning إمكانات قوية للتعلم الآلي مدمجة بإحكام في Autonomous Database، مع دعم Python وAutoML. وهو يدعم النماذج باستخدام خوارزميات مفتوحة المصدر وقابلة للتوسع في قاعدة البيانات تقلل من إعداد البيانات ونقلها. AutoML يساعد علماء البيانات على تسريع وقت تقييم مبادرات التعلم الآلي للشركة باستخدام تحديد خوارزميات تلقائية وأخذ عينات بيانات تكييفية واختيار الميزات تلقائيًا وضبط النماذج التلقائية. باستخدام خدمات Oracle Machine Learning المتوفرة في Oracle Autonomous Data Warehouse، لا يمكنك إدارة النماذج فحسب، بل يمكنك أيضًا نشر تلك النماذج كنقاط نهاية REST من أجل إضفاء الطابع الديمقراطي على التنبؤات في الوقت الفعلي داخل الشركة مما يسمح للأعمال بالاستجابة للأحداث ذات الصلة عند وقوعها، بدلاً من الاستجابة للحقيقة.

• خدمات الذكاء الاصطناعي

  توفر خدمات الذكاء الاصطناعي من Oracle Cloud Infrastructure مجموعة من خدمات الذكاء الاصطناعي الجاهزة للاستهلاك والتي يمكن استخدامها لدعم مجموعة من حالات الاستخدام بدءًا من تحليل النصوص وحتى الصيانة التنبؤية. تشتمل هذه الخدمات على نماذج تم إنشاؤها مسبقًا وضبطها بدقة يمكنك دمجها في مسارات البيانات والتحليلات والتطبيقات باستخدام واجهات برمجة التطبيقات.

  • يوفر الاكتشاف الشاذ لـ Oracle Cloud Infrastructure مجموعة غنية من الأدوات لتحديد الأحداث أو الملاحظات غير المرغوب فيها في بيانات الأعمال في الوقت الفعلي بحيث يمكنك اتخاذ الإجراءات اللازمة لتجنب اضطرابات الأعمال.

  • Oracle Cloud Infrastructure تقوم لغة الذكاء الاصطناعي بإجراء تحليل نصي متطور على نطاق واسع. باستخدام النماذج المخصصة والمدربة مسبقًا، يمكن للمطورين معالجة النص غير المنظم واستخلاص الرؤى من دون خبرة في علوم البيانات. تدعم النماذج سابقة التدريب تحليل المشاعر واستخراج العبارة الأساسية وتصنيف النصوص وتعريف الكيان المحدد. يمكنك أيضًا تدريب نماذج مخصصة لتعريف الكيان المحدد وتصنيف النص باستخدام مجموعات بيانات محددة للنطاق. تتيح لك خدمة الترجمة ترجمة النص عبر 21 لغة مختلفة.

  • يستفيد Oracle Cloud Infrastructure Speech من قوة اللغة المنطوقة بالسماح لك بتحويل ملفات الوسائط التي تحتوي على خطاب بشري بسهولة إلى نصوص دقيقة للغاية. يمكن استخدام OCI Speech لنقل مكالمات خدمة العملاء وأتمتة الترجمة وإنشاء ميتاديتا لأصول الوسائط لتكوين أرشيف قابل للبحث بالكامل.

  • Oracle Cloud Infrastructure تقوم Vision بتنفيذ مهام التعرف على الصور وتحليل المستندات مثل تصنيف الصور والكشف عن الوجوه واستخراج النص والتعرف على الجداول. يمكنك إما الاستفادة من النماذج التي تم التدريب عليها مسبقًا أو إنشاء نماذج رؤية مخصصة بسهولة للسيناريوهات الخاصة بالمجال والعملاء. خدمة Vision هي خدمة سحابية مُدارة بالكامل ومتعددة المؤسسات وتساعد في كل مهام رؤية الكمبيوتر الشائعة.

  • يؤدي فهم المستند Oracle Cloud Infrastructure مهام تحليل المستندات مثل استخراج النص والتعرف على الجداول. خدمة فهم مستندات OCI هي خدمة سحابية أصلية مُدارة بالكامل ومتعددة المؤسسات تساعد في جميع مهام تحليل المستندات الشائعة.

• إثراء البيانات

  يمكن لإثراء البيانات تحسين البيانات المستخدمة لتدريب نماذج التعلم الآلي لتحقيق نتائج تنبؤ أفضل وأكثر دقة.

  Oracle Cloud Infrastructure تسمح لك تسمية البيانات بتكوين مجموعات البيانات واستعراضها، وعرض سجلات البيانات (النص أو الصور)، وتطبيق التسميات لأغراض إنشاء نماذج الذكاء الاصطناعي/التعلم الآلي. كما توفر الخدمة واجهات مستخدم تفاعلية مصممة للمساعدة في عملية وضع العلامات. بعد تسمية السجلات، يمكن تصدير مجموعة البيانات كملف JSON محدد بسطور للاستخدام في تطوير نموذج الذكاء الاصطناعي/التعلم الآلي.
• بحث

  يمكن استخدام إمكانات البحث كدالة تكميلية لعرض البيانات للمستخدمين النهائيين التي تتطلب بيانات تحليلات تشغيلية مفهرسة مسبقًا، وبالتالي يتم تقديمها بزمن انتقال منخفض.

  Oracle Cloud Infrastructure البحث باستخدام OpenSearch هو محرك بحث نصي موزع ومُدار بالكامل وخالي من الصيانة. يتيح لك OpenSearch تخزين كميات كبيرة من البيانات والبحث عنها وتحليلها بسرعة مع أوقات الاستجابة السريعة. تدعم الخدمة واجهات برمجة تطبيقات OpenSearch مفتوحة المصدر ومؤثرات عرض بيانات لوحات المعلومات OpenSearch.
• تدفق التحليلات

  توفر تحليلات التدفق لوحات معلومات توفر تحليلاً في الوقت الفعلي للبيانات المتدفقة سياقيًا مع بيانات منسقة وأساسية مخزنة في مستودع البيانات لاكتشاف أنماط الاهتمام التي يمكن أن تخدم عندئذ للمستخدمين والتطبيقات والأشياء.

  GoldenGate تقوم Stream Analytics بمعالجة وتحليل المعلومات الواسعة النطاق في الوقت الفعلي باستخدام أنماط الارتباط المتطورة وإثراء البيانات والتعلم الآلي. يمكن للمستخدمين استكشاف البيانات في الوقت الفعلي من خلال الرسوم البيانية والخرائط والتمثيلات المرئية المباشرة وإنشاء خطوط أنابيب التدفق بشكل رسومي دون الحاجة إلى ترميز يدوي. يتم تنفيذ خطوط الأنابيب هذه في بيئة بيانات كبيرة مجمعة قابلة للتوسع وعالية التوافر باستخدام Spark المتكاملة مع محرك الاستعلام المستمر من Oracle لمعالجة حالات الاستخدام الحرجة في الوقت الفعلي للمؤسسات الحديثة. GoldenGate يمكن أن يستفيد Stream Analytics من مجموعة Spark التي يتم نشرها مع Oracle Cloud Infrastructure Big Data Service لمعالجة التدفقات بطريقة قابلة للتوسع ومرنة للغاية.

• خدمة التدفق

  يتم تقديم البيانات والمعلومات إلى المستهلكين باستخدام التدفقات التي تدعم مجموعة كبيرة من المستخدمين الذين يستهلكون المعلومات بشكل متزامن في الوقت الفعلي القريب ويتم فصلها عن نظام تحليلات التدفق من أجل زيادة المرونة وقابلية التوسع.

  Oracle Cloud Infrastructure توفر خدمة التدفق حل تخزين كامل الإدارة وقابل للتوسع ودائم لاستيعاب تدفقات البيانات المستمرة بكميات كبيرة والتي يمكنك استهلاكها ومعالجتها في الوقت الفعلي. يمكن استخدام البث للمراسلة أو سجلات التطبيقات كبيرة الحجم أو القياس عن بُعد التشغيلي أو بيانات النقر الفرعي على الويب أو حالات استخدام نموذج مراسلة النشر والاشتراك الأخرى التي يتم فيها إنتاج البيانات ومعالجتها باستمرار وبشكل متسلسل.

• API

  تسمح لك طبقة واجهة برمجة التطبيقات بدمج المعلومات المشتقة من علوم البيانات وOracle Machine Learning في التطبيقات وعمليات الأعمال والأشياء للتأثير على تشغيلها ووظيفتها وتحسينها. توفر طبقة واجهة برمجة التطبيقات استهلاكًا آمنًا لنماذج علم البيانات الموزعة إلى نقاط انتهاء Oracle Machine Learning REST والقدرة على التحكم في النظام لضمان توافر بيئات وقت التشغيل. يمكنك أيضًا الاستفادة من الدوال لتنفيذ منطق إضافي حسب الحاجة.

  • تتيح لك بوابة واجهة برمجة التطبيقات Oracle Cloud Infrastructure نشر واجهات برمجة التطبيقات بنقاط نهاية خاصة يمكن الوصول إليها من داخل شبكتك، ويمكنك عرضها باستخدام عناوين IP العامة إذا كنت تريد قبولها لحركة مرور الإنترنت. تدعم نقاط النهاية التحقق من واجهة برمجة التطبيقات وتحويل الطلب والاستجابة، وCORS، والمصادقة والاعتماد، وتقييد الطلب. يسمح بمراقبة واجهة برمجة التطبيقات لمراقبة الاستخدام وضمان اتفاقيات مستوى الخدمة. يمكن أيضًا استخدام خطط الاستخدام لمراقبة وإدارة مستهلكي واجهة برمجة التطبيقات وعملاء واجهة برمجة التطبيقات الذين يصلون إلى واجهات برمجة التطبيقات وإعداد طبقات وصول مختلفة لمختلف العملاء من أجل تتبع استخدام البيانات الذي يتم استهلاكه باستخدام واجهات برمجة التطبيقات. تعد خطط الاستخدام ميزة أساسية لدعم تحقيق الدخل من البيانات.

  • Oracle Cloud Infrastructure Functions هو نظام أساسي مُدار بالكامل ومتعدد المؤسسات وقابل للتوسع للغاية ومتاح حسب الطلب والوظائف كخدمة. وهي مبنية على Oracle Cloud Infrastructure على مستوى المؤسسات وتعمل بواسطة محرك المصدر المفتوح لمشروع Fn.

  • Oracle REST Data Services (ORDS) هو تطبيق Java يتيح للمطورين ذوي مهارات SQL وقواعد البيانات تطوير واجهات برمجة تطبيقات REST لـ Oracle Database. يمكن لأي مطور تطبيق استخدام واجهات برمجة التطبيقات هذه من أي بيئة لغة، دون تثبيت برامج تشغيل العملاء وصيانتها بنفس الطريقة التي يصلون بها إلى خدمات خارجية أخرى باستخدام REST، وهي تقنية واجهة برمجة التطبيقات الأكثر استخدامًا. يتم نشر ORDS كميزة مدارة بالكامل في ADW ويمكن استخدامها لعرض معلومات Lakehouse باستخدام واجهات برمجة التطبيقات لمستهلكي البيانات.

• إدارة البيانات

  يوفر Oracle Cloud Infrastructure Data Catalog رؤية لمكان وجود الأصول الفنية مثل بيانات التعريف والسمات ذات الصلة، كما يوفر القدرة على الحفاظ على قاموس أعمال تم تخطيطه إلى بيانات التعريف الفنية هذه. يمكن لكتالوج البيانات أيضًا تقديم بيانات التعريف إلى Oracle Autonomous Data Warehouse لتسهيل إنشاء الجدول الخارجي في مستودع البيانات.

• تأمين البيانات

  أمان البيانات أمر بالغ الأهمية في استكشاف بيانات Lakehouse واستخدامها إلى أقصى حد. من خلال الاستفادة من نموذج الأمان الذي لا يحظى بالثقة مع إمكانات الدفاع في العمق وRBAC، وضمان الامتثال للوائح الأكثر صرامة، يوفر أمان البيانات ضوابط أمان وقائية وكشفية وتصحيحية لضمان منع تصفية البيانات والانتهاكات.

  • Oracle Data Safe هي خدمة Oracle Cloud متكاملة بالكامل تركز على أمان البيانات. توفر مجموعة كاملة ومتكاملة من الميزات لحماية البيانات الحساسة والمنظمة في قواعد بيانات Oracle Cloud، مثل Oracle Autonomous Data Warehouse. تتضمن الميزات تقييم الأمان، وتقييم المستخدم، واكتشاف البيانات، وإخفاء البيانات، وتدقيق النشاط.

  • توفر Oracle Cloud Infrastructure Audit رؤية في الأنشطة المتعلقة بموارد Oracle Cloud Infrastructure (OCI) وأماكن استخدامها. يمكن استخدام أحداث سجل المراجعة لعمليات تدقيق الأمان لتتبع استخدام موارد OCI وتغييراتها والمساعدة على ضمان الامتثال للمعايير واللوائح.

  • يوفر تسجيل Oracle Cloud Infrastructure واجهة واحدة قابلة للتوسع وذات إدارة كاملة لجميع سجلات الاستئجار، بما في ذلك سجلات التدقيق. استخدم تسجيل OCI للوصول إلى السجلات من جميع موارد OCI بحيث يمكنك تمكينها وإدارتها والبحث فيها.

  • Oracle Cloud Infrastructure Vault هي خدمة إدارة تشفير تقوم بتخزين مفاتيح وأسرار التشفير وإدارتها للوصول الآمن إلى الموارد. تمكين المفاتيح المُدارة بواسطة العملاء لاستخدامها مع Oracle Autonomous Data Warehouse وتشفير مستودع البيانات لزيادة حماية البيانات أثناء التخزين. يتيح للأسرار تخزين الخدمات وبيانات اعتماد المستخدم بشكل آمن لتحسين وضع الأمان وضمان عدم اختراق بيانات الاعتماد واستخدامها بشكل غير ملائم.

البنية الفعلية

تدعم البنية المادية لمركز البيانات هذا ما يلي:

• يتم استيعاب البيانات بشكل آمن باستخدام الدفعات الصغيرة والتدفق وواجهات برمجة التطبيقات والملفات من مصادر البيانات العلائقية وغير العلائقية
• تتم معالجة البيانات للاستفادة من توليفة من Oracle Cloud Infrastructure Data Integration وOracle Cloud Infrastructure Data Flow
• يتم تخزين البيانات في Oracle Autonomous Data Warehouse وOracle Cloud Infrastructure Object Storage ويتم تنظيمها وفقًا لجودتها وقيمتها
• يقدم Oracle Autonomous Data Warehouse خدمات بيانات المستودعات والبحيرات بأمان للمستهلكين
• Oracle Analytics Cloud يعرض البيانات على مستخدمي الأعمال باستخدام التصورات
• يتم عرض Oracle Analytics Cloud باستخدام Oracle Cloud Infrastructure Load Balancing الذي تم تأمينه بواسطة Oracle Cloud Infrastructure Web Application Firewall (WAF) لتوفير الوصول باستخدام الإنترنت
• يُستخدم Oracle Cloud Infrastructure Data Science لإنشاء نماذج التعلم الآلي (ML) والتدريب عليها ونشرها
• تتم الاستفادة من بوابة واجهة برمجة تطبيقات Oracle Cloud Infrastructure للتحكم في عمليات نشر نماذج التعلم الآلي لعلم البيانات
• Oracle Cloud Infrastructure Data Catalog تحصد بيانات التعريف من Oracle Autonomous Data Warehouse وتخزين الكائنات
• يقوم Oracle Data Safe بتقييم المخاطر على البيانات وتنفيذ ضوابط الأمان ومراقبتها وتقييم أمان المستخدم ومراقبة نشاط المستخدم ومعالجة متطلبات توافق أمان البيانات
• يستخدم المسؤولون Oracle Cloud Infrastructure Bastion لإدارة موارد السحابة الخاصة

يوضح الشكل التالي هذه البنية المرجعية.

وصف الشكل التوضيحي lakehouse-architecture.png

بحيرة العمارة-oracle.zip

تصميم الهيكل المادي:

• يستفيد من 2 VCNs، واحدًا للوصل وآخر لحمل العمل نفسه.
• تعمل إمكانية الاتصال المحلية على الاستفادة من كل من Oracle Cloud Infrastructure FastConnect وVPN من موقع إلى موقع للتكرار.
• يتم توجيه جميع حركات المرور الواردة من أماكن العمل ومن الإنترنت أولاً إلى شبكة سحابة السحابة الافتراضية (VCN) الخاصة بالمركز، ثم إلى شبكة سحابة VCN لحمل العمل
• جميع البيانات آمنة أثناء نقلها وفي أثناء وجودها على القرص
• يتم نشر الخدمات مع نقاط النهاية الخاصة لزيادة الوضع الأمني
• يتم فصل شبكة السحابة الافتراضية (VCN) في عدة شبكات فرعية خاصة لزيادة الوضع الأمني
• يتم فصل بيانات البحيرة إلى عدة رزم في تخزين الكائنات بالاستفادة من هيكل ميدالي.

تشمل التحسينات المحتملة في التصميم والتي لم يتم وصفها في هذا النشر من أجل البساطة ما يلي:

• الاستفادة من منطقة هبوط متوافقة مع CIS بالكامل
• الاستفادة من جدار حماية الشبكة لتحسين الوضع الأمني الشامل من خلال فحص جميع حركات المرور وإنفاذ السياسات

التوصيات

استخدم التوصيات التالية كنقطة بداية لمعالجة بيانات التدفق ومجموعة واسعة من موارد بيانات المؤسسة لتحليل الأعمال والتعلم الآلي.

قد تختلف متطلباتك عن البنية الموضحة هنا.

• Oracle Autonomous Data Warehouse

  تستخدم هذه البنية Oracle Autonomous Data Warehouse على البنية الأساسية المشتركة.

  • تمكين التوسع التلقائي لمنح أحمال عمل قاعدة البيانات ما يصل إلى ثلاثة أضعاف قوة المعالجة.
  • فكر في استخدام Oracle Autonomous Data Warehouse على بنية أساسية مخصصة إذا كنت تريد إمكانية قاعدة بيانات الخدمة الذاتية داخل بيئة سحابة قاعدة بيانات خاصة تعمل على السحابة العامة.
  • فكر في استخدام ميزة الجداول المقسمة المختلطة Autonomous Data Warehouse لنقل مقاطع البيانات إلى Oracle Cloud Infrastructure Object Storage وخدمتها للمستخدمين والتطبيقات بشفافية. نوصي باستخدام هذه الميزة للبيانات التي لا يتم استهلاكها غالبًا والتي لا تحتاج إلى نفس الأداء بالنسبة للبيانات المخزنة في Autonomous Data Warehouse.
  • فكر في استخدام ميزة الجداول الخارجية لاستهلاك البيانات المخزنة في Oracle Cloud Infrastructure Object Storage في الوقت الفعلي دون الحاجة إلى استنساخها إلى Autonomous Data Warehouse. تربط هذه الميزة بين مجموعات البيانات التي تتم صياغتها خارج Autonomous Data Warehouse بشفافية وسلاسة، بغض النظر عن التنسيق (parquet، avro، orc، json، csv، وما إلى ذلك)، مع البيانات الموجودة في Autonomous Data Warehouse.
  • فكر في استخدام Autonomous Data Lake Accelerator عند استهلاك بيانات تخزين الكائنات لتقديم تجربة محسنة وسريعة للمستخدمين الذين يستهلكون البيانات ويربطونها بين مستودع البيانات وبحيرة البيانات.
  • فكر في استخدام طرق العرض التحليلية لإنشاء نموذج دلالي للمخطط الأساسي للنجمة DW أو مخطط قاعدة البيانات الثلجي مباشرة في ADW بحيث يتم تجميع البيانات الدقيقة تلقائيًا دون الحاجة إلى التجميع المسبق لها، يتم استهلاك النموذج الدلالي باستخدام SQL باستمرار مع أي عميل متوافق مع SQL، بما في ذلك Oracle Analytics Cloud، مع ضمان الحقائق ومؤشرات الأداء الرئيسية يتم تقديمها باستمرار بغض النظر عن العميل، ويمكن استخدام جميع البيانات على النموذج الدلالي بغض النظر عما إذا كان مخزنًا في ADW أو في تخزين الكائنات مما يجعل هذه الميزة طبقة نمذجة دلالية مثالية لهندسة البحيرة حيث يمكن للحقائق والأبعاد اجتياز كل من DW والبحيرة.
  • ضع في اعتبارك استخدام المفاتيح التي يديرها العميل والتي تستفيد من خدمة Vault إذا لزم الأمر التحكم الكامل في مفاتيح تشفير ADW بسبب سياسات الشركة أو اللوائح.
  • فكر في استخدام Database Vault في ADW لمنع المستخدمين ذوي الامتيازات غير المصرح لهم من الوصول إلى البيانات الحساسة وبالتالي منع تصفية البيانات وانتهاكاتها.
  • فكر في استخدام Autonomous Data Guard لدعم خطة استمرارية العمل من خلال إعداد البيانات المستنسخة والاحتفاظ بها في طبعة احتياطية إما في نفس المنطقة أو في منطقة أخرى.
  • فكر في استخدام إخفاء البيانات الديناميكي مع تنقيح البيانات لخدمة البيانات المخفية للمستخدمين وفقًا لدورهم وبالتالي ضمان الوصول الملائم للبيانات دون الحاجة إلى تكرار البيانات والإخفاء الثابت.
• تخزين الكائنات/ بحيرة البيانات

  تستخدم هذه البنية Oracle Cloud Infrastructure Object Storage، وهو تخزين سحابي قابل للتوسع بدرجة كبيرة ودائم، كمخزن بحيرات.

  • فكر في تنظيم البحيرة عبر مجموعات مختلفة من الرزم التي تستفيد من بنية الميدالية (البرونز، الفضة، الذهب) أو منطق التقسيم الآخر لفصل البيانات استنادًا إلى جودتها وإثرائها، وفرض أمان دقيق للمستهلكين الذين يقرأون البيانات، وتطبيق سياسات إدارة دورة الحياة المختلفة على الطبقات المختلفة.
  • فكر في استخدام طبقات تخزين كائنات مختلفة وسياسات دورة الحياة لتحسين تكاليف تخزين بيانات البحيرة على نطاق واسع.
  • فكر في استخدام المفاتيح التي يديرها العميل والتي تستفيد من خدمة Vault إذا كانت هناك حاجة إلى التحكم الكامل في مفاتيح تشفير تخزين الكائنات بسبب سياسات الشركة أو اللوائح.
  • فكر في استخدام استنساخ تخزين الكائنات لدعم خطة استمرارية العمل عبر إعداد استنساخ الرزمة إلى منطقة أخرى. ونظرًا لأن تخزين الكائنات يتسم بدرجة عالية من المتانة ويحتفظ بالعديد من نسخ الكائن نفسه في منطقة واحدة للاستعادة في نفس استنساخ رزمة المنطقة غير ضروري.
• Oracle Machine Learning وOracle Cloud Infrastructure Data Science

  تستفيد هذه البنية من Oracle Machine Learning وOracle Cloud Infrastructure Data Science لتشغيل التنبؤات وتقديمها في الوقت الفعلي للأشخاص والتطبيقات.

  • فكر في استخدام AutoML في OCI Data Science أو Oracle Machine Learning لتسريع تطوير نموذج التعلم الآلي.
  • فكر في استخدام Open Neural Networks Exchange (ONNX) من أجل إمكانية التشغيل البيني. يمكن نشر نماذج الأطراف الخارجية ONNX إما في OML وعرضها كنقطة انتهاء REST أو في علوم بيانات OCI وعرضها كنقطة انتهاء HTTP.
  • فكر في حفظ النموذج في OCI Data Science على أنه ONNX واستيراده إلى OCI GoldenGate Stream Analytics إذا كانت هناك حاجة إلى تشغيل تسجيل النقاط والتنبؤ في الوقت الحقيقي للحصول على تنبؤات أكثر ملاءمة يمكنها تحقيق نتائج الأعمال في الوقت الفعلي.
  • فكر في استخدام بيئات OCI Data Science Conda لتحسين إدارة وتعبئة تبعيات Python داخل جلسات دفتر ملاحظات Jupyter. استفد من مستودع Anaconda المنسق للحزم داخل OCI Data Science لاستخدام الأدوات المفضلة مفتوحة المصدر لإنشاء النماذج والتدريب عليها ونشرها.
  • فكر في استخدام تدفق بيانات OCI داخل بيئة Jupyter لعلم البيانات لإجراء تحليل بيانات استكشافية وتصنيف بيانات وإعداد بيانات على نطاق واسع للاستفادة من معالجة Spark على نطاق واسع.
  • فكر في استخدام تسمية البيانات لتسمية البيانات مثل الصور أو النصوص أو المستندات واستخدامها في تدريب نماذج التعلم الآلي التي تم إنشاؤها على علوم بيانات OCI أو خدمات الذكاء الاصطناعي لـ OCI، وبالتالي تحسين دقة التنبؤات.
  • فكر في نشر عبّارة API لتأمين وإدارة استهلاك النموذج الموزع إذا كان الشركاء والكيانات الخارجية يستهلكون التنبؤات في الوقت الفعلي.
• Oracle Cloud Infrastructure Data Integration

  تستخدم هذه البنية Oracle Cloud Infrastructure Data Integration لدعم عملية الاستخراج والتحويل والتحميل (ETL) للبيانات) التعريفية وغير البرمجية أو المنخفضة التعليمات البرمجية وتطوير مسارات البيانات.

  • استفد من Oracle Cloud Infrastructure Data Integration لتنسيق وجدولة عمليات تشغيل تطبيق Oracle Cloud Infrastructure Data Flow والقدرة على مزج الاستخراج والتحويل والتحميل التعريفي (ETL) مع منطق تعليمات Spark البرمجية المخصص. استخدم الوظائف من داخل Oracle Cloud Infrastructure Data Integration لتوسيع إمكانات مسارات البيانات.
  • ضع في اعتبارك استخدام ضغط SQL للتحولات التي تتضمن ADW كهدف لاستخدام نهج ELT أكثر كفاءة وأداءً وأمانًا مقارنة بـ ETL.
  • فكر في السماح لتكامل بيانات OCI بمعالجة انحراف مخطط مصادر البيانات للحصول على خطوط بيانات أكثر مرونة ومستقبلًا تدعم تغييرات مخطط مصادر البيانات.
• تدفق بيانات Oracle Cloud Infrastructure Data Flow

  تستخدم هذه البنية Oracle Cloud Infrastructure Data Flow لدعم معالجة تدفق Spark وSpark على نطاق واسع دون الحاجة إلى وجود مجموعات دائمة وإدارتها.

  • فكر في استخدام Oracle Cloud Infrastructure Data Catalog كمخزن بيانات Hive لـ Oracle Cloud Infrastructure Data Flow لتخزين واسترجاع تعريفات مخطط قاعدة البيانات للكائنات في أصول بيانات غير منظمة وشبه منظمة بشكل آمن مثل Oracle Cloud Infrastructure Object Storage.
  • فكر في استخدام Delta Lake في تدفق بيانات OCI إذا كانت معاملات ACID وتوحيد التدفق والمعالجة الدفعية مطلوبة لبيانات البحيرة.
• خدمة البيانات الكبيرة

  تستفيد هذه البنية من Oracle Cloud Infrastructure خدمة البيانات الكبيرة لنشر مجموعات عالية التوفر وقابلة للتوسع من مختلف التقنيات مفتوحة المصدر مثل Spark أو Hadoop أو Trino أو Flink التي يمكنها معالجة دفعات البيانات وتدفقها. تواصل خدمة البيانات الكبيرة البيانات في HDFS، وتواصل البيانات وتقرأها من Oracle Cloud Infrastructure Object Storage، ويمكنها تبادل مجموعات البيانات مع خدمات Oracle Cloud Infrastructure الأخرى مثل Oracle Cloud Infrastructure Data Flow وOracle Autonomous Data Warehouse.

  • فكر في استخدام التوسع التلقائي للتوسع تلقائيًا أفقيًا أو رأسيًا في العُقد العاملة بناءً على المقاييس أو الجدول الزمني لتحسين التكاليف باستمرار بناءً على طلب الموارد.
  • فكر في استخدام موصل OCI HDFS لتخزين الكائنات لقراءة البيانات من وإلى تخزين الكائنات وكتابتها، مما يوفر آلية لإنتاج/استهلاك البيانات المشتركة مع خدمات OCI الأخرى دون الحاجة إلى استنساخها وتكرارها.
  • فكر في استخدام Delta Lake في OCI BDS إذا كانت معاملات ACID وتوحيد التدفق والمعالجة الدفعية مطلوبة لبيانات البحيرة.
• تدفقOracle Cloud Infrastructure

  تستفيد هذه البنية من Oracle Cloud Infrastructure Streaming لاستهلاك البيانات المتدفقة من المصادر وكذلك لتوفير البيانات المتدفقة للمستهلكين.

  فكر في الاستفادة من مركز موصل خدمة Oracle Cloud Infrastructure لنقل البيانات من تدفق Oracle Cloud Infrastructure والاستمرار في Oracle Cloud Infrastructure Object Storage لدعم المزيد من تحليلات البيانات التاريخية.

• Oracle Analytics Cloud

  تستفيد هذه البنية من Oracle Analytics Cloud (OAC) لتقديم تحليلات معززة للمستخدمين النهائيين.

  فكر في الاستفادة من التكامل الذي تم إنشاؤه مسبقًا لـ OAC مع خدمات OCI AI (نماذج اللغات والرؤية) وOML (أي نموذج) لتضمين الذكاء في تدفقات البيانات والتصورات التي يستهلكها المستخدمون النهائيون، وبالتالي إضفاء الطابع الديمقراطي على استهلاك الذكاء الاصطناعي والتعلم الآلي.

• خدمات Oracle Cloud Infrastructure الذكاء الاصطناعي

  يمكن أن تستفيد هذه البنية من خدمات الذكاء الاصطناعي من Oracle Cloud Infrastructure، اعتمادًا على حالات الاستخدام المنشورة.

  • بالنسبة للصيانة التنبؤية وحالات استخدام الكشف الشاذة، ضع في اعتبارك استخدام خدمة Oracle Cloud Infrastructure Anomaly Detection التي تساعد في تحديد أوجه الخلل في مجموعة بيانات متعددة المتغيرات من خلال الاستفادة من العلاقة المتبادلة بين الإشارات.
  • فكر في استخدام "تسمية البيانات" لتسمية بيانات التدريب التي سيتم استخدامها لضبط والحصول على تنبؤات أدق لخدمات الذكاء الاصطناعي مثل الرؤية وفهم المستندات واللغة.
• بوابة API

  تستفيد هذه البنية من بوابة واجهة برمجة التطبيقات لعرض خدمات البيانات بشكل آمن والاستنتاج في الوقت الفعلي لمستهلكي البيانات.

  • فكر في استخدام Oracle Cloud Infrastructure Functions لإضافة منطق وقت التشغيل اللازم في النهاية لدعم معالجة واجهة برمجة التطبيقات المحددة التي تكون خارج نطاق طبقات معالجة البيانات والوصول إليها وتفسيرها.
  • فكر في استخدام خطط الاستخدام لإدارة وصول المشترك إلى واجهات برمجة التطبيقات، لمراقبة استهلاك واجهة برمجة التطبيقات وإدارته، وإعداد طبقات وصول مختلفة للمستهلكين المختلفين ودعم تحقيق الدخل من البيانات من خلال تتبع قياسات الاستخدام التي يمكن توفيرها لنظام فوترة خارجي.
• Oracle Cloud Infrastructure Data Catalog

  للحصول على عرض كامل وشامل للبيانات المخزنة والمتدفقة على النظام الأساسي، فكر في تجميع ليس فقط مخازن البيانات التي تدعم طبقة الاحتفاظ بالبيانات ولكن أيضًا مخازن البيانات المصدر. يتيح تخطيط بيانات التعريف الفنية المجمعة هذه إلى قاموس الأعمال وإثرائها بخصائص مخصصة إمكانية تخطيط مفاهيم الأعمال وتوثيق تعريفات الأمان والوصول والتحكم فيها.

  لتسهيل إنشاء جداول Oracle Autonomous Data Warehouse الخارجية التي تعمل على إضفاء الطابع الافتراضي على البيانات المخزنة في Oracle Cloud Infrastructure Object Storage، استفد من بيانات التعريف التي تم جمعها من قبل Oracle Cloud Infrastructure Data Catalog. يعمل ذلك على تبسيط إنشاء الجداول الخارجية وفرض اتساق البيانات الوصفية عبر مخازن البيانات، كما أنه أقل عرضة للخطأ البشري.

• Oracle Cloud Infrastructure خدمة نقل البيانات

  استخدم خدمة نقل البيانات Oracle Cloud Infrastructure عندما يكون تحميل البيانات باستخدام الاتصال بالإنترنت العام غير ممكن. نوصي بأن تفكر في استخدام نقل البيانات إذا استغرق تحميل البيانات عبر الإنترنت العام أكثر من أسبوع إلى أسبوعين.

• أمان البيانات والتدقيق

  إن زيادة الوضع الأمني الذي يستفيد من إمكانيات التدقيق والتنبيه ستسمح بمنع استبعاد البيانات والقدرة على إجراء تحليل الأدلة الجنائية في حالة حدوث خرق للبيانات.

  فكر في استخدام Data Safe لتدقيق النشاط في مستودع البيانات واستخدام خدمة التدقيق لتدقيق النشاط إلى بيانات البحيرة.

  فكر في استخدام Data Safe لاكتشاف البيانات الحساسة في ADW ولإخفائها بشكل ثابت عند إنشاء نُسخ من ADW للبيئات غير الإنتاجية وبالتالي تجنب المخاطر الأمنية.

• المنهج التنظيمي

  وهذا الهيكل مرن ويمكن أن يدعم أنواع مختلفة من النهج التنظيمية التي تتراوح بين نهج مركزي إلى نهج لامركزي تماما، وبالتالي يمكن اعتمادها واستخدامها من قبل أي منظمة تريد استخلاص قيمة من بياناتها.

  تستفيد هذه البنية، على نطاق واسع، من عناصر التحكم الدقيقة للمصادقة والاعتماد باستخدام OCI Identity and Access Management (IAM).

  فكر في استخدام IAM لفصل خطوط الأعمال والفرق المختلفة باستخدام مركز البيانات لا مركزية ملكية إنشاء منتجات البيانات وتنفيذ فصل نطاقات البيانات إذا كانت مؤسستك ترغب في تبني نهج تنظيمي لا مركزي.

  تمتلك OCI الأتمتة والبنية التحتية كتعليمة برمجية كإمكانيات أساسية لنجاح نشر البنية، والاستفادة من أطر العمل مثل Terraform وAnsible.

  إذا كانت مؤسستك تعتمد نهجًا لامركزيًا وتنفذ نطاقات البيانات بموجب هذا النهج، ففكر في الاستفادة من قوالب التضاريس التي تم إنشاؤها مسبقًا ومدير موارد OCI للوصول بسرعة واتساق إلى نطاقات البيانات في النظام الأساسي للبيانات.

الاعتبارات

عند تجميع بيانات التطبيق ومعالجتها وتنسيقها للتحليل والتعلم الآلي، ضع في الاعتبار خيارات التنفيذ التالية.

الإرشاد	موصى به	خيارات أخرى	السبب
مصفاة البيانات	Oracle Cloud Infrastructure Data Integration Oracle Cloud Infrastructure GoldenGate	Oracle Data Integrator تحويلات بيانات Oracle Autonomous Database	يوفر Oracle Cloud Infrastructure Data Integration نظامًا أساسيًا سحابيًا أصليًا يعمل من دون خادم ويتم إدارته بالكامل وهو قابل للتوسع وفعال من حيث التكلفة. Oracle Cloud Infrastructure GoldenGate يوفر نظامًا أساسيًا لاستنساخ البيانات قائمًا على السحابة ومن دون خادم ومُدار بالكامل ومن دون تدخل، ويمكن توسيعه وتوفيره من حيث التكلفة ويمكن نشره في بيئات هجينة.
استمرارية البيانات	Oracle Autonomous Data Warehouse Oracle Cloud Infrastructure Object Storage	Oracle Exadata Database Service	Oracle Autonomous Data Warehouse هي قاعدة بيانات سهلة الاستخدام ومستقلة بالكامل تتوسع بمرونة، وتوفر أداءً سريعًا للاستعلام ولا تتطلب إدارة قاعدة البيانات. كما يوفر أيضًا وصولاً مباشرًا إلى البيانات من الجداول المقسمة الخارجية أو المختلطة لتخزين الكائنات. يخزن Oracle Cloud Infrastructure Object Storage بيانات غير محدودة بصيغة أولية.
معالجة البيانات	Oracle Cloud Infrastructure Data Integration تدفق بيانات Oracle Cloud Infrastructure Data Flow Oracle Cloud Infrastructure خدمة البيانات الكبيرة	أدوات الجهات الخارجية	يوفر Oracle Cloud Infrastructure Data Integration نظامًا أساسيًا سحابيًا أصليًا وخاليًا من الخوادم ومُدارًا بالكامل لـ ETL قابل للتوسع وفعال من حيث التكلفة. يوفر Oracle Cloud Infrastructure Data Flow بيئة Spark بدون خادم لمعالجة البيانات على نطاق واسع باستخدام نموذج الدفع حسب الاستخدام ومرن للغاية. Oracle Cloud Infrastructure خدمة البيانات الكبيرة توفر Hadoop كخدمة من فئة المؤسسات مع أمان شامل وأداء عالٍ وسهولة إدارة وقابلية للترقية.
الوصول والتفسير	Oracle Analytics Cloud Oracle Cloud Infrastructure Data Science Oracle Machine Learning خدمات Oracle Cloud Infrastructure الذكاء الاصطناعي	أدوات الجهات الخارجية	تتم إدارة Oracle Analytics Cloud بالكامل وتكاملها بإحكام مع البيانات المنسقة فيOracle Autonomous Data Warehouse. علم البيانات هو نظام أساسي مدار بالكامل وذاتي الخدمة لفرق علوم البيانات لإنشاء نماذج التعلم الآلي (ML) وتدريبها وإدارتها في Oracle Cloud Infrastructure. توفر خدمة علم البيانات البنية التحتية وأدوات علم البيانات مثل AutoML وإمكانات نشر النماذج. Oracle Machine Learning هو نظام أساسي مدار بالكامل وذاتي الخدمة لعلوم البيانات متاح مع Oracle Autonomous Data Warehouse الذي يعزز قوة معالجة المستودع لإنشاء نماذج التعلم الآلي والتدريب عليها واختبارها ونشرها على نطاق واسع دون الحاجة إلى نقل البيانات خارج المستودع. خدمات الذكاء الاصطناعي من Oracle Cloud Infrastructure هي مجموعة من الخدمات التي توفر نماذج مُعدة مسبقًا ومُدربة على وجه التحديد لأداء مهام مثل استنتاج الحالات الشاذة المحتملة أو اكتشاف المشاعر.

توزيع

تتوفر تعليمات Terraform البرمجية لهذه البنية المرجعية في GitHub. يمكنك سحب التعليمات البرمجية إلى Oracle Cloud Infrastructure Resource Manager بنقرة واحدة وتكوين المكدس ونشرها. وبدلاً من ذلك، يمكنك تنزيل التعليمات البرمجية من GitHub على الكمبيوتر وتخصيص التعليمات البرمجية ونشرها باستخدام واجهة سطر أوامر Terraform.

• التوزيع باستخدام Oracle Cloud Infrastructure Resource Manager:
  1. انقر على

     إذا لم تكن قد قمت بتسجيل الدخول بالفعل، أدخل بيانات اعتماد المستأجر والمستخدم.

  2. مراجعة البنود والشروط وقبولها.
  3. حدد المنطقة التي تريد توزيع المكدس فيها.
  4. اتبع الموجهات والتعليمات التي تظهر على الشاشة لتكوين المكدس.
  5. بعد تكوين المكدس، انقر على إجراءات Terraform وحدد خطة.
  6. انتظر حتى تكتمل الوظيفة، وقم بمراجعة الخطة.

     لإجراء أية تغييرات، ارجع إلى صفحة تفاصيل المكدس وانقر على تحرير المكدس وقم بإجراء التغييرات المطلوبة. ثم قم بتشغيل الإجراء خطة مرة أخرى.

  7. إذا لم تكن هناك حاجة لإجراء المزيد من التغييرات، فارجع إلى صفحة تفاصيل المكدس وانقر على إجراءات Terraform وحدد تطبيق.
• النشر باستخدام واجهة سطر أوامر Terraform:
  1. انتقل إلى GitHub.
  2. استنساخ المستودع أو تنزيله إلى الكمبيوتر المحلي.
  3. اتبع التعليمات الواردة في مستند README.

اكتشاف المزيد

تعرف على المزيد حول ميزات هذه البنية والبنى ذات الصلة.

• النظام الأساسي للبيانات من Oracle

• تعرف على تصميم بحيرات البيانات في Oracle Cloud

• تأمين أحمال العمل باستخدام خدمة Oracle Cloud Infrastructure Network Firewall

• نشر منطقة هبوط آمنة تلبي معايير CIS Foundations لـ Oracle Cloud

• إطار عمل أفضل الممارسات لـ Oracle Cloud Infrastructure

• وثائق Oracle Cloud Infrastructure

• مقدّر تكاليف Oracle Cloud

إشعارات الاستلام

• Author: José Cruz
• Contributors: Larry Fumagalli, Ionel Panaitescu, Robert Lies

سجل التغييرات

يسرد هذا السجل التغييرات الهامة:

يونيو 21؜ 2023

تمت إضافة تعليمات لتوزيع البنية باستخدام Oracle Cloud Infrastructure Resource Manager. تم تحديث ارتباط GitHub. مخططات بنية محدثة.