منصة البيانات - مستودع البيانات مع تكامل معقد

غالبًا ما يتم توزيع بيانات التطبيقات المؤسسية في العديد من الأنظمة داخل المؤسسة ولا يمكن دمجها وتحليلها بسهولة للحصول على رؤى قابلة للتنفيذ.

توفر البنية المرجعية هذه إطارًا لإثراء بيانات تطبيقات المؤسسة بالبيانات الأولية من مصادر أخرى واستخدام نماذج التعلم الآلي للحصول على المعلومات الاستخبارية والرؤى التنبؤية في عمليات الأعمال.

تضع البنية المرجعية هذه حل التكنولوجيا ضمن السياق العام للأعمال:

وصف الشكل التوضيحي data-driven-business-context.png

مع قيام الأقسام بدمج البيانات من مصادر متعددة في متاجر البيانات لاكتساب رؤى مستهدفة، يجب أن يتغير مخزن بيانات المؤسسة ويتكيف مع القدرة على الاستفادة من متاجر البيانات المتوفرة وغيرها من المصادر المهيكلة وغير المهيكلة.

تقوم مخازن البيانات بفصل حمل العمل التحليلي عن حمل عمل المعاملات وتمكين المؤسسة من دمج البيانات من مصادر متعددة. يعمل ذلك على تسهيل الاستعلام عن البيانات التاريخية وتحليلها في شكل موجّه نحو الأعمال والذي يمكن أن يستمر في تغيير أنظمة المعاملات. يعتبر استخدام البيانات المخزنة في التعلم الآلي والتحليل التنبئي عنصرًا أساسيًا في غرس المعلومات في عمليات الأعمال. تساعد عمليات الأعمال الذكية على إدارة أحداث الأعمال المهمة بشكل استباقي، مثل التوصية بالمنتجات المناسبة على القناة الصحيحة للعملاء المناسبين أو اكتشاف الأحداث الاحتيالية المحتملة.

البنية

تقوم هذه البنية بتجميع بيانات التطبيق وتجميعها للتحليل والتعلم الآلي لتوفير رؤى قابلة للتنفيذ.

وصف الشكل التوضيحي oci-polyglot-architecture.png

oci-polyglot-architecture-oracle.zip

يوضح المخطط التالي تخطيطًا للبنية أعلاه إلى الخدمات المقدمة على Oracle Cloud Infrastructure (OCI) باستخدام أفضل الممارسات.

وصف الشكل التوضيحي oci-polyglot-physical-arch.png

oci-polyglot-physical-arch-oracle.zip

ويركز الهيكل على الأقسام المنطقية التالية:

• استيعاب، تحويل

  يستوعب البيانات ويحسنها لاستخدامها في كل طبقة من طبقات البيانات في البنية.

• الاحتفاظ، التوقع، الإنشاء

  تسهيل الوصول إلى البيانات واستكشافها لإظهار طريقة عرض الأعمال الحالية والقديمة. وهي تحتوي على كل من البيانات الأولية بالإضافة إلى البيانات الدقيقة والمجمعة. بالنسبة للتكنولوجيا العلائقية، قد تكون البيانات منطقية أو هيكلية حقيقية في أشكال علائقية بسيطة أو طولية أو بُعدية أو OLAP. بالنسبة للبيانات غير العلائقية، تحتوي هذه الطبقة على مجموعة أو أكثر من البيانات، إما من المخرجات من عملية تحليلية أو من البيانات المحسنة لمهمة تحليلية محددة.

• التحليل والتعلم والتنبؤ

  تلخيص عرض الأعمال المنطقي لبيانات المستهلكين. ويسهل هذا التجريد اتباع نُهج مرنة للتنمية، والترحيل إلى الهيكل المستهدف، وتوفير طبقة تقرير واحدة من مصادر موحدة متعددة.

تحتوي البنية على المكونات التالية:

• استيعاب الدفعة

  يعتبر استيعاب الدفعة مفيدًا للبيانات التي لا يمكن استيعابها في الوقت الفعلي أو باهظ التكلفة للغاية للتكيف مع الزيادة في الوقت الفعلي. ومن المهم أيضا تحويل البيانات إلى معلومات موثوقة وجديرة بالثقة يمكن التحكم فيها والحفاظ عليها للاستهلاك المنتظم. يمكنك استخدام الخدمات التالية معًا أو بشكل مستقل لتحقيق عملية تكامل وتحويل بيانات تتسم بالمرونة الفائقة والفعالية.

  • Oracle Cloud Infrastructure Data Integration هي خدمة مُدارة بالكامل وبدون خوادم أصلية بالسحابة، تقوم باستخراج البيانات وتحميلها وتحويلها وتصحيحها وإعادة تشكيلها من مجموعة متنوعة من مصادر البيانات إلى خدمات Oracle Cloud Infrastructure المستهدفة، مثل Autonomous Data Warehouse وOracle Cloud Infrastructure Object Storage. تستفيد ETL (تحميل الاستخراج) من معالجة متوسعة بالكامل على Spark، كما تستفيد ELT (تحويل الحمولة الإضافية) من إمكانيات ضغط SQL الكاملة من Autonomous Data Warehouse لتقليل حركة البيانات وتحسين وقت الوصول إلى القيمة للبيانات المستغلة حديثًا. يصمم المستخدمون عمليات تكامل البيانات باستخدام واجهة مستخدم حدسية ولا تعليمات برمجية تعمل على تحسين تدفقات التكامل من أجل إنشاء أكثر المحرك والتنسيق كفاءة، مع تخصيص بيئة التنفيذ وتوسيعها تلقائيًا. يوفر Oracle Cloud Infrastructure Data Integration استكشافًا تفاعليًا وإعداد بيانات ويساعد مهندسي البيانات على الحماية من سرقة المخطط من خلال تحديد القواعد لمعالجة تغييرات المخطط.

  • تستند تحويلات البيانات من Oracle إلى أداة تكامل Oracle Data Integrator (ODI) التي يمكن نشرها من إجراءات قاعدة بيانات Oracle Autonomous Database (Data Studio). وهو يوفر حلاً موحدًا بالكامل لإنشاء مستودعات البيانات المعقدة ونشرها وإدارتها أو كجزء من الهياكل التي ترتكز على البيانات في SOA أو بيئة ذكاء الأعمال. بالإضافة إلى ذلك، فإنه يجمع بين جميع عناصر تكامل البيانات ونقل البيانات ومزامنة البيانات وجودة البيانات وإدارة البيانات، لضمان أن المعلومات في الوقت المناسب ودقيقة ومتسقة عبر الأنظمة المعقدة.

    يوفر Oracle Data Integrator تكاملاً شاملاً للبيانات بدءًا من أحمال مجموعات المعالجة بكميات كبيرة وعالية الأداء، وصولاً إلى عمليات التكامل القائمة على الأحداث والمخصصة لخدمات البيانات بخدمة SOA. يضمن نهج التصميم التعريفي عملية تطوير وصيانة أسرع وأبسط، ويوفر نهجًا فريدًا لاستخراج تحويل الأحمال (ELT) الذي يساعد على ضمان أعلى مستوى من الأداء الممكنة لعمليات تحويل البيانات والتحقق من صحتها. تستخدم تحويلات بيانات Oracle واجهة ويب لتبسيط تكوين ELT وتنفيذها ومساعدة المستخدمين في إنشاء البيانات وتدفقات العمل وجدولتها باستخدام نهج تصميم توضيحي.

  ووفقًا لحالة الاستخدام، يمكن استخدام هذه المكونات بشكل مستقل أو معًا لتحقيق تكامل وتحويل للبيانات يتسمان بالمرونة الفائقة والأداء المذهل.

• استيعاب في الوقت الفعلي

  Oracle Cloud Infrastructure GoldenGate عبارة عن خدمة مُدارة بالكامل تتيح استيعاب البيانات من المصادر الموجودة في مكان العمل أو في أي سحابة، مع الاستفادة من تقنية GoldenGate CDC للاستلام غير المتدخل والفعّال للبيانات والتسليم إلى Oracle Autonomous Data Warehouse في الوقت الفعلي وعلى نطاق واسع لإتاحة المعلومات ذات الصلة للعملاء في أسرع وقت ممكن.

• Autonomous Data Warehouse

  Oracle Autonomous Data Warehouse هي خدمة قاعدة بيانات ذاتية التوجيه والتأمين والإصلاح يتم تحسينها لأحمال عمل تخزين البيانات. لست بحاجة إلى تكوين أي أجهزة أو إدارتها أو تثبيت أي برنامج. تعالج Oracle Cloud Infrastructure إنشاء قاعدة البيانات، فضلاً عن النسخ الاحتياطي وتصحيح وترقية وضبط قاعدة البيانات.

  يمكن ربط بيانات التخزين المجمع أو البارد الموجودة في تخزين الكائنات ببيانات المستودع كجداول خارجية وجداول مقسمة إلى مقاطع مختلطة.

  يمكن لـ Autonomous Data Warehouse استخدام بيانات التعريف التي تم صيدها مسبقًا والمخزنة في كتالوج البيانات لتكوين جداول خارجية، ويمكنها مزامنة تحديثات بيانات التعريف تلقائيًا في كتالوج البيانات مع تعريف الجداول الخارجية للحفاظ على الاتساق وتبسيط الإدارة وتقليل الجهد.

  بالإضافة إلى ذلك، يمكن لمسرع بحيرة البيانات، وهو مكون من مكونات Oracle Autonomous Database، استهلاك بيانات تخزين الكائنات بسلاسة، وتوسيع المعالجة لتقديم استعلامات سريعة، وتوسيع نطاق مثيل حوسبة قاعدة البيانات تلقائيًا عند الحاجة، وتقليل التأثير على حمل عمل قاعدة البيانات من خلال عزل استعلامات تخزين الكائنات من مثيل حوسبة قاعدة البيانات.

• تخزين الكائنات

  يوفر تخزين الكائنات وصولاً سريعًا إلى مقادير كبيرة من البيانات المهيكلة وغير المهيكلة من أي نوع من المحتوى، بما في ذلك النسخ الاحتياطية لقاعدة البيانات والبيانات التحليلية والمحتوى الكبير مثل الصور ومقاطع الفيديو. يمكنك تخزين البيانات بشكل آمن وآمن ثم استرجاعها مباشرة من الإنترنت أو من داخل النظام الأساسي للسحابة. يمكنك توسيع نطاق التخزين بسلاسة دون التعرض لأي تدهور في الأداء أو موثوقية الخدمة. استخدم وحدة تخزين قياسية للتخزين "السريع" والتي تحتاج إلى الوصول إليها بسرعة وفورية ومتكررة. استخدم مخزن الأرشيف للتخزين "الذهبي" الذي تحتفظ به لفترات طويلة من الوقت ونادراً ما يمكنك الوصول إليه.

• التحليلات

  Oracle Analytics Cloud عبارة عن خدمة سحابية عامة آمنة وقابلة للتطوير توفر مجموعة كاملة من الإمكانيات لاستكشاف التحليلات التعاونية وتنفيذها لك ومجموعة العمل والمؤسسة. وهو يدعم علماء بيانات المواطنين والتدريب المتقدم لمحللي الأعمال ونماذج التعلم الآلي (ML). يمكن تنفيذ نماذج التعلم الآلي على خدمة التحليلات أو مباشرة على Oracle Autonomous Data Warehouse كنماذج مضمنة بواسطة OML لتوقعات مجموعات كبيرة الحجم والتي تعزز قوة المعالجة وقابلية التوسع والمرونة للمستودع.

  باستخدام Oracle Analytics Cloud يمكنك أيضًا الحصول على إمكانيات إدارة مرنة للخدمة، بما في ذلك الإعداد السريع، والتوسيع السهل والتصحيح، وإدارة دورة الحياة المؤتمتة.

• التعلم الآلي

  يوفر Oracle Machine Learning إمكانيات تعلّم آلة قوية متكاملة تمامًا في Oracle Autonomous Database، مع دعم Python وAutoML. وهي تدعم النماذج باستخدام خوارزميات مفتوحة المصدر وقابلة للتوسع داخل قاعدة البيانات والتي تقلل من إعداد البيانات ونقلها. AutoML يساعد علماء البيانات على تسريع وقت تحقيق قيمة لمبادرات التعلم الآلي في الشركة من خلال استخدام تحديد الخوارزميات تلقائيًا وأخذ عينات البيانات التكييفية واختيار الميزات التلقائية وضبط النماذج التلقائية.

  باستخدام خدمات Oracle Machine Learning المتوفرة في Oracle Autonomous Data Warehouse، لا يمكنك إدارة النماذج فحسب، بل يمكنك أيضًا نشر هذه النماذج كنقاط انتهاء REST لتحقيق الديمقراطية على التنبؤات في الوقت الفعلي داخل الشركة مما يسمح للشركة بالرد على الأحداث ذات الصلة كما يحدث بدلاً من الحقيقة.

• علم البيانات

  توفر علوم البيانات البنية الأساسية وتقنيات المصادر المفتوحة والمكتبات والحزم وأدوات علوم البيانات لفرق علوم البيانات لإنشاء نماذج التعلم الآلي (ML) وتدريبها وإدارتها في Oracle Cloud Infrastructure. توفر مساحة العمل التعاونية والقائمة على المشروعات تجربة مستخدم شاملة ومتماسكة تدعم دورة حياة النماذج التنبؤية.

  تسمح ميزة نشر نموذج علوم البيانات لعلماء البيانات بنشر النماذج المدربة كنقاط نهاية لـ HTTP مدارة بالكامل والتي يمكن أن توفر التنبؤات في الوقت الفعلي، مما يؤدي إلى غرس المعلومات في العمليات والتطبيقات والسماح للشركة بالرد على الأحداث ذات الصلة حال حدوثها.

• دليل البيانات

  يوفر كتالوج بيانات Oracle Cloud Infrastructure رؤية للأصول الفنية مثل سمات بيانات التعريف وبيانات التعريف ويسمح لك بالاحتفاظ بقاموس أعمال تم تخطيطه إلى بيانات التعريف الفنية. توفر Oracle Cloud Infrastructure Data Catalog أيضًا بيانات تعريف Autonomous Data Warehouse من أجل تسهيل إنشاء جداول خارجية في مخزن البيانات.

التوصيات

استخدم التوصيات التالية كنقطة بداية لجمع بيانات التطبيق وتجميعها للتحليل والتعلم الآلي.

قد تختلف متطلباتك عن البنية الموضحة هنا.

• Oracle Autonomous Data Warehouse

  تستخدم هذه البنية Oracle Autonomous Data Warehouse في البنية الأساسية المشتركة. قم بتمكين التوسع التلقائي لمنح أحمال عمل قاعدة البيانات حتى ثلاث مرات من قوة المعالجة.

  ضع في اعتبارك استخدام Oracle Autonomous Data Warehouse على بنية أساسية مخصصة إذا كنت تريد أن تكون إمكانات قاعدة بيانات الخدمة الذاتية داخل بيئة سحابة قاعدة بيانات خاصة تعمل على السحابة العامة.

  ضع في اعتبارك استخدام ميزة "الجداول المجمعة الهجينة" في Autonomous Data Warehouse للبيانات التي لا يتم استهلاكها غالبًا والتي لا تحتاج إلى نفس الأداء لها. باستخدام هذه الميزة، يمكنك نقل مقاطع البيانات إلى تخزين الكائنات ودمجها مع المقاطع المخزنة في Autonomous Data Warehouse لتسليمها بسلاسة.

  فكر في استخدام ميزة "الجداول الخارجية" لاستهلاك البيانات المخزنة في تخزين الكائنات في الوقت الفعلي دون الحاجة إلى تكرارها في Autonomous Data Warehouse. يتيح ذلك لمخزن البيانات إمكانية استهلاك البيانات المعتمدة بغض النظر عن الصيغة (parquet, avro, orc, json, csv, وهكذا).

  فكر في استخدام Data Lake Accelerator عند استهلاك بيانات تخزين الكائنات من أجل تقديم تجربة مستخدم محسنة وأسرع للمستخدمين يستهلكون البيانات وربطها بين مستودع البيانات وبحيرة البيانات.

• نشر نموذج Oracle Machine Learning وOracle Cloud Infrastructure Data Science

  تستفيد هذه البنية من Oracle Machine Learning وOracle Cloud Infrastructure Data Science لتشغيل التنبؤات في الوقت الفعلي لتقديم نتائج للأشخاص والتطبيقات.

  مراعاة نشر بوابة واجهة برمجة التطبيقات في حالة استهلاك التنبؤات في الوقت الفعلي من قِبل الشركاء والكيانات الخارجية لتأمين استهلاك النموذج المنشور والتحكم فيه.

• دليل البيانات

  للحصول على عرض كامل وشامل للبيانات المخزنة والتدفق على النظام الأساسي، يجب ألا يقتصر الأمر على جمع مخازن البيانات الداعمة لطبقة الاحتفاظ بالبيانات فحسب، بل أيضًا على مخازن البيانات المصدر. يتيح لك تخطيط بيانات التعريف الفنية التي تم حصادها إلى قاموس الأعمال وإثرائها بالخصائص المخصصة إمكانية تخطيط مفاهيم الأعمال وتوثيق تعريفات التأمين والوصول والتحكم فيها.

  لتسهيل تكوين جداول خارجية في Autonomous Data Warehouse التي تقوم بمحاكاة البيانات المخزنة في تخزين الكائنات، عليك بالاستفادة من بيانات التعريف التي تم حصادها سابقًا المخزنة في Oracle Cloud Infrastructure Data Catalog. يعمل ذلك على تبسيط عملية إنشاء الجداول الخارجية وفرض اتساق بيانات التعريف عبر مخازن البيانات، وتكون أقل عرضة للخطأ البشري.

الاعتبارات

عند تجميع بيانات التطبيق وتجميعها مع بيانات الأحداث المتدفقة للتحليل والتعلم الآلي، ضع في الاعتبار خيارات التنفيذ التالية.

الإرشاد	مصفاة البيانات	النظام الأساسي لاستمرارية البيانات	الوصول والتفسير
موصى به	تكامل بيانات Oracle Cloud Infrastructure Oracle Cloud Infrastructure GoldenGate	Oracle Autonomous Data Warehouse Oracle Cloud Infrastructure Object Storage	Oracle Analytics Cloud علوم بيانات Oracle Cloud Infrastructure Oracle Machine Learning
خيارات أخرى	Oracle Data Integrator تحويل بيانات Oracle Autonomous Database	Oracle Exadata Database Service	أدوات الجهات الخارجية
الأساس المنطقي	يوفر Oracle Cloud Infrastructure Data Integration نظامًا أساسيًا سحابيًا أصليًا وخادمًا ومُدارًا بالكامل لإدارة الاستخراج والتحويل والتحميل وتتميز بقابلية التطوير وانخفاض التكلفة. Oracle Cloud Infrastructure GoldenGate توفر نظامًا أساسيًا سحابيًا أصليًا وخادمًا ومُدارًا بشكل كامل وغير متداخل لتكرار البيانات يكون قابلاً للتطوير ويتسم بالكفاءة من حيث التكلفة ويمكن نشره في البيئات الهجينة.	Oracle Autonomous Data Warehouse هي قاعدة بيانات سهلة الاستخدام ومستقلة بشكل كامل وتتسم بمرونة تتيح توسيعها، كما تقدم أداءً سريعًا للاستعلام ولا تتطلب إدارة قاعدة بيانات. كما توفر الوصول المباشر إلى البيانات من تخزين الكائنات باستخدام جداول مقسمة إلى مقاطع خارجية أو هجينة. تخزن Oracle Cloud Infrastructure Object Storage بيانات غير محدودة بتنسيق خام.	Oracle Analytics Cloud هو خدمة مدارة بالكامل ومتكاملة تمامًا مع البيانات المهيكلة في Oracle Autonomous Data Warehouse. Oracle Cloud Infrastructure Data Science عبارة عن نظام أساسي مُدار بالكامل للخدمة الذاتية لفرق علوم البيانات من أجل إنشاء نماذج التعلم الآلي (ML) وتدريبها وإدارتها في Oracle Cloud Infrastructure. توفر خدمة علوم البيانات أدوات للبنية الأساسية وعلوم البيانات مثل AutoML وإمكانات نشر النماذج. Oracle Machine Learning هو نظام أساسي مُدار بالكامل مقوم لعلوم البيانات المتوفر مع Autonomous Data Warehouse، والذي يعزز قوة معالجة المستودع لبناء نماذج التعلّم الآلي وتدريبها واختبارها ونشرها على نطاق واسع دون الحاجة إلى نقل البيانات خارج المستودع.

توزيع

تتوفر تعليمات Terraform البرمجية الخاصة بالهيكل المرجعي على GitHub. يمكنك سحب التعليمات البرمجية إلى Oracle Cloud Infrastructure Resource Manager بنقرة واحدة وتكوين المجموعة ونشرها. أو بدلاً من ذلك، قم بتنزيل التعليمات البرمجية من GitHub إلى الكمبيوتر، وقم بتخصيص التعليمات البرمجية ونشرها باستخدام واجهة سطر الأوامر Terraform.

• يمكنك النشر باستخدام Oracle Cloud Infrastructure Resource Manager:
  1. انقر على

     إذا لم تكن قد قمت بتسجيل الدخول بالفعل، فأدخل بيانات اعتماد المستأجر والمستخدم.

  2. مراجعة البنود والشروط وقبولها.
  3. حدد المنطقة التي تريد توزيع المكدس فيها.
  4. اتبع التعليمات التي تظهر على الشاشة لإنشاء المكدس.
  5. بعد تكوين المكدس، انقر على إجراءات Terraform، ثم حدد الخطة.
  6. انتظر إتمام الوظيفة، ثم قم بمراجعة الخطة.

     لإجراء أية تغييرات، ارجع إلى صفحة "تفاصيل المكدس"، وانقر على تحرير المكدس، وقم بإجراء التغييرات المطلوبة. ثم قم بتشغيل إجراء الخطة مرة أخرى.

  7. إذا لم تكن هناك حاجة لإجراء المزيد من التغييرات، فارجع إلى صفحة "تفاصيل المكدس"، وانقر على إجراءات Terraform، ثم حدد تطبيق.
• يمكنك النشر باستخدام Terraform CLI:
  1. انتقل إلى GitHub.
  2. نزل التعليمات البرمجية أو استنساخها على الكمبيوتر المحلي.
  3. اتبع الإرشادات الموجودة في README.

اكتشاف المزيد

تعلم المزيد عن ميزات هذه البنية.

• النظام الأساسي للبيانات من Oracle

• النظام الأساسي للبيانات - مستودع البيانات

• إطار أفضل الممارسات لـ Oracle Cloud Infrastructure

• وثائق Oracle Cloud Infrastructure

• مقدّر تكاليف Oracle Cloud

تغيير الأرشيف

يسرد هذا السجل التغييرات الهامة:

مايو 22؜ 2023	تم تبسيط المخطط الوظيفي وإضافة مخطط هيكل. إضافة موارد إضافية ذات صلة.
فبراير 01؜ 2022	تمت إضافة التعليمات لنشر البنية باستخدام Oracle Cloud Infrastructure Resource Manager. تمت إضافة الخيار لتنزيل الإصدارات القابلة للتحرير (. SVG و . DRAWIO) في مخطط البنية.