أتمتة تحميل البيانات إلى مستودع بيانات باستخدام تطبيق بدون خدمة

Oracle Functions نظام أساسي بدون خادم وقابل للتوسيع والإدارة الكاملة لوظائف كخدمة تم إنشاؤه على Oracle Cloud Infrastructure ويتم تشغيله بواسطة مشغل Fn Project المفتوح المصدر. يمكن للمطورين استخدام Oracle Functions لكتابة التعليمات البرمجية التي توفر قيمة الأعمال ونشرها دون القلق بشأن تزويد البنية التحتية الأساسية أو إدارتها. Oracle Functions عبارة عن حاوية - أصلية، مع تعبئة الدوال كصور حاوية Docker.

البنية

يوضح هذا الهيكل المرجعي كيفية استخدام وظيفة بدون خادم لأتمتة عملية استخراج البيانات من الملفات التي تم إنشاؤها بواسطة قواعد بيانات أو تطبيقات مختلفة وتحميل البيانات إلى مستودع بيانات للتحليل.

يعرض الرسم التخطيطي المعماري تدفق البيانات. عند تحميل ملفات CSV المضغوطة إلى رزمة محددة في Oracle Cloud Infrastructure Object Storage، يتم تشغيل خدمة الأحداث. يقوم الحدث المنبعث باستدعاء وظيفة، تقوم باستخراج البيانات من الملفات التي تم تحميلها وتحميل البيانات في طبعة Oracle Autonomous Data Warehouse. بعد تحميل البيانات إلى مستودع البيانات، يتم نقل ملفات CSV المعالجة إلى رزمة مختلفة في Oracle Cloud Infrastructure Object Storage.

وصف الشكل التوضيحي autoload-adw.png

تحميل تلقائي-adw-oracle.zip

تشتمل البنية على المكونات التالية:

• Region (المنطقة)

  منطقة Oracle Cloud Infrastructure هي منطقة جغرافية محلية تحتوي على مركز بيانات واحد أو أكثر، تسمى نطاقات الإتاحة. والمناطق مستقلة عن المناطق الأخرى، ويمكن لمسافات شاسعة أن تفصل بينها (عبر البلدان أو حتى القارات).

• نطاقات الإتاحة

  تعتبر نطاقات الإتاحة مراكز بيانات مستقلة ومستقلة داخل المنطقة. ويتم عزل الموارد المادية في كل مجال من مجالات التوفر عن الموارد الموجودة في مجالات التوفر الأخرى، مما يوفر تسامحاً خاطئاً. لا تشترك نطاقات الإتاحة في البنية الأساسية مثل الطاقة أو التبريد أو شبكة نطاق الإتاحة الداخلية. ولذلك، فمن غير المرجح أن يؤثر الفشل في مجال واحد من مجالات التوافر الأخرى في المنطقة.

• شبكة السحابة الافتراضية (VCN) والشبكات الفرعية

  VCN شبكة قابلة للتخصيص ومحددة برمجيًا تقوم بإعدادها في منطقة Oracle Cloud Infrastructure. مثل شبكات مراكز البيانات التقليدية، توفر لك شبكات VCN التحكم الكامل في بيئة الشبكة. يمكن أن يحتوي VCN على كتل CIDR متعددة غير متداخلة يمكنك تغييرها بعد تكوين VCN. يمكنك تقسيم VCN إلى شبكات فرعية، يمكن تحديد نطاقها إلى منطقة أو إلى نطاق إتاحة. تتكون كل شبكة فرعية من نطاق متجاور من العناوين لا يتداخل مع الشبكات الفرعية الأخرى في VCN. يمكنك تغيير حجم الشبكة الفرعية بعد التكوين. يمكن أن تكون الشبكة الفرعية عامة أو خاصة.

  وفي هذا الهيكل المرجعي، تُنشر الوظيفة في شبكة فرعية إقليمية خاصة.

• الأحداث والوظائف

  تقوم خدمات Oracle Cloud Infrastructure بإرسال الأحداث، وهي رسائل مهيكلة تصف التغييرات في الموارد. يتم إصدار الأحداث لعمليات التكوين أو القراءة أو التحديث أو الحذف (CRUD) وتغييرات حالة دورة حياة المورد وأحداث النظام التي تؤثر على الموارد السحابية.

  يتيح Oracle Functions إمكانية توزيع التعليمة البرمجية أو استدعاؤها مباشرةً أو تشغيلها استجابة للأحداث. يستخدم Oracle Functions حاويات Docker المضيفة في Oracle Cloud Infrastructure Registry.

  في هذه البنية، عند تحميل ملف إلى رزمة في Oracle Cloud Infrastructure Object Storage، يتم إصدار حدث. يقوم الحدث باستدعاء دالة تستند إلى Python، تقوم باستخراج البيانات من الملف وتحميلها إلى Oracle Autonomous Data Warehouse. ثم يتم نقل الملف الذي تمت معالجته إلى رزمة أخرى.

• تخزين الكائنات

  يوفر تخزين الكائنات وصولاً سريعًا إلى كميات كبيرة من البيانات الهيكلية وغير الهيكلية من أي نوع محتوى، بما في ذلك النسخ الاحتياطية لقاعدة البيانات والبيانات التحليلية والمحتوى المنسق مثل الصور وأشرطة الفيديو. يمكنك تخزين البيانات بشكل آمن ومأمون ثم استرجاعها مباشرةً من الإنترنت أو من داخل النظام الأساسي السحابي. يمكنك توسيع التخزين بسلاسة دون التعرض لأي تدهور في الأداء أو موثوقية الخدمة. استخدم التخزين القياسي للتخزين "الساخن" الذي تحتاج إلى الوصول إليه بسرعة وفور وتكرار. استخدم تخزين الأرشيف للتخزين "البارد" الذي تحتفظ به لفترات زمنية طويلة ونادرا ما يكون الوصول إليه نادرا أو نادرا.

• Autonomous Data Warehouse

  Oracle Autonomous Data Warehouse هي خدمة قاعدة بيانات ذاتية التوجيه والتأمين والإصلاح يتم تحسينها لأحمال عمل تخزين البيانات. لست بحاجة إلى تكوين أي جهاز أو إدارته، أو تثبيت أي برنامج. يعالج Oracle Cloud Infrastructure تكوين قاعدة البيانات، بالإضافة إلى النسخ الاحتياطي والتصحيح والترقية وتوسيع قاعدة البيانات.

التوصيات

قد تختلف متطلباتك عن البنية الموضحة هنا. استخدم التوصيات التالية كنقطة بداية.

• VCN

  عند تكوين VCN، حدد عدد كتل CIDR المطلوبة وحجم كل قطعة استنادًا إلى عدد الموارد التي تخطط لإرفاقها بالشبكات الفرعية في VCN. استخدم كتل CIDR الموجودة داخل مساحة عنوان IP الخاصة القياسية.

  حدد كتل CIDR التي لا تتداخل مع أي شبكة أخرى (في Oracle Cloud Infrastructure أو مركز البيانات المحلي أو موفر سحابة آخر) تنوي إعداد اتصالات خاصة بها.

• الوظائف

  يتم ترميز الدالة المستخدمة في بنية المرجع هذه باستخدام Python. يدعم Oracle Functions Java ونقطة التوصيل والذهاب وRuby. استخدم لغة برمجة من اختيارك.

• Oracle Autonomous Data Warehouse

  في بنية المرجع، تقوم الوظيفة بالوصول إلى مستودع البيانات باستخدام الوصول البسيط لمستند Oracle (SODA). يمكنك تنفيذ أساليب الوصول الأخرى، مثل SQL مع مكتبات cx_oracle وOracle Client، عن طريق تعديل الدالة.

  وفي الهيكل المرجعي، توجد الوظيفة ومستودع البيانات في نفس الشبكة الفرعية. يمكنك توزيعها في شبكات فرعية منفصلة إذا لزم الأمر.

الاعتبارات

• المرونة
  • قاعدة البيانات

    يمكنك قياس عدد نواة وحدة المعالجة المركزية لقاعدة البيانات يدويًا لأعلى أو لأسفل في أي وقت. تتيح ميزة التوسيع التلقائي لقواعد البيانات الذاتية لقاعدة البيانات إمكانية استخدام ما يصل إلى ثلاثة أضعاف العدد الأساسي الحالي من نواة CPU في أي وقت. ومع تزايد الطلب، يؤدي التوسيع الآلي تلقائيا إلى زيادة عدد النواة المستخدمة. تسمح لك قواعد البيانات الذاتية بتوسيع سعة التخزين في أي وقت دون التأثير على التوفر أو الأداء.

  • الوظائف

    يقوم Oracle Functions بتكوين حاويات الوظائف وإزالتها تلقائيًا استنادًا إلى تحميل الطلب. يتم الدفع فقط عند استدعاء الوظائف والمدة التي يتم تشغيلها.

• أمان
  • استخدم أنظمة Oracle Cloud Infrastructure Identity and Access Management (IAM) للتحكم في من يمكنه الوصول إلى موارد السحابة وما هي العمليات التي يمكن تنفيذها.

    يمكنك تعيين أذون الوظيفة فقط أو أذونات الوظيفة والإدارة والوظيفة لمجموعات محددة.

    يمكنك استخدام أنظمة IAM للتحكم في الوصول من Oracle Functions إلى Oracle Cloud Infrastructure Object Storage.

  • في Oracle Cloud Infrastructure Object Storage، يتم تمكين التشفير افتراضيًا ولا يمكن إيقافه.
  • يعرض هذا الهيكل المرجعي مستودع البيانات والوظيفة في نفس الشبكة الفرعية. بالنسبة للعزلة المحسنة، يمكنك استخدام شبكة فرعية منفصلة لمستودع البيانات.
  • لحماية كلمات سر قاعدة البيانات أو أي أسرار أخرى، ضع في الاعتبار استخدام خدمة Oracle Cloud Infrastructure Vault.

توزيع

تتوفر تعليمات Terraform البرمجية لهذا الهيكل المرجعي في GitHub. يمكنك سحب التعليمة البرمجية إلى Oracle Cloud Infrastructure Resource Manager بنقرة واحدة وتكوين المكدس وتوزيعه. بدلاً من ذلك، قم بتنزيل التعليمة البرمجية من GitHub إلى الكمبيوتر، وتخصيص التعليمة البرمجية، وتوزيع البنية باستخدام واجهة سطر أوامر Terraform (CLI).

• التوزيع باستخدام Oracle Cloud Infrastructure Resource Manager:
  1. انقر

     إذا لم تكن قد قمت بتسجيل الدخول بالفعل، أدخل بيانات صلاحية العميل والمستأجر.

  2. مراجعة وقبول البنود والشروط.
  3. حدد المنطقة التي تريد توزيع المكدس بها.
  4. اتبع الموجهات والتعليمات على الشاشة لتكوين المكدس.
  5. بعد تكوين المكدس، انقر على إجراءات Terraform، وحدد خطة.
  6. انتظر حتى إتمام الوظيفة، وراجع الخطة.

     لإجراء أية تغييرات، ارجع إلى صفحة تفاصيل المكدس وانقر على تحرير المكدس وقم بإجراء التغييرات المطلوبة. ثم قم بتشغيل إجراء الخطة مرة أخرى.

  7. إذا لم تكن هناك حاجة إلى أية تغييرات أخرى، ارجع إلى صفحة تفاصيل المكدس وانقر على إجراءات Terraform وحدد تطبيق.
• النشر باستخدام Terraform CLI:
  1. انتقل إلى GitHub.
  2. قم بتنزيل التعليمة البرمجية أو استنساخها إلى الكمبيوتر المحلي.
  3. اتبع الإرشادات الموجودة في README.

اكتشاف المزيد

• إطار أفضل الممارسات لـ Oracle Cloud Infrastructure
• نظرة عامة على الأحداث
• نظرة عامة على الوظائف
• دلائل البدء السريع في Oracle Functions
• حدود الخدمة

تغيير الأرشيف

يسرد هذا السجل التغييرات الهامة فقط:

6 ديسمبر 2021	تم تحديث قسم التوزيع لتوزيع أحدث مراجعة للمكدس في GitHub مباشرةً إلى Oracle Cloud Infrastructure Resource Manager بنقرة واحدة. تمت إضافة الخيار لتنزيل الإصدارات القابلة للتحرير (.SVG و .DRAWIO) في مخطط البنية.
يوليو 27؜ 2021	تمت إضافة خطوات لتوزيع البنية باستخدام Oracle Cloud Infrastructure Resource Manager. تمت إزالة معلومات حول حدود خدمة محددة للوظائف والتدفق. للحصول على الحدود الحالية، راجع وثائق حدود الخدمة. تمت إضافة معلومات حول توسيع قاعدة البيانات والوظائف في قسم الاعتبارات.