تكوين عناصر التحكم في مجموعة معالجة تحميل البيانات لمشروع التحويل

تنفذ عملية مجموعة المعالجة العامة K1-CNVLD تحميل ملفات بيانات المدخلات في جدول هدف أو كائن صيانة، الذي يتم تحديده كأحد معلمات مجموعة المعالجة.

يجب مراعاة إنشاء عناصر تحكم في مجموعة معالجة فردية لكل كائن (جدول أو كائن صيانة).

يتيح ذلك تحسين قدرة المعالجة الموازية للنظام؛ ويمكن تنفيذ كل عمليات تحميل البيانات لكل الكائنات بشكل شبة متزامن، وبذلك يتم خفض الوقت المطلوب لتحميل البيانات القديمة، والتي تُعد مجرد خطوة أولية في العملية الكلية لتحويل البيانات.

استخدم التحكم في مجموعة المعالجة K1-CNVLD لإجراء مجموعة معالجة تحميل تجريبية لكائنات صيانة و/أو جداول متنوعة وتحديد أفضل استراتيجية تحميل:

  • هل يجب استخراج البيانات وتحميلها كجداول و/أو كائنات صيانة فردية

  • هل يجب فصل ملفات البيانات وعدد تسلسل العمليات لمجموعة المعالجة، وكيف يتم ذلك

  • حجم ملف التسجيل المحتمل ومستوى التسجيل القابل للتطبيق

تكوين عناصر التحكم في مجموعة معالجة تحميل البيانات لكل كائن صيانة أو جدول فردي تنميط التكوين بعد K1-CNVLD وتعيين قيم المعلمة الافتراضية لأجل:

  • مواقع تخزين ملفات المدخلات والمخرجات والملفات المؤرشفة. يجب تحديد الموقع (الحاويات والحِزم) مقدمًا في خدمة تخزين الكائنات على الشبكة السحابية؛ وتشير معلمات مجموعة المعالجة إلى قيمة (قيم) البحث القابل للتوسيع F1–FileStorage المقابلة لهذه المواقع. يجب تكوين قيمة المعلمة بالصيغة التالية file-storage://<Extendable Lookup Value>/<object storage bucket name>، مثل: file-storage://OS-SHARED/CONV-Input

  • الجدول الهدف أو كائن الصيانة يجب ملء إحدى هاتين المعلمتين.

  • امتداد الملف. عند تحديد امتداد الملف، قم بتضمين كل الامتدادات المتاحة. على سبيل المثال، إذا كان اسم الملف هو XXX.csv.gz، أدخل قيمة المعلمة csv.gz

  • مستوى التسجيل. حدد القيمة LOG لجعل "أداة تحميل SQL" تُصدر سجل عملية تحميل البيانات الأكثر تفصيلاً.

  • خيار الاحتفاظ بالمدخلات. تتحكم هذه المعلمة فيما إذا كان يجب ترك ملفات بيانات المدخلات الأصلية "كما هي" في موقع بيانات المدخلات أم حذفها من مخزن الكائنات أم نقلها إلى موقع البيانات المؤرشفة. عند أرشفة بيانات المدخلات، يتم إلحاق الطابع الزمني باسم الملف الأصلي.
    ملاحظة: إذا لم تتمكن عملية مجموعة المعالجة من تحميل ملف بيانات المدخلات، فسيظل هذا الملف في موقع بيانات المدخلات.

  • الحد الأقصى لعدد أخطاء التحميل.

    تتعلق قيمة هذه المعلمة بحد الأخطاء المطلوب لأداة تحميل SQL. تتوقف عملية التحميل بعد الوصول إلى العدد المحدد من السجلات التي بها أخطاء. يحتوي سجل "أداة تحميل SQL" على رسالة SKIPPED=NNN، حيث يشير NNN إلى موضع آخر سجل به خطأ في ملف بيانات المدخلات. ويمكن بعد ذلك استئناف العملية من هذا الموضع في حالة تنفيذ مجموعة المعالجة باستخدام المعلمة تخطي التي تم ملؤها بالقيمة SKIPPED من السجل.

يعتمد عدد تسلسلات العمليات الافتراضية على نوع الجدول الذي تم تحميله. يمكن تحميل الجداول العادية في تسلسل عمليات واحد أو تسلسلات عديدة. يجب تحميل جداول المفاتيح في تسلسل عمليات واحد