تصدير البيانات العام

الأهلية

وفقًا للإعدادات الافتراضية، يكون كائن الصيانة مؤهلاً لطريقة تصدير البيانات العام ما لم يتم وضع علامة صريحة بخلاف ذلك بواسطة خيار فئة تصدير البيانات. يمكن استخدام الخيار لتعليم كيان على أنه غير مسموح به لأي نوع من أنواع التصدير أو مسموح بتصدير مخصص فقط. ويعني عدم وجود هذا الخيار الصريح أن كائن الصيانة مؤهل للتصدير العام.

طريقة واحدة تناسب الكل

تم تصميم طريقة تصدير البيانات العام لاستيعاب العديد من كائنات الصيانة المؤهلة بطريقة عامة يجب أن تراعي اعتبارات الأداء أيضًا. ولهذا السبب، لا تدعم هذه الطريقة خيارات ترشيح خاصة بالكيان ولا القواعد المخصصة لأي نوع.

تصدير إلى الملفات فقط

الوجهة الفورية لكل من عمليات التصدير الأولية والجارية هي الملفات الموجودة في موقع محدد بواسطة العميل. في ملفات تثبيت الشبكة السحابية يتم إنشاؤها في مخزن كائنات مملوك للعميل.

وفقًا لمتطلبات أعمالك، يمكنك استهلاك هذه الملفات من خلال التطبيقات اللاحقة مثل مستودعات البيانات وما إلى ذلك.

تمكين تصدير البيانات

لتمكين تصدير البيانات لكائن صيانة مؤهل، يجب إنشاء سجل التحكم في تصدير البيانات. يحتفظ السجل بالإشارة إلى ما إذا كان قد تم إتمام التصدير الأولي لكائن الصيانة أم لا وما إذا كان يجب تتبع التغييرات التي تم إجراؤها على الكيان وتصديرها على أساس مستمر. تتيح لك البوابة المعينة إمكانية تمكين تصدير البيانات العام للعديد من كائنات الصيانة في المرة الواحدة بالإضافة إلى مراقبة حالة التصدير الحالية بسرعة. لمزيد من المعلومات، ارجع إلى بوابة لوحة معلومات التصدير العام.

يتم تخزين خيارات التصدير الجاري مؤقتًا في وحدات الذاكرة المؤقتة المتعددة لمجموعة المعالجة وعبر الإنترنت. ولكي يتم تطبيق هذه الخيارات وتتبع تغييرات الكيانات التي تمت بواسطة أية عملية مجموعة معالجة أو عبر الإنترنت، يجب مسح وحدات الذاكرة المؤقتة المتعددة بشكل صحيح عند تغيير هذه الخيارات. يؤدي استخدام البوابات المخصصة لتمكين الكيانات للتصدير إلى تشغيل مسح "عام" للذاكرة المؤقتة. إذا تم تكوين عمال مجمع تسلسلات عمليات مجموعة المعالجة لتحديث وحدات الذاكرة المؤقتة الخاصة بهم عند طلب إجراء مسح عام، فستكون هذه هي الخطوة الوحيدة المطلوبة. إن لم يكن الأمر كذلك، عندئذٍ يجب تنفيذ مهمة مجموعة المعالجة F1–FLUSH لتحديث وحدات التخزين المؤقت المستخدمة في معالجة مجموعة المعالجة. لمزيد من المعلومات، ارجع إلى نظرة عامة على التخزين المؤقت.

التصدير الأولي للبيانات

يرتبط كل كائن صيانة مؤهل لطريقة تصدير البيانات العام بالتحكم في مجموعة معالجة تصدير البيانات الأولي المشار إليه في كائن الصيانة باستخدام خيار التحكم في مجموعة معالجة التصدير. يتم استخدام نفس برنامج مجموعة المعالجة العام بواسطة كل عناصر التحكم في مجموعة المعالجة هذه لتصدير بيانات الكيان بالكامل إلى الملفات. العملية ذات تسلسل عمليات متعدد وتنتج ملفًا واحدًا لكل تسلسل عمليات بشكل افتراضي. تتيح معلمة مجموعة المعالجة الاختيارية إمكانية إنشاء ملفات أصغر متعددة لكل تسلسل عمليات عن طريق تعيين حد لعدد السجلات المكتوبة في كل ملف. لمزيد من المعلومات، ارجع إلى قسم حجم الملف.

بدلاً من تنفيذ عملية مجموعة معالجة التصدير الأولي العام يدويًا لكل كائن صيانة قمت بتمكينه للتصدير، قم بتنفيذ عملية مجموعة المعالجة "بادئ التصدير الأولي العام" F1-GEXPI لتنفيذها جميعًا آليًا مرة واحدة.

تقوم عملية التصدير الأولي لكل كائن صيانة بتحديث سجل التحكم في تصدير البيانات المقابل لكائن الصيانة للإشارة إلى بدء العملية وتحديثها مرة أخرى عند الإتمام. يتيح لك هذا إمكانية عرض الحالة العامة للتصدير الأولي عبر كل الكيانات الممكنة في بوابة لوحة معلومات التصدير العام.

لاحظ أن عملية مجموعة المعالجة للبادئ تقوم فقط بتنفيذ عمليات مجموعة المعالجة لكائنات الصيانة الممكنة التي لم تبدأ بعد تصديرها الأولي وفقًا لسجل التحكم في تصدير البيانات الخاص بها. إذا أردت تصدير كيان واحد أو أكثر مرة أخرى، أعد تعيين إشارة حالة التصدير الأولي في سجلات التحكم في تصدير البيانات الخاصة بها وقم بتنفيذ عملية مجموعة المعالجة للبادئ مرة أخرى.

INIT_EXPORT[_file prefix(optional)]_[maintenance object]_[batch run]_[thread]_[thread count]_[timestamp][_file sequence].json.gz 

لمزيد من المعلومات، ارجع إلى أي من عناصر التحكم في مجموعة معالجة التصدير الأولي العام الفردي والتحكم في مجموعة معالجة البادئ.

تقييد التصدير الأولي حسب التاريخ

بشكل افتراضي، تقوم عملية مجموعة معالجة تصدير البيانات الأولي بتصدير البيانات بالكامل لكيان. في بعض الحالات، حول البيانات التاريخية كبيرة الحجم، قد تكون هناك حاجة إلى تقييد التصدير إلى بيانات أحدث، على سبيل المثال الأشهر القليلة الماضية من البيانات.

تدعم عملية مجموعة معالجة التصدير الأولي معلمة مجموعة معالجة اختيارية تقييد حسب التاريخ والتي يمكن استخدامها لتقييد نطاق البيانات المطلوب تصديرها. تشير المعلمة إلى حقل تاريخ وإطار زمني مطلوب فيما يتعلق بعدد الأيام السابقة لتاريخ الأعمال. لمزيد من المعلومات، ارجع إلى F1-GEIXP التحكم في مجموعة معالجة نموذج التصدير الأولي العام.

تصدير البيانات الجاري

يتم تتبع تغييرات البيانات بواسطة خوارزمية تسجيل تغيير تدقيق كائن الصيانة للتصدير الجاري (F1-MO-REGCHN). تقوم الخوارزمية بتسجيل المفتاح الأساسي لكيان تم تغييره في جدول تحديث تصدير البيانات المحدد الذي يعمل كقائمة انتظار للكيانات التي تم تغييرها لتصديرها. يتم استهلاك قائمة الانتظار لاحقًا بواسطة عملية مجموعة معالجة تصدير البيانات الجاري.

تتم إضافة قاعدة التدقيق إلى كائن صيانة عند تمكين خيار تصدير البيانات الجاري في سجل التحكم في تصدير البيانات المقابل الخاص بها. بنفس الطريقة تتم إزالة قاعدة التدقيق من كائن الصيانة عند تعطيل خيار التصدير الجاري.

وخلافًا لعملية مجموعة معالجة التصدير الأولي التي تتطلب تحديد التحكم في مجموعة المعالجة لكل كائن صيانة مؤهل، يتم استخدام عملية مجموعة معالجة واحدة لتصدير التغييرات الجارية التي تم إجراؤها على كل الكيانات.

العملية ذات تسلسل عمليات متعدد ويتم إنشاء ملف منفصل لكل تسلسل عمليات بشكل افتراضي. تتيح معلمة مجموعة المعالجة الاختيارية إمكانية إنشاء ملفات أصغر متعددة لكل تسلسل عمليات عن طريق تعيين حد لعدد السجلات المكتوبة في كل ملف. لمزيد من المعلومات، ارجع إلى قسم حجم الملف.

INC_EXPORT_[batch run]_[thread]_[thread count]_[timestamp][_file sequence].json.gz 

لمزيد من المعلومات، ارجع إلى التحكم في مجموعة المعالجة للتصدير الجاري العام (F1-GEEXO).

حجم الملف

تقوم عملية مجموعة معالجة التصدير الأولي بإنشاء ملف واحد لكل تسلسل عمليات بشكل افتراضي. بالنسبة لبعض الكيانات كبيرة الحجم، قد ينتج عن ذلك ملفات كبيرة للغاية بحيث يصعب إدارتها. لإنشاء ملفات متعددة وأصغر لكيان محدد، قم بتحديد عدد السجلات المكتوبة في كل ملف من خلال تعيين المعلمة المقابلة في التحكم في مجموعة معالجة التصدير الأولي المحدد للكيان. يمكن إدخال نفس المعلمة عند تنفيذ عملية مجموعة معالجة بادئ التصدير الأولي، وفي هذه الحالة لا يتم استخدام قيمة البادئ إلا في حالة عدم تحديد قيمة مقابلة في سجل التحكم في مجموعة المعالجة الخاص بالكيان.

وبنفس الطريقة، تقوم عملية مجموعة المعالجة للتصدير الجاري بإنشاء ملف واحد لكل تسلسل عمليات بشكل افتراضي. لإنشاء ملفات متعددة وأصغر، قم بتقييد عدد السجلات المكتوبة في كل ملف من خلال تعيين المعلمة المقابلة في التحكم في مجموعة المعالجة.

لتجنب إنشاء ملفات كثيرة للغاية بواسطة تشغيل مجموعة معالجة واحد، يقوم النظام بتعيين حد أقصى يبلغ حوالي 500 ملف لكل تشغيل. عند تحديد العدد المطلوب للسجلات لكل ملف لتتسبب في تجاوز عدد الملفات التي تم إنشاؤها حد النظام، يتم تعديل القيمة الفعلية المستخدمة لتتوافق مع حد النظام.

إدارة تراكمات كبيرة

عند تراكم قدر كبير من التغييرات في قائمة انتظار التصدير الجاري لسبب ما، تستغرق مجموعة المعالجة التالية وقتًا أطول للتصدير مما يؤدي إلى تأخير خطوة الاستيراد اللاحقة. وثمة خيار أفضل، وهو أن تتم تصفية التراكمات في "حِزم" أصغر، مما يسمح للعملية اللاحقة باستيرادها عندما تكون متاحة.

يمكنك تحديد عدد السجلات التي تقوم عملية مجموعة المعالجة بتصديرها باستخدام معلمة مجموعة المعالجة حد معالجة تسلسلات العمليات. عند تحديدها، يتم تحديد عدد السجلات التي تم تصديرها بواسطة كل تسلسل عمليات بحد معين، مع ترك السجلات المتبقية ليتم استهلاكها بواسطة عمليات تشغيل مجموعات المعالجة اللاحقة. بدلاً من انتظار تشغيل مجموعة المعالجة المجدول التالي، يمكن تنفيذ عملية مجموعة معالجة جديدة آليًا، إذا كان مطلوبًا بشكل صريح القيام بذلك باستخدام معلمة مجموعة المعالجة التصفية الآلية للتراكمات.

ومن المهم ضمان تصفية التراكمات بشكل تدريجي وأن تستأنف قائمة الانتظار حجمها الطبيعي في الوقت المناسب. لذلك يجب تعيين حد المعالجة بقيمة مناسبة، والذي من شأنه تعزيز التصفية الصحيحة لقائمة الانتظار. للقيام بذلك، يجب أن يتم استهلاك 20% على الأقل من قائمة الانتظار وليس أقل من 100000 سجل بواسطة كل تشغيل مجموعة معالجة عبر كل تسلسلات العمليات. إذا لم يستوف الحد المعين الحد الأدنى لمتطلبات التصفية، فسيتم تعديل حد المعالجة وفقًا لذلك.

تنسيق السجل

يتم سحب البيانات وتصديرها مباشرةً من قاعدة البيانات في عمليات القراءة المجمعة لأسباب تتعلق بالأداء. ولهذا السبب، فإن الهيكل المستخدم لا يعكس نموذج البيانات المنطقي للكيان، بل يعكس قائمته الفعلية للجداول. يتم تنظيم بيانات مثيل معين بواسطة جداول متبوعة بصفوف في كل جدول ولكل صف وقائمة الحقول الخاصة بها بتنسيق JSON.

فيما يلي وصف للتنسيق والهيكل المستخدمين:

{
"OBJ": "<mo name>",
"TIMESTAMP": "<export time in ISO format for example 2019-07-25T11:06:04.740615Z>",
"PK1": "<mo pk1 value>",
"PK2": "<mo pk2 value if any>",  ← PK2-5 should only be included when applicable
"PK3": "<mo pk3 value if any>",
"PK4": "<mo pk4 value if any>",
"PK5": "<mo pk5 value if any>",
"DELETED": true,  ← should only be included when the entity is deleted
"DATA": 
{
"<MO table name 1>":
[
{<name value pairs of all fields in row 1 in that table>},
{<name value pairs of all fields in row 2 in that table>},...
{<name value pairs of all fields in row n in that table>},...
],
"<MO table name 2>":
[
{<name value pairs of all fields in row 1 in that table>},
{<name value pairs of all fields in row 2 in that table>},...
{<name value pairs of all fields in row n in that table>}
],...
 "<MO table name n>":
[
 {<name value pairs of all fields in row 1 in that table>},
{<name value pairs of all fields in row 2 in that table>},...
{<name value pairs of all fields in row n in that table>}
]
}

ملاحظات حول قيم الحقول وتنسيقها:

• يتم تضمين كل حقول الصف حتى عندما يكون الحقل فارغًا أو خاليًا. 

• يتم تبديل كل قيم السلسلة من مسافات لاحقة زائدة ولكن إذا كان الحقل فارغًا، يتم تصديره كسلسلة فارغة "" وليس خاليًا.  

• يتم استخدام مصفوفة فارغة لنقطة توصيل جدول في حالة عدم وجود سجلات للكيان في الجدول.

• يتم تحويل معلومات التاريخ/الوقت إلى المنطقة الزمنية للتوقيت العالمي الإحداثي ويتم تصديرها بتنسيق تنسيق المنظمة الدولية للمعايرة (ISO)، على سبيل المثال 2019-07-25T11:06:04.740615Z.

• تحتوي عمليات الحذف على مؤشر واضح في العنوان.

ترتيب استهلاك الملفات

من المهم تطبيق كل ملفات التصدير الأولي لكائن الصيانة قبل تطبيق ملفات التغيير الجاري لضمان اتساق البيانات.

الاسترداد من ملف تصدير سارٍ مفقود

تحتفظ عملية مجموعة المعالجة للتصدير الجارية بنسخة احتياطية من كل مفاتيح الكيانات التي تم تصديرها في تشغيل مجموعة معالجة محدد في جدول نسخ احتياطي معين. في الحالات النادرة التي يتم فيها حذف ملف تصدير سارٍ أو يصبح تالفًا قبل معالجته، يمكن استخدام جدول النسخ الاحتياطي لتحديد التغييرات غير الموجودة وتصديرها مرة أخرى.

استخدم عملية مجموعة المعالجة "استعادة مفاتيح التصدير العامة" (F1-GERST) للاسترداد من هذا الموقف. تحدد العملية الكيانات التي تم تصديرها أثناء تشغيل مجموعة معالجة محدد وإضافتها إلى قائمة انتظار التغييرات الجارية من جدول النسخ الاحتياطي. ثم سيتم تصدير الكيانات مرة أخرى عند تشغيل التصدير الجاري التالي. لا تستعيد هذه الطريقة المحتوى الدقيق للملف الأصلي الذي فُقد لأنه لا يمكن إعادة إنتاجه. وبدلاً من ذلك، تضمن العملية إعادة تصدير الكيانات التي تم تضمينها في الملف المفقود.