تدريب النموذج وتوزيعه

بعد مسح البيانات وإعدادها ونقلها إلى مخزن الكائنات، تكون جاهزًا لتدريب النموذج وتوزيعه.

إنشاء النموذج وتدريبه

عند تكوين النموذج، يمكنك تحديد أصل بيانات التدريب وتعيين بعض المعلمات. يتم تدريب النموذج تلقائيًا عند تكوينه.

يعرض المخطط التالي العملية.

وصف الشكل التوضيحي training ing-flow.png

فيما يلي عملية إنشاء نموذج وتدريبه:

1. كوّن مشروعًا. يمكنك تكوين مشروع في مقطع في OCI وإعطاء اسم للمشروع. ويمكن أن تكون المقطع عبارة عن مشروع واحد أو أكثر من مشاريع الكشف عن التشوهات.
2. حدد أصل بيانات التدريب، وهو ملف في تخزين الكائنات. يجب أن يكون الملف نظيفًا وجاهزًا للتدريب. إذا لم يكن الأمر كذلك، يمكنك استخدام خدمات OCI مثل علوم البيانات لإجراء التنظيف والمعالجة المسبقة. يمكن أن يكون الملف بتنسيق CSV أو بتنسيق JSON.
3. تكوين النموذج. عند تكوين النموذج، يمكنك تحديد أصل بيانات التدريب وتعيين احتمالية الإنذار الخاطئ ونسبة جزء التدريب. يتم تدريب النموذج كجزء من عملية التكوين.

وتتضمن وثائق دائرة الكشف الشاذ تعليمات مفصلة بشأن كيفية القيام بذلك. يمكنك استخدام واجهة مستخدم لوحة التحكم الطرفية، أو يمكنك استخدام واجهة برمجة تطبيقات REST.

فيما يلي بعض الإرشادات بشأن تحديد احتمالية الإنذار الخاطئ ونسبة كسر القطار:

احتمالية الإنذار الخاطئ

وهذا هو احتمال أن يكون الخلل المكتشف غير صحيح في الواقع. قم بتعيين هذه القيمة لتكون قريبة من نفس مستوى النسبة المئوية لحالات الشذوذ التي تعثر عليها في سيناريوهات الأعمال الفعلية. القيمة 0.01 (1%) مناسبة للعديد من السيناريوهات. وكلما انخفضت القيمة، كلما استغرق تدريب النموذج وقتا أطول. كذلك، إذا قمت بتعيين احتمالية الإنذار الخاطئ الهدف منخفضة للغاية، فقد لا يحقق النموذج الهدف.

نسبة جزء المسار

هذا هو مقدار البيانات المستخدمة للتدريب. على سبيل المثال، تحدد القيمة 0.7 أن 70% من البيانات تستخدم للتدريب، و30% تستخدم لاختبار وتقييم أداء النموذج.

نشر النموذج واختباره

بعد تكوين النموذج، يجب توزيعه قبل استخدامه.

عندما يتم توزيع النموذج، يكون جاهزًا لاستلام البيانات التي تريد اختبارها لاكتشاف حالات الشذوذ.

يمكنك استخدام واجهة مستخدم وحدة التحكم في توزيع النموذج، أو استخدام واجهة برمجة تطبيقات REST. عند توزيع النموذج، تعطيه اسمًا. يمكنك أيضًا إعطاء وصف له، ولكن هذا اختياري. ويمكن أن يكون للنموذج أكثر من توزيع واحد.

تظهر لقطة الشاشة التالية مثالاً لنموذج في واجهة مستخدم وحدة التحكم. لإضافة توزيع، انقر على الزر إضافة توزيع.

وصف الشكل التوضيحي add-deployment.png

اكتشاف الشذوذ

يمكنك تقديم بيانات للكشف عن التشوهات في الدفعات، أو يمكنك اكتشاف التشوهات في تدفق البيانات.

يوضح الشكل التالي هيكل معالجة مجموعة المعالجة.

وصف الشكل التوضيحي predictions-batch-flow.png

تتم معالجة المجموعات كما يلي:

1. يتم تجميع البيانات في رزمة تخزين الكائنات من تدفق أو من قواعد بيانات أخرى عبر Oracle Data Integration.
2. تخزين الكائنات هو النطاق الترحيبي لبيانات مجموعة المعالجة المطلوب معالجتها بواسطة خدمة الكشف الشاذ.
3. يمكن إنجاز المعالجة المسبقة للبيانات في التطبيقات المضيفة أو الحاويات أو من خلال وظائف بدون خادم. يتم إرسال البيانات التي تمت معالجتها إلى خدمة الكشف الشاذة.
4. توفر خدمة الكشف الشاذة تنبؤات باستخدام النموذج الذي تم تدريبه ونشره أثناء مرحلة التدريب.
5. تصبح النتائج التي تنتجها خدمة الكشف الشاذ إجراءات فورية يتم إرسالها إلى التطبيقات أو أنظمة الإشعار الأساسية عبر REST.
6. يمكن تخزين نتائج استنتاج خدمة الاكتشاف الشاذة في تخزين الكائنات لاستخدامها لاحقًا في خدمات التحليلات والتسجيل والإخطار.

تعتبر بنية التدفق أكثر تعقيدًا من بنية مجموعة المعالجة، ولكنها مطلوبة عندما تريد عمليات اكتشاف شاذة في الوقت الفعلي أو بالقرب من الوقت الفعلي.

يوضح الشكل التالي بنية تدفق.

وصف الشكل التوضيحي predictions-streaming-flow.png

1. تدفق مكونات الخدمة من مصادر بيانات تدفق مختلفة.
2. يتم إنجاز المعالجة المسبقة للبيانات، إذا لزم الأمر، في التطبيقات أو الحاويات المضيفة أو من خلال وظائف بدون خادم. يتم إرسال البيانات التي تمت معالجتها إلى واجهة تدفق خدمة الاكتشاف الشاذ. إذا كانت البيانات معروفة جيدًا ولم تكن هناك حاجة إلى معالجة إضافية، يمكن أن يتصل التدفق مباشرةً بخدمة الكشف الشاذ.
3. توفر خدمة الكشف الشاذة تنبؤات باستخدام النموذج الذي تم تدريبه ونشره أثناء مرحلة التدريب.
4. تقوم خدمة الاكتشاف الشاذة بنشر الاستنتاجات في تدفق مخرجات للإجراءات المطلوب اتخاذها وتسجيل الدخول.
5. تصبح الاستنتاجات التي تنتجها خدمة الكشف الشاذ إجراءات فورية يتم إرسالها إلى التطبيقات أو أنظمة الإخطار من خلال التطبيقات على الأجهزة الظاهرية أو الحاويات أو من خلال وظائف بدون خادم.
6. يمكن أن يقوم تدفق المخرجات من خدمة الكشف الشاذ بملء خط توجيه للعمليات والتحليلات اللاحقة.

يمكن تخزين نتائج استنتاج خدمة الاكتشاف الشاذة في تخزين الكائنات لاستخدامها لاحقًا في خدمات التحليلات والتسجيل والإخطار.