Εφαρμόστε αυξητική επεξεργασία σε μια ροή δεδομένων για τη φόρτωση μόνο των νέων ή των ενημερωμένων εγγραφών από μια βάση δεδομένων.
Η εφαρμογή αυξητικής επεξεργασίας σε μια ροή δεδομένων σάς επιτρέπει να φορτώνετε μόνο τα νέα δεδομένα αντί να εκτελείτε πλήρη φόρτωση κάθε φορά, κάτι που είναι μη αποδοτικό και κοστοβόρο. Με άλλα λόγια, κάθε φορά που φορτώνετε δεδομένα χρησιμοποιώντας μια ροή δεδομένων, γίνεται επεξεργασία μόνο των νέων δεδομένων που προστέθηκαν μετά την τελευταία εκτέλεση.
Πριν ξεκινήσετε, δημιουργήστε μια σύνδεση με μία από τις υποστηριζόμενες βάσεις δεδομένων (π.χ. Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive ή Map R Hive). Στη συνέχεια, διαμορφώστε μια ένδειξη νέων δεδομένων για αυτή τη βάση δεδομένων. Ανατρέξτε στην ενότητα
Ορισμός ένδειξης νέων δεδομένων για μια προέλευση δεδομένων.
- Δημιουργήστε ή ανοίξτε τη ροή δεδομένων στην οποία θέλετε να εφαρμόσετε αυξητική επεξεργασία.
- Στο πρόγραμμα επεξεργασίας Ροή δεδομένων, επιλέξτε το βήμα Αποθήκευση δεδομένων για να εμφανιστεί το τμήμα παραθύρου Πρόγραμμα επεξεργασίας βημάτων.
- Στο πεδίο Σύνολο δεδομένων, ορίστε το όνομα του συνόλου δεδομένων εισόδου που έχει οριστεί στο βήμα Προσθήκη δεδομένων.
- Στην επιλογή Αποθήκευση δεδομένων σε, επιλέξτε Σύνδεση βάσης δεδομένων.
- Πατήστε Επιλογή σύνδεσης και επιλέξτε μια σύνδεση σε μία ή περισσότερες από τις υποστηριζόμενες βάσεις δεδομένων προορισμού.
- Στο πεδίο Πίνακας, ορίστε το όνομα του πίνακα προορισμού στον οποίο πραγματοποιείτε εγγραφή.
- Στο πεδίο επιλογής Κατά την εκτέλεση, ορίστε την επιλογή Προσθήκη νέων δεδομένων στα υπάρχοντα δεδομένα.
- Κάντε κλικ στην επιλογή Αποθήκευση.