Aby z bazy danych były ładowane tylko rekordy nowe lub zaktualizowane, należy w przepływie danych zastosować przetwarzanie przyrostowe.
Zastosowanie przetwarzania przyrostowego w przepływie danych umożliwia ładowanie tylko nowych danych, zamiast wykonywania za każdym razem pełnego ładowania, które jest nieefektywne i kosztowne. Innymi słowy, podczas każdego ładowania danych przy użyciu przepływu danych będą przetwarzane tylko nowe dane, które zostały dodane po wykonaniu ostatniego przebiegu.
Przed rozpoczęciem należy utworzyć połączenie z jedną z obsługiwanych docelowych baz danych, takich jak Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive czy Map R Hive. Następnie należy skonfigurować wskaźnik nowych danych dla bazy danych. Zob.
Określanie wskaźnika nowych danych w źródle danych.
- Utworzyć lub otworzyć przepływ danych, w którym ma zostać zastosowane przetwarzanie przyrostowe.
- W edytorze przepływu danych wybrać etap Zapisywanie danych - zostanie wyświetlone okienko "Edytor etapu".
- W polu Zbiór danych podać nazwę wejściowego zbioru danych określonego na etapie Dodawanie danych.
- Wybrać dla opcji Zapisz dane w ustawienie Połączenie z bazą danych.
- Kliknąć przycisk Wybór połączenia, po czym wybrać połączenie z jedną z obsługiwanych docelowych baz danych.
- W polu Tabela określić nazwę docelowej tabeli, w której jest wykonywany zapis.
- Wybrać dla opcji Po uruchomieniu ustawienie Dodaj nowe dane do istniejących danych.
- Kliknąć Zapisz.