Określanie wskaźnika nowych danych w źródle danych

Należy wybrać kolumnę danych, która ma być używana jako wskaźnik nowych danych w źródle danych. Wskaźnik ten określa, kiedy wykryto nowe dane od czasu ostatniego wykonania przepływu danych. Można na przykład wybrać kolumnę znacznika czasu.

Określenie wskaźnika nowych danych umożliwia wykonywanie przetwarzania przyrostowego podczas ładowania danych. Innymi słowy, podczas każdego ładowania danych przy użyciu przepływu danych będą przetwarzane tylko nowe dane, które zostały dodane po wykonaniu ostatniego przebiegu.
Przed rozpoczęciem należy utworzyć połączenie z jedną z obsługiwanych docelowych baz danych, takich jak Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive czy Map R Hive.
  1. Na stronie startowej kliknąć Nawigator Ikona "Nawigator" umożliwiająca wyświetlanie obszaru "Nawigator", a następnie kliknąć Dane
  2. Wskazać kursorem zbiór danych, kliknąć Czynności i wybrać Otwórz.
  3. W diagramie złączeń kliknąć dwukrotnie na tabeli zawierającej ten identyfikator przyrostu, który ma być używany.
  4. Kliknąć Edytuj definicję.
  5. Jeśli panel "Dostęp do danych" nie jest wyświetlany, przejść na środek prawej krawędzi okna, odszukać opcję Rozwiń i kliknąć Rozwiń.

    Można teraz wyświetlić opcje buforowania i pole Wskaźnik nowych danych przepływu w obszarze Zaawansowane.
    Opis "GUID-B895C974-E71A-43DE-BC01-CB0698F8BDF2-default.png" znajduje się poniżej
    .png"

  6. W polu Wskaźnik nowych danych przepływu wybrać kolumnę, która będzie używana do wykrycia dodania nowych danych.
  7. Kliknąć OK.