Ekstrakcja przy użyciu integracji pliku

W produkcie dostępna jest osobna konfiguracja, za pomocą której można zdefiniować sposób ekstrakcji danych i ich formatowania. Ta konfiguracja zawiera więcej metadanych powiązanych z definiowaniem sposobu pobierania danych do ekstrakcji oraz sposobu formatowania danych. Może istnieć wiele przypadków użycia, w których korzystanie z tej konfiguracji zamiast posiadania całej logiki bezpośrednio w algorytmie przetwarzania rekordów jest korzystne.

Konfiguracja może obsługiwać proste ekstrakty, zawierające jeden typ rekordu oraz opcjonalnie rekord nagłówka lub stopki. Obsługuje również bardziej złożone integracje, obejmujące wiele typów rekordów oraz relacje typu nadrzędne/podrzędne między rekordami.

Konfiguracja typu integracji pliku

Schemat udostępnia dwa obiekty, które umożliwiają definiowanie przetwarzania niezbędnego do utworzenia konkretnego typu ekstraktu:

  • Typ integracji pliku, który opisuje i klasyfikuje konfigurację ekstraktu.

  • Rekord integracji pliku, w którym przechowywane są dane sekwencji, formatu i zbioru reguł służących do ekstrakcji danych wymaganych przez dany typ rekordu.

Typ integracji pliku

Typ integracji pliku służy do definiowania klasyfikacji integracji. Obecnie obsługiwany jest tylko typ Ekstrakt. Ponadto typ integracji pliku można przydzielać do kategorii. Kategorie służą do identyfikowania ekstraktów ogólnego przeznaczenia lub obiektów docelowych, takich jak odwołania do firmy windykacyjnej. Produkt brzegowy może mieć liczne kategorie. Można je też definiować samodzielnie.

W systemie dostępny jest obiekt biznesowy typów integracji pliku ekstraktu ( F1-ExtractFileIntegrationType ), który jest używany w większości przypadków użycia.

Rekord integracji pliku

Rekord integracji pliku jest obiektem wykorzystywanym do definiowania formatu rekordu i przechowywania szczegółów rekordu. Należy zdefiniować osobny rekord integracji na potrzeby każdego typu rekordu uwzględnionego w ekstrakcie.

Sekwencja rekordów służy do określania kolejności przetwarzania rekordów przez system. Sekwencja nadrzędna wskazuje typ rekordu, który jest elementem nadrzędnym tego rekordu. Rekordy podrzędne mogą być również rekordami nadrzędnymi rekordów podrzędnych niższego poziomu. Podstawowy algorytm "Przetwarzanie rekordów" udostępniany przez schemat przetwarza wszystkie rekordy podrzędne danego typu rekordu przed przystąpieniem do przetwarzania następnego typu rekordu.

W przypadku ekstraktów w formacie XML system obsługuje tworzenie węzła grupowania obejmującego wszystkie dane wyjściowe, które należą do tego samego obiektu. Rekordy integracji pliku definiują węzeł XML rekordu, który będzie używany jako węzeł grupowania. Każdy typ rekordu z listy należący do tej samej grupy będzie mieć tę samą wartość w węźle XML rekordu. Więcej szczegółów znajduje się w sekcji Grupowanie według węzła XML rekordu.
Uwaga: System nie obsługuje zagnieżdżonych węzłów XML rekordu. Wszystkie rekordy podrzędne typu rekordu muszą mieć ten sam węzeł XML rekordu jako element nadrzędny.

Każdy rekord integracji pliku odwołuje się do obszaru danych, który definiuje format rekordu ekstraktu, co pozwala na rozszerzanie danych. Algorytmy Rekordy ekstraktu służą do wypełniania obszaru danych. Rekord integracji pliku obsługuje wiele algorytmów przetwarzania ekstraktu, pozwalając na wypełnianie informacjami niestandardowymi.

W systemie dostępny jest obiekt biznesowy rekordów integracji pliku ekstraktu ( F1-ExtractFileIntegrationRec ), który jest używany w większości przypadków użycia rekordu ekstraktu.

Konfigurowanie procesu ekstrakcji za pomocą typu integracji pliku

W poniższych punktach podsumowano dodatkowe kroki niezbędne do wdrożenia nowego procesu w tle wykonującego ekstrakcję i wykorzystującego typ integracji pliku do definiowania konkretnej funkcjonalności:

  • Wybrać lub utworzyć obiekty obszaru danych, aby zdefiniować formaty rekordu ekstraktu.

  • Zdefiniować zbiór reguł wymagany do wypełniania każdego typu rekordu ekstraktu. Produkt brzegowy może zawierać odpowiednie wtyczki. Może być też wymagane utworzenie skryptu wtyczki, w którym obiektem algorytmu jest Rekord integracji pliku - rekord ekstraktu. Należy pamiętać, że wtyczka Rekord ekstraktu otrzymuje większość informacji zdefiniowanych we wtyczce "Kontrolka zadania - przetwarzanie rekordów".

  • Należy zdefiniować typ algorytmu i algorytm dla każdego nowo utworzonego skryptu.

  • Wybrać lub utworzyć kategorię typu integracji pliku, używając listy wartości FILE_​INT_​OBJ_​FLG.

  • Utworzyć typ integracji pliku i skonfigurować rekordy integracji pliku za pomocą zdefiniowanych obszarów danych i algorytmów.

  • Utworzyć kontrolkę zadania, powielając odpowiedni podstawowy szablon na potrzeby procesu w tle wykonującego ekstrakcję. Dołączyć parametr "Typ integracji pliku" do kontrolki zadania i odwołać się do właściwego typu integracji pliku.

  • Dołączyć algorytm "Przetwarzanie rekordów", który służy do odczytywania konfiguracji typu integracji pliku i przetwarzania typów rekordów. W systemie dostępny jest podstawowy algorytm ekstrakcji rekordów integracji pliku (F1-FILEX-PR), który jest używany w większości procesów ekstrakcji integracji pliku.

Rozszerzanie procesu ekstrakcji integracji pliku

Produkt brzegowy może zawierać typy integracji pliku i kontrolki zadania przeznaczone do standardowych procesów ekstrakcji. Jednakże rozszerzanie dostępnych ekstraktów o niestandardowe dane jest powszechnie stosowane w większości wdrożeń. Można dostosowywać dane wyjściowe dostarczane w ekstrakcie przez:

  • Identyfikowanie typów rekordów wymagających dodatkowych szczegółów

  • Tworzenie obszaru danych wskazującego dodatkowe szczegóły i używanie go do rozszerzania obszaru danych skonfigurowanego w typie rekordu

  • Tworzenie skryptu wtyczki, typu algorytmu i algorytmu "Rekord integracji pliku - rekord ekstraktu" służącego do wypełniania dodatkowych szczegółów

  • Dodawanie algorytmu do zbioru algorytmów ekstrakcji danego rekordu integracji

W niektórych przypadkach można rozszerzyć ekstrakt, dodając kolejne typy rekordu. W tym celu należy dodać niestandardowe rekordy integracji pliku do typu integracji pliku, wykonując czynności opisane w części Konfigurowanie procesu ekstrakcji za pomocą typu integracji pliku.