Plik manifestu

Proces zadania służący do tworzenia plików, na przykład procesy zadania powiązane z eksportem danych, może tworzyć co najmniej jeden plik w każdym wątku przetwarzania. Aplikacje zewnętrzne odczytujące te pliki mogą zacząć je przetwarzać dopiero po zakończeniu całego procesu zadania. Aby zautomatyzować odczytywanie takich plików, aplikacja zewnętrzna może wykorzystywać funkcję uruchamiającą ją po utworzeniu pliku manifestu. Dopiero wtedy aplikacja przetwarza wszystkie pliki wskazane w manifeście. Plik manifestu obejmuje wszystkie szczegóły, takie jak wartość skrótu zawartości, informacje o rozmiarze pliku itd., które umożliwiają określenie, czy zawartość plików jest kompletna i nie została zmodyfikowana przed przystąpieniem do przetwarzania plików.

W poniższych sekcjach zawarto dodatkowe informacje o plikach manifestu.

Parametr zadania opcji manifestu

Tworzenie pliku manifestu jest obsługiwane tylko w niektórych kontrolkach zdania powiązanych z ekstrakcją dostępnych w produkcie podstawowym. Te kontrolki zadania obejmują parametr zadania Opcja manifestu, który służy do określania, czy plik manifestu powinien być tworzony po pomyślnym ukończeniu procesu zadania. Aby znaleźć wszystkie kontrolki zdania obsługujące tę opcję, można użyć portalu Zapytanie dot. kontrolki zadania.

Informacje o pliku manifestu

Pliki manifestu mają format JSON i zawierają następujące informacje:

  • Wersja struktury szczegółów manifestu.

  • Kod kontrolki zadania, numer uruchomienia i numer ponownego uruchomienia wskazujący uruchomienie zadania tworzące pliki.

  • Łączna liczba plików utworzonych w danym uruchomieniu zadania.

  • Łączna liczba rekordów przetworzonych w ramach uruchomienia zadania.

  • Znacznik czasu utworzenia manifestu w formacie ISO.

  • Numer poprzednio zakończonego uruchomienia zadania (jeśli istnieje).

  • Plik manifestu wygenerowany przez poprzednio zakończone uruchomienie zadania (jeśli istnieje). Może to ułatwić sprawdzenie, czy pliki są przetwarzane w odpowiedniej kolejności, a także wykrycie potencjalnych sytuacji brakujących plików.

  • Lista plików utworzonych przez uruchomienie zadania, która składa się z następujących szczegółów dla każdego pliku: nazwa pliku, jego rozmiar w bajtach i wartość skrótu SHA-256 zawartości pliku.

Nazwa pliku manifestu składa się z następujących elementów:
[batch control]_[batch run number]_[batch rerun number]_manifest.json

Poniżej przedstawiono przykład struktury pliku manifestu.

{
  "version": 1,
  "batchCode": "HD-PDE",
  "batchRunNumber": 106,
  "batchRerunNumber": 0,
  "totalFiles": 3,
  "recordsProcessed": 10,
  "timeStamp": "2020-05-02T16:55:43.000353Z",
  "previousBatchRunNumber":"105"
  "previousManifestFileName":"HD-PDE_105_0_manifest.json",
  "fileDetails": [
    {
      "fileName": "SOME_FILE_NAME_001.json.gz",
      "fileSize": 1543,
      "hashAlgorithm": "SHA-256",
      "hashValue": "ff7d4e466f93cadc4a18ab009080916baff631e03b728e2f2684c4a4f92ccbe1"
    },
    {
      "fileName": "SOME_FILE_NAME_002.json.gz",
      "fileSize": 1182,
      "hashAlgorithm": "SHA-256",
      "hashValue": "78869e7ce971f28a70f5b35693a05726ba66109fecf492edb60291a62ae1ba9f"
    },
    {
      "fileName": "SOME_FILE_NAME_003.json.gz",
      "fileSize": 1182,
      "hashAlgorithm": "SHA-256",
      "hashValue": "78869e7ce971f28a70f5b35693a05726ba66109fecf492edb60291a62ae1ba9f"
    }
  ]
}{

Weryfikowanie pliku manifestu

Usługa internetowa Weryfikowanie pliku manifestu jest używana przez system zewnętrzny do sprawdzania, czy plik manifestu odebrany na potrzeby konkretnego uruchomienia zadania nie jest uszkodzony lub zmodyfikowany przez osoby nieupoważnione. Usługa zwraca nazwę pliku manifestu i wartość skrótu jego zwartości, umożliwiając obiektowi wywołującemu porównanie szczegółów pliku ze zwracanymi wartościami.