Przepływy danych - informacje podstawowe

Przepływy danych pozwalają organizować i integrować dane w celu utworzenia kuratelizowanych zbiorów danych, które mogą być wizualizowane przez użytkowników.

Korzystając z przepływów danych, można operować wizualnie na danych bez konieczności posiadania umiejętności w zakresie kodowania ręcznego.

Na przykład można użyć przepływu danych, aby:

  • Utworzyć zbiór danych.
  • Połączyć dane z różnych źródeł.
  • Zagregować dane.
  • Wyszkolić modele uczenia maszynowego lub zastosować predykcyjny model uczenia maszynowego do swoich danych.
  • Wykryć obiekt, sklasyfikować obraz lub wykryć tekst za pomocą sztucznej inteligencji usługi OCI Vision.

Przepływy danych tworzy się w okienku projektowania przepływu danych.
Opis "GUID-2B831D4B-0478-4EAC-917D-EA910D9FFFE3-default.png" znajduje się poniżej
.png"

Przepływ danych konstruuje się, dodając etapy. Każdy etap wykonuje określoną funkcję, taką jak dodanie danych, złączenie tabel, scalenie kolumn czy przekształcenie danych. Do dodawania i konfigurowania etapów służy edytor przepływu danych. Każdy etap, gdy jest dodawany lub zmieniany, podlega weryfikacji. Po skonfigurowaniu przepływu danych można go uruchomić w celu utworzenia lub zaktualizowania zbioru danych.

Dodając własne kolumny lub przekształcając dane, można używać różnych operatorów SQL (na przykład BETWEEN, LIKE, IN), wyrażeń warunkowych (na przykład CASE)i funkcji (na przykład średnia, mediana, centyl).

Aktualizowanie zbiorów danych generowanych przez przepływy danych

Przepływy danych można ponownie uruchamiać w celu zapewnienia aktualności zbiorów danych.

Uwaga:

Po ponownym uruchomieniu przepływu danych wszelkie transformacje zastosowane bezpośrednio do wyjściowego zbioru danych poza przepływem danych zostaną utracone. Zbiór danych jest tworzony ponownie od zera.

Obsługa baz danych dla przepływów danych

Korzystając z przepływów danych, można kuratelizować dane ze zbiorów danych, obszarów tematycznych lub połączeń z bazą danych.

Przepływy danych można uruchamiać indywidualnie lub sekwencyjnie. W przepływie danych można uwzględnić kilka źródeł danych oraz określić, jak te źródła danych mają zostać złączone.

Za pomocą etapu Dodaj dane można dodać dane do przepływu danych, a za pomocą etapu Zapisz dane - zapisać dane wyjściowe z przepływu danych.

Dane wynikowe z przepływu danych można zapisać w zbiorze danych albo w jednym z obsługiwanych typów bazy danych. Jeśli dane mają zostać zapisane w bazie danych, źródło danych można przekształcić, zastępując je danymi z przepływu danych. Aby było to możliwe, tabele źródła danych i danych z przepływu danych muszą się znajdować w tej samej bazie danych i mieć tę samą nazwę. Przedtem należy jednak utworzyć połączenie z jednym z obsługiwanych typów bazy danych.

Uwaga:

Można dodawać dane z odległych baz danych połączonych przy użyciu modułu Data Gateway. Jednak nie jest możliwe ponowne zapisywanie danych w takich odległych bazach danych połączonych przy użyciu modułu Data Gateway.

Dane wyjściowe

Dane wyjściowe z przepływów danych można zapisywać w bazach danych następujących typów:
  • Oracle Autonomous Data Warehouse
  • Oracle Autonomous Transaction Processing
  • Oracle Database
  • Apache Hive
  • Hortonworks Hive
  • MapR Hive
  • Spark

Aby uzyskać informacje o wersji bazy danych, zob. Obsługiwane źródła danych.

Dane wejściowe

Do przepływów danych można wprowadzać dane z większości typów baz danych (z wyjątkiem Oracle Essbase i EPM Cloud).