Przepływy danych - informacje podstawowe
Przepływy danych pozwalają organizować i integrować dane w celu utworzenia kuratelizowanych zbiorów danych, które mogą być wizualizowane przez użytkowników.
Korzystając z przepływów danych, można operować wizualnie na danych bez konieczności posiadania umiejętności w zakresie kodowania ręcznego.
Na przykład można użyć przepływu danych, aby:
- Utworzyć zbiór danych.
- Połączyć dane z różnych źródeł.
- Zagregować dane.
- Wyszkolić modele uczenia maszynowego lub zastosować predykcyjny model uczenia maszynowego do swoich danych.
- Wykryć obiekt, sklasyfikować obraz lub wykryć tekst za pomocą sztucznej inteligencji usługi OCI Vision.
Przepływy danych tworzy się w okienku projektowania przepływu danych.
.png"
Przepływ danych konstruuje się, dodając etapy. Każdy etap wykonuje określoną funkcję, taką jak dodanie danych, złączenie tabel, scalenie kolumn czy przekształcenie danych. Do dodawania i konfigurowania etapów służy edytor przepływu danych. Każdy etap, gdy jest dodawany lub zmieniany, podlega weryfikacji. Po skonfigurowaniu przepływu danych można go uruchomić w celu utworzenia lub zaktualizowania zbioru danych.
Dodając własne kolumny lub przekształcając dane, można używać różnych operatorów SQL (na przykład BETWEEN, LIKE, IN), wyrażeń warunkowych (na przykład CASE)i funkcji (na przykład średnia, mediana, centyl).
Aktualizowanie zbiorów danych generowanych przez przepływy danych
Przepływy danych można ponownie uruchamiać w celu zapewnienia aktualności zbiorów danych.
Uwaga:
Po ponownym uruchomieniu przepływu danych wszelkie transformacje zastosowane bezpośrednio do wyjściowego zbioru danych poza przepływem danych zostaną utracone. Zbiór danych jest tworzony ponownie od zera.Limity przepływu danych
Jeśli są przetwarzane duże ilości danych, należy pamiętać, że istnieją ograniczenia dotyczące przepływu danych. Zob. Limity przepływu danych.
Obsługa baz danych dla przepływów danych
Korzystając z przepływów danych, można kuratelizować dane ze zbiorów danych i obszarów tematycznych.
Przepływy danych można uruchamiać indywidualnie lub sekwencyjnie. W przepływie danych można uwzględnić kilka źródeł danych oraz określić, jak te źródła danych mają zostać złączone.
Za pomocą etapu Dodaj dane można dodać dane do przepływu danych, a za pomocą etapu Zapisz dane - zapisać dane wyjściowe z przepływu danych.
Dane wynikowe z przepływu danych można zapisać w zbiorze danych albo w jednym z obsługiwanych typów bazy danych. Jeśli dane mają zostać zapisane w bazie danych, źródło danych można przekształcić, zastępując je danymi z przepływu danych. Aby było to możliwe, tabele źródła danych i danych z przepływu danych muszą się znajdować w tej samej bazie danych i mieć tę samą nazwę. Przedtem należy jednak utworzyć połączenie z jednym z obsługiwanych typów bazy danych.
Uwaga:
Można dodawać dane z odległych baz danych połączonych przy użyciu modułu Data Gateway. Jednak nie jest możliwe ponowne zapisywanie danych w takich odległych bazach danych połączonych przy użyciu modułu Data Gateway.Dane wyjściowe
- Oracle Autonomous AI Lakehouse
- Oracle Autonomous AI Transaction Processing
- Oracle Database
- Apache Hive
- Hortonworks Hive
- MapR Hive
- Spark
Aby uzyskać informacje o wersji bazy danych, zob. Obsługiwane źródła danych.
Dane wejściowe
W przepływach danych można przetwarzać dane ze zbiorów danych i z obszarów tematycznych. Nie można ściągać danych bezpośrednio z baz danych - najpierw należy utworzyć zbiór danych na podstawie tabeli lub tabel bazy danych.
Praca w projektancie przepływów danych
Projektant przepływów danych umożliwia kuratelizowanie i przekształcanie danych w środowisku graficznym.
Praca w projektancie przepływów danych:
Projektant przepływów danych służy do organizowania i konfigurowania etapów przepływu danych, w ramach których odbywa się przekształcanie danych.
W projektancie przepływów danych dostępne są funkcje przedstawione poniżej.
| Funkcja | Ikona | Opis |
|---|---|---|
| Układ kompaktowy |  |
Etapy są grupowane w mniejszym obszarze widoku w celu ograniczenia konieczności przewijania. |
| Układ rozwinięty |  |
Etapy wejściowego źródła danych są wyrównywane po lewej stronie w celu poprawy czytelności. |
| Nieukończone złączenie lub połączenie |
|
Służy do wskazywania źródła danych, które nie zostało złączone ani połączone. Należy wskazać kursorem niebieską ikonę łącza Aby usunąć połączenie, należy kliknąć prawym przyciskiem myszy ikonę etapu "Złączenie" |
| Powiększenie |  |
Umożliwia powiększanie i pomniejszanie. |
lub etapu "Połączenie" 
, po czym wybrać